深度學習 - LSTM生成文本 - 唐詩 - 生成唐詩
最後，我們利用訓練好的模型來生成唐詩。
以下函式def function 通通寫在class PoetryModel(object): 底下。
import 所用到的庫
import random
import os
import keras
import numpy as np
from keras.callbacks import LambdaCallback
from keras.models import Input, Model, load_model
from keras.layers import LSTM, Dropout, Dense
from keras.optimizers import Adam
from data_utils import *
from config import Config
class PoetryModel(object):
與先前練習的差不多，也是加入softmax temperature 參數，使得在不同溫度的情況下，模型產生出得文章會有不同的創造力。
這邊與先前不同的是，這裡使用np.power，是冪次函數，而先前練習的是指數函數。不過都是利用加入 temperature 參數，使得預測的文字具有創造性。
def sample(self, preds, temperature=1.0):
'''
當temperature=1.0時，模型輸出正常
當temperature=0.5時，模型輸出比較open
當temperature=1.5時，模型輸出比較保守
在訓練的過程中可以看到temperature不同，結果也不同
就是一個概率分佈變換的問題，保守的時候概率大的值變得更大，選擇的可能性也更大
'''
preds = np.asarray(preds).astype('float64')
exp_preds = np.power(preds,1./temperature)
preds = exp_preds / np.sum(exp_preds)
pro = np.random.choice(range(len(preds)),1,p=preds)
return int(pro.squeeze())
再來，將預測文字的函數先寫好，供class內部使用。
def _pred(self,sentence,temperature =1):
'''因為模型是用 max_len 長度輸入訓練，預測下個字符。
所以要排除輸入一串文字小於 max_len 的情況'''
if len(sentence) < self.config.max_len:
print('in def _pred,length error ')
return
'''輸入字串向量化，丟入模型預測'''
sentence = sentence[-self.config.max_len:]
x_pred = np.zeros((1, self.config.max_len, len(self.words)))
for t, char in enumerate(sentence):
x_pred[0, t, self.word2numF(char)] = 1.
preds = self.model.predict(x_pred, verbose=0)[0]
next_index = self.sample(preds,temperature=temperature)
next_char = self.num2word[next_index]
return next_char
def _preds(self,sentence,length = 23,temperature =1):
'''sentence:預測輸入值;lenth:預測出的字符串長度;
供 class 內部調用，輸入max_len長度字符串，
返回length長度的預測值字符串'''
sentence = sentence[:self.config.max_len]
generate = ''
for i in range(length):
pred = self._pred(sentence,temperature)
generate += pred
sentence = sentence[1:]+pred
return generate
以上寫好後，就可以來試著生成唐詩。
先練習最基本的，如同訓練時給前六個字，預測下一個字，一直迴圈到預測整首詩。
'''根據給出的前max_len個字，生成詩句'''
def predict_sen(self, text,temperature =1):
'''此例中，即根據給出的第一句詩句（含逗號），來生成古詩'''
if not self.model:
return
max_len = self.config.max_len
if len(text) < max_len:
print('length should not be less than ', max_len)
return
sentence = text[-max_len:]
generate = str(sentence)
generate += self._preds(sentence,length = 24-max_len,temperature=temperature)
return generate
我們試試以下練習：給三種溫度看看輸出。
for temperature in [0.5, 1, 1.5]:
poetry1 = model.predict_sen("柯批好市長，",temperature = 1.5)
print(poetry1)
柯批好市長，丹齣天杯上。齣南門荷春，將對愁華馬。
柯批好市長，新間與照想。還為碧茲陵，親國葉白上。
柯批好市長，飛坐孤何平。氣還還高得，竹時相州過。
呵，還蠻有趣的！
接著試試看隨機選一首詩的開頭，當作輸入會不會讓模型寫的詩好看一些?
def predict_random(self,temperature = 1):
'''隨機從庫中選取一句開頭的詩句，生成五言絕句'''
if not self.model:
print('model not loaded')
return
index = random.randint(0, self.poems_num)
sentence = self.poems[index][: self.config.max_len]
generate = self.predict_sen(sentence,temperature=temperature)
return generate
for temperature in [0.5, 1, 1.5]:
poetry_Random = model.predict_random(temperature = temperature)
print(poetry_Random)
午醉醒來晚，人日何雲從。花日池東見，林同無下得。
何處鞦風至，流鍾虛日北。有月吾間人，吹臨早相連。
流品是鴛鴦，遠長夜十四。愛時來齣何，今方空石意。
原詩為：
午醉醒來晚，無人夢自驚。夕陽如有意，長傍小窗明。
何處鞦風至，蕭蕭送雁群。朝來入庭樹，孤客最先聞。
流品是鴛鴦，翻飛雲水鄉。風高離極浦，煙暝下方塘。比鷺行藏彆，穿荷羽翼香。雙雙浴輕浪，誰見在瀟湘。
若不知原詩為何，模型寫的以假亂真，真是難以想像。今天要是寫給外國人看，可能真的會相信呢!!
接著來玩玩藏頭詩，我們要將想藏頭的字串，逐個丟進max_len的最後一個字然後丟進模型預測下一個字，直至完整的詩句。此例為四字藏頭，如下：
'''根據給4個藏頭字，生成藏頭詩五言絕句'''
def predict_hide(self, text,temperature = 1):
if not self.model:
print('model not loaded')
return
if len(text)!=4:
print('藏頭詩的輸入必須是4個字！')
return
index = random.randint(0, self.poems_num)
sentence = self.poems[index][-self.config.max_len:-1] + text[0]
generate = str(text[0])
print('first line = ',sentence)
for i in range(5):
next_char = self._pred(sentence,temperature)
sentence = sentence[1:] + next_char
generate+= next_char
for i in range(3):
generate += text[i+1]
sentence = sentence[1:] + text[i+1]
for i in range(5):
next_char = self._pred(sentence,temperature)
sentence = sentence[1:] + next_char
generate+= next_char
return generate
藏頭詩的藏頭"華碩石頭"，丟進模型看看：
for temperature in [0.5, 1, 1.5]:
hide_poetry = model.predict_hide('華碩石頭', temperature = temperature)
print(hide_poetry)
first line = 意在浮花。華
華見不心故，碩道一水久。石人天關子，頭是花如鞦。
first line = 欲媚濃妝。華
華度曉可堂，碩長颱欲帝。石是青長待，頭驚齣朝相。
first line = 應在十洲。華
華清東色齊，碩王虎月顔。石山在逢歸，頭道公林共。
只給模型第一個字，完成整個詩(共24個字，含逗號、句號)
'''根據給出的首個文字，生成五言絕句'''
def predict_first(self, char,temperature =1):
if not self.model:
print('model not loaded')
return
index = random.randint(0, self.poems_num)
sentence = self.poems[index][-self.config.max_len:-1] + char
generate = str(char)
generate += self._preds(sentence,length=23,temperature=temperature)
return generate
for temperature in [0.5, 1, 1.5]:
poetry_first = model.predict_first("中", temperature = temperature)
print(poetry_first)
中來不故君，在林中雨有。夜新月山時，聞傢誰歸空。
中平知世相，見可微得西。清城有意齣，裏正君相風。
中望微翻草，常月玉雪外。木州颱水上，林所州上願。
以上都是參考作者的編碼做練習，以下我也來利用一下 predict_first 做為內部調用，寫一個函式，把每一首詩的開頭當作藏頭，想輸入多少字，就有幾首詩：
'''每一首詩的開頭當作藏頭，想輸入多少字，就有幾首詩'''
def hide_poetry(self,text,temperature = 1,):
generate = ''
for i in text:
sen = model.predict_first(i,temperature)
generate += sen +"\n"
return generate
for temperature in [0.5, 1, 1.5]:
hide_poetry = model.hide_poetry("花好月圓")
print("temperature : %s" %temperature)
print(hide_poetry)
temperature : 0.5
花期雲曉照，鍾發上傢月。為中水城子，門願為期宿。
好今君裏蒼，樓傢復地同。群春事人多，相重山中東。
月寒空中山，且成往當一。與為君不色，中過清待外。
圓行誰陽不，國衣有山吹。華二光歸安，客夜東中春。
temperature : 1
花吳天欲水，去見今閣詩。軒惜相子得，寄聞寒高荷。
好為山滿陵，雲有香春攀。不高彆待容，知名作人殊。
月恩安帶葉，期山倚王寒。君為州上長，已長藏朝莫。
圓裏子來三，散風馀關對。君雲鞦人著，為不遲水正。
temperature : 1.5
花當未已是，中持老日門。窗不已韆在，居眾夜彆恩。
好憶天上驚，聲對朝發日。風已空來罷，樹裏煙草鳥。
月春露應清，起金閑水平。來寒起前不，晚愛前何不。
圓夜為正暮，時齣堪海池。終幾亦落思，隱颱林山白。
用AI寫詩，還蠻有趣的!! 雖然不能寫出有押韻的詩，但模型還是能寫出有模有樣的句子。
神經網絡已經可以記住逗號、句號出現在詩中的位置，且詩句都很假掰，很有詩的味道。
LSTM 模型的練習還有很多，可以應用面很廣，算是 NLP 領域的入門，身為初學者一定要好好練習。
