概要 言語モデルは音声・言語処理において音声認識や機械翻訳等多くの重要なタスクで用いられている. これまでRNNベースの言語モデル, GRUなどがあるが, 近年ではLSTMsが最も高い性能を示している. しかしながら, その学習パラメータの多さから低頻度語の学習ができないことや, one-hot-vectorで学習することによる文字の情報を利用できていないことが欠点として挙げられる. 本稿では文字の情報をEmbeddingに加えることでone-hot-vectorに比べ2.77%の性能向上が見られ, さらにパラメータ削減に貢献した. 参考文献 Lyan Verwimp, Joris Pelemans, Hugo Van hamme, Patrick Wambacq, Character-Word LSTM Language Models, Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pages 417–427, Valencia, Spain, April 3-7, 2017. スライド(URL) |
|
|