相田 太一‎ > ‎文献紹介‎ > ‎

2019/03/05

論文:Neural Semantic Encoders
担当:小川さん

新しい情報Mtとは?:メモリを参照した入力の情報を考慮したもの。
単語ベクトルを作っている割には扱うものは文ベクトル?
メモリを含む利点:LSTMと似ているが、LSTMは各ユニットに小さなメモリが乗っている状態。同じような情報が入ってきた場合情報が衝突する可能性がある。そこで、まとめて管理して避ける。
Answer sentence selectionのタスクで、Question側では自身のメモリとAnswer側のメモリを使っているためMultipleで、Answer側のメモリは共有しているからShareでもある。
Document modelingでNSEをNSEに統合しているのは?:NSE1つは文の単語ごとにベクトルを出す(=文ベクトル)。それらを統合すると文書ベクトルになる。



論文:二値符号予測と誤り訂正を用いたニューラル翻訳モデル
担当:守谷

ビット列にすると予測する数は:今まではone hotだった。
単語の距離は意識されている?:意識してビット列に変換している。重心をとって隣合わないように(距離を意識)。前から順にビット列にして、距離が近いものを処理。
ビタビアルゴリズムを使って、単語間の距離が最大のものをとる。
パラメータ数が多いと学習時間が比例して増える。

Comments