論文:Neural Semantic Encoders 担当:小川さん 新しい情報Mtとは?:メモリを参照した入力の情報を考慮したもの。 単語ベクトルを作っている割には扱うものは文ベクトル? メモリを含む利点:LSTMと似ているが、LSTMは各ユニットに小さなメモリが乗っている状態。同じような情報が入ってきた場合情報が衝突する可能性がある。そこで、まとめて管理して避ける。 Answer sentence selectionのタスクで、Question側では自身のメモリとAnswer側のメモリを使っているためMultipleで、Answer側のメモリは共有しているからShareでもある。 Document modelingでNSEをNSEに統合しているのは?:NSE1つは文の単語ごとにベクトルを出す(=文ベクトル)。それらを統合すると文書ベクトルになる。 論文:二値符号予測と誤り訂正を用いたニューラル翻訳モデル 担当:守谷 ビット列にすると予測する数は:今まではone hotだった。 単語の距離は意識されている?:意識してビット列に変換している。重心をとって隣合わないように(距離を意識)。前から順にビット列にして、距離が近いものを処理。 ビタビアルゴリズムを使って、単語間の距離が最大のものをとる。 パラメータ数が多いと学習時間が比例して増える。 |