論文：Neural Semantic Encoders 担当：小川さん 新しい情報Mtとは？：メモリを参照した入力の情報を考慮したもの。 単語ベクトルを作っている割には扱うものは文ベクトル？ メモリを含む利点：LSTMと似ているが、LSTMは各ユニットに小さなメモリが乗っている状態。同じような情報が入ってきた場合情報が衝突する可能性がある。そこで、まとめて管理して避ける。 Answer sentence selectionのタスクで、Question側では自身のメモリとAnswer側のメモリを使っているためMultipleで、Answer側のメモリは共有しているからShareでもある。 Document modelingでNSEをNSEに統合しているのは？：NSE1つは文の単語ごとにベクトルを出す（＝文ベクトル）。それらを統合すると文書ベクトルになる。 論文：二値符号予測と誤り訂正を用いたニューラル翻訳モデル 担当：守谷 ビット列にすると予測する数は：今まではone hotだった。 単語の距離は意識されている？：意識してビット列に変換している。重心をとって隣合わないように（距離を意識）。前から順にビット列にして、距離が近いものを処理。 ビタビアルゴリズムを使って、単語間の距離が最大のものをとる。 パラメータ数が多いと学習時間が比例して増える。 |
|
|