相田 太一‎ > ‎文献紹介‎ > ‎

2019/06/04

論文:Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network
担当:鈴木

応答選択のタスク。
2つのAttention
  • self attention:意味構築
  • cross attention:発話と応答の依存関係
選択肢の数だけrを替えて計算、マッチングスコアの一番高いものを出力。
Duban corpusは全体的にスコアが低く、難しそう
  • オープンドメイン
  • 中国語
RNNだと学習コストが高いため、transformerを利用したが、学習に関する比較はない。


論文: Conditional Word Embedding and Hypothesis Testing via Bayes-by-Backprop
担当:吉澤

HotellingのT2検定 [link] を用いると、単語分散表現内の無駄な接合がなくなってすっきりする。
  • 意味の近さを検定することができる。
  • KL距離には共分散行列を組み込むと、さらに意味的な近さを考えることができる。
KL距離とコサイン類似度の比較
  • KL距離で共分散行列を組み込むと、コサイン類似度+Hotellingよりもさらに意味的な近さを捉えられる。
会議のデータを用いているが、議題にも影響しそう。

Comments