相田 太一‎ > ‎文献紹介‎ > ‎

2019/07/23

論文:Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
担当:勝田さん

  • LSTMよりも長く記憶ができる
    • LSTMは最後あたりの入力を使い回す
    • RUMは前半から取り出せる
  • RUM
    • GRU+回転
    • 大きさを保ったまま、位相を変化させる
    • 角度を素性としているため、長期保存が可能になった
      • 吉澤の文献紹介で大きさを捨て球状に分布させると良くなった、というものがある[link]
      • von Mises-Fisher分布を使っている
  • encoderで使った方が良くなりそうだが、decoderで使う方が良いと結論づけた理由?
    • encoder側で勾配が少ない
    • 学習がうまくいかない

論文:Decomposable Neural Paraphrase Generation
担当:稲岡さん

  • 今回は句(語含む)と文の単位で書き換え
    • encoder、decoderは粒度の単位分用意
    • 2つの粒度による結果をaggrigatorが取りまとめて、どちらの出力を採用するか決める
    • 文の言い換えは一般的。ドメインに依存しない
    • 語句の言い換えはドメインに若干依存する
  • 弱教師あり学習を行う
    • 最初は文言い換え、語句言い換えのラベルを与えてあげる
    • おそらく、語句/文の言い換え途中にもう片方の言い換えが入ってくることはない
  • データセット
    • Quora [link]
      • 質問サイト
      • 質問の重複を解決できるように作られた
      • 人手でラベル付け(品質が高い、ノイズが少ない)
    • WikiAnswers
      • クロールしたもの
      • ノイズが多い
  • 他ドメイン適応
    • Quora→WikiAnswersが良い
    • 質の高いデータ(Quora)で訓練しているから?
  • Gumbel softmax
    • 普通のsoftmax:単純に確率を出力する
    • 今回の場合
      • ラベルを入力
      • 0か1みたいな出力をしたい
      • 微分可能であってほしい
    • これを叶えるのがGumbel softmax
  • もう少し簡単な・ニューラルに頼らないモデルでもできる?
Comments