論文：共変量シフトの問題としての語義曖昧性の領域適応 担当：吉澤 分類器の評価の1つ：負の転移。S-only、T-only＜S+Tなら負の転移であり、ソースとターゲットの領域が離れ過ぎているためソース領域の情報を使い過ぎ、精度が落ちる Ps(c|x) = Pt(c|x) Ps(x) ≠ Pt(x) 書籍、知恵袋、新聞で周辺単語が異なるが、ある単語の語義cが割り振られる確率は同じという過程。 語義曖昧性解消は高頻度ばかりでいいの？低頻度は？ 単語それぞれにモデルを作るため、訓練データが小規模になってしまう。問題の性質が難しい。 論文：Universal Language Model Fine-tuning for Text Classification 担当：相田 分類ならmaxpoolingの方がmaenpoolingより良い。なぜ両方用いた？：わからない。 三角学習率を用いると良いのはなぜ？ 重要語抽出にAttentionを使えるかも。 分類器の調整の際、何が1番効果的？：unfreezeは微妙。逆伝搬と双方向は大事。 arxivにこの論文の質問に対するスライドがあるらしい。 論文：Hierarchical Recurrent Attention Network for Response Generation 担当：鈴木 3つの文が与えられて4つ目を出力するタスク。 文毎にかたまりをつくる。 実際に使うときは自分の出力も入力になる。 1次元の時系列データなら色々使えそうなモデル。 音声ではperplexityを使っていた→そのまま対話でも使われている。BLEUより怪しい。 |
|
|