守谷：ニューラルネット4 RNNの問題：勾配消失。→対策：LSTM Attention：スコア計算＝確率計算っぽい。予測したい層に対して過去のどの層が重要か？を決める。 Pointer Network：文の最後だけ読めばよくない？とされている。→言語によって変わってくる。 「Attentionで得られる入力単語の分布を出力単語の分布として見て分布の次元を可変とする」？？：よくわからない。 CopyNet：言語モデル。 鈴木：文献紹介 "End-to-End Knowledge-Routed Relational Dialogue System for Automatic Diagnosis" 医療対話システム 医療知識＋経験？→実際の医者のよう 医療知識グラフ？：わからない。 非タスクだと難しいが（評価が難しいから）、タスク思考だと報酬が設定しやすいから強化学習がしやすい。→強化学習は報酬が全て。 強化学習は対話に向いているかも。非タスクでもタスクのような報酬が設定できないか…？ 強化学習？：エージェントは報酬のために頑張る。ペナルティもあるが、どれだけ多く報酬を得られるか、のために頑張って勉強（学習）する。 例）経路問題。 インテント：患者の意思。4タイプ定義されている。 スロット：症状を格納するもの。 方策学習？：強化学習の設定、条件？ 相田：評価方法と学習アルゴリズムの比較 log2(Perplexity) = エントロピー 意味空間？： 吉澤：TF-IDF法 TF-IDF：少ない文書に現れ、1つの文書内に現れる回数が多いほど（頻度が高いほど）重要（TF-IDFが高い）。語の重要度を考える。 問題：言語の構造や意味（類義語など）を考慮していない。精度の高い近似ではあるが、精度の高い方法ではない。 1つ0だと全て0になるので（＝ゼロ頻度問題）、あらかじめちょっとした処理（＝スムージング, 平滑化）を行う。 いろんな式がある。考え方は同じだが論文によって様々。 SCDV：文書分散表現。意外とうまくいく。比較対象にGloveといった主要なものがないから微妙。→多田さん, SCDV, 文献紹介：[slide] 2値分類ならDoCoVの方が良さそう。 |
|
|