守谷：言語処理におけるCNN 単語共起行列：単語の共起を表したもの。前後1単語。0が多い（スパースがある）。→なんとかしたい。 特異値分解（SVD）：次元圧縮。文書全体のトピックを理解できる。 Word2Vecの目的：単語のベクトルが欲しい。分布仮説（周辺単語には何らかの関係がある）意味と構造が理解できる。文書全体のトピックを理解できない。 Glove：Word2VecとSVDの利点をとったもの。最小二乗法を用いている。ハイパーパラメータが増える。αは1より3/4にした方がよかった。 CNN：プーリングや畳み込みで単語の位置情報は失われる。並列で処理できるから良い。 QRNN：CNNでRNNをやった。重みを使わずに伝搬→隠れ層の中の要素が他の要素から影響を受けない。感情分析などでLSTMと同等かそれ以上のスコア。 ヒートマップに使われる。ニューラルネットの学習過程を可視化できる。 鈴木：文献紹介 Quasi-Recurrent Neural Networks に基づく対話モデルを用いた対話破綻検出 対話破綻：NCMはRNNを用いるため時間がかかる。
QRNNを用いると文脈を考慮できる→本当？周辺単語だけじゃない？階層的RNN、Attentionモデルでよくない？RNNの時より学習速度が3.2倍。
ニューラルネット、誤差伝搬→LSTM→QRNNの順で勉強すると良さそう。 相田：ロジスティック回帰 結局SVMでよくない？：ロジスティック回帰からの発展系 機械学習入門4章＋ゼロから作るDeep Learning2章 |
|
|