守谷:言語処理におけるCNN 単語共起行列:単語の共起を表したもの。前後1単語。0が多い(スパースがある)。→なんとかしたい。 特異値分解(SVD):次元圧縮。文書全体のトピックを理解できる。 Word2Vecの目的:単語のベクトルが欲しい。分布仮説(周辺単語には何らかの関係がある)意味と構造が理解できる。文書全体のトピックを理解できない。 Glove:Word2VecとSVDの利点をとったもの。最小二乗法を用いている。ハイパーパラメータが増える。αは1より3/4にした方がよかった。 CNN:プーリングや畳み込みで単語の位置情報は失われる。並列で処理できるから良い。 QRNN:CNNでRNNをやった。重みを使わずに伝搬→隠れ層の中の要素が他の要素から影響を受けない。感情分析などでLSTMと同等かそれ以上のスコア。 ヒートマップに使われる。ニューラルネットの学習過程を可視化できる。 鈴木:文献紹介 Quasi-Recurrent Neural Networks に基づく対話モデルを用いた対話破綻検出 対話破綻:NCMはRNNを用いるため時間がかかる。
QRNNを用いると文脈を考慮できる→本当?周辺単語だけじゃない?階層的RNN、Attentionモデルでよくない?RNNの時より学習速度が3.2倍。
ニューラルネット、誤差伝搬→LSTM→QRNNの順で勉強すると良さそう。 相田:ロジスティック回帰 結局SVMでよくない?:ロジスティック回帰からの発展系 機械学習入門4章+ゼロから作るDeep Learning2章 |