相田「文脈解析」

PMIの式について？nとc、vで分ける理由：述語vと省略の起こった格cは一緒に考えて良い。それに対して先行詞候補nを当てはめていく。

前方照応、後方照応の見分けかた？：

守谷「ナイーブベイズ分類器、SVM」

教師あり学習。

CRFなどに持っていける。

ナイーブベイズの多項モデル：何が何回起こりそうか

マージン最小化は点と線が繋がってしまう。

ユークリッド距離最大を取るのはどうなのか。

鈴木「Transformer」

RNNは並列化処理を行えない。

モデル：RNNの部分にAttentionが入っている感じ。

Query、Key、Value？：Key,Value（それぞれ配列）は辞書型みたいなもの。Queryは取り出したいvalue（1つ）に対応するkey（1つ）

スケーリング因子：Keyの次元を使っている。

PADで長さを揃えて、計算するときにはMASKでPADの重みを０にする。

吉澤「ベイズ推定の基礎」

最尤（さいゆう）推定：点推定

推定によって結果は変わってくる。

汎化誤差：事前分布などの指標

あるものだけを使う。データ数がたくさんあって正規分布に従うなら便利。

MAP推定：点推定

ディリクレ分布：

事前のN回抽出で、N個の要素がそれぞれ1回取り出せたということにする。

事前にデータを用意

→自然共役事前分布を選んだ場合ならOK

ベイズ推定：確率予測分布を描く

積分の近似手法

・MCMC（Markov chain Monte Carlo methods）

    ・ギブスサンプリング

    ・メトロポリス・ヘイスティング法

・変分ベイズ法

いつでも事前分布で良いのか？そういうわけではない。

・評価指標

    ・汎化誤差

    ・自由エネルギー