相田「文脈解析」 PMIの式について?nとc、vで分ける理由:述語vと省略の起こった格cは一緒に考えて良い。それに対して先行詞候補nを当てはめていく。 前方照応、後方照応の見分けかた?: 守谷「ナイーブベイズ分類器、SVM」 教師あり学習。 CRFなどに持っていける。 ナイーブベイズの多項モデル:何が何回起こりそうか マージン最小化は点と線が繋がってしまう。 ユークリッド距離最大を取るのはどうなのか。 鈴木「Transformer」 RNNは並列化処理を行えない。 モデル:RNNの部分にAttentionが入っている感じ。 Query、Key、Value?:Key,Value(それぞれ配列)は辞書型みたいなもの。Queryは取り出したいvalue(1つ)に対応するkey(1つ) スケーリング因子:Keyの次元を使っている。 PADで長さを揃えて、計算するときにはMASKでPADの重みを0にする。 吉澤「ベイズ推定の基礎」 最尤(さいゆう)推定:点推定 推定によって結果は変わってくる。 汎化誤差:事前分布などの指標 あるものだけを使う。データ数がたくさんあって正規分布に従うなら便利。 MAP推定:点推定 ディリクレ分布: 事前のN回抽出で、N個の要素がそれぞれ1回取り出せたということにする。 事前にデータを用意 →自然共役事前分布を選んだ場合ならOK ベイズ推定:確率予測分布を描く 積分の近似手法 ・MCMC(Markov chain Monte Carlo methods) ・ギブスサンプリング ・メトロポリス・ヘイスティング法 ・変分ベイズ法 いつでも事前分布で良いのか?そういうわけではない。 ・評価指標 ・汎化誤差 ・自由エネルギー |