相田 太一‎ > ‎B3ゼミ‎ > ‎

第4回

相田「文脈解析」

PMIの式について?nとc、vで分ける理由:述語vと省略の起こった格cは一緒に考えて良い。それに対して先行詞候補nを当てはめていく。

前方照応、後方照応の見分けかた?:



守谷「ナイーブベイズ分類器、SVM」

教師あり学習。
CRFなどに持っていける。
ナイーブベイズの多項モデル:何が何回起こりそうか
マージン最小化は点と線が繋がってしまう。
ユークリッド距離最大を取るのはどうなのか。



鈴木「Transformer」

RNNは並列化処理を行えない。
モデル:RNNの部分にAttentionが入っている感じ。
Query、Key、Value?:Key,Value(それぞれ配列)は辞書型みたいなもの。Queryは取り出したいvalue(1つ)に対応するkey(1つ)
スケーリング因子:Keyの次元を使っている。
PADで長さを揃えて、計算するときにはMASKでPADの重みを0にする。



吉澤「ベイズ推定の基礎」

最尤(さいゆう)推定:点推定
推定によって結果は変わってくる。
汎化誤差:事前分布などの指標
あるものだけを使う。データ数がたくさんあって正規分布に従うなら便利。

MAP推定:点推定
ディリクレ分布:
事前のN回抽出で、N個の要素がそれぞれ1回取り出せたということにする。
事前にデータを用意
→自然共役事前分布を選んだ場合ならOK

ベイズ推定:確率予測分布を描く
積分の近似手法
・MCMC(Markov chain Monte Carlo methods)
    ・ギブスサンプリング
    ・メトロポリス・ヘイスティング法
・変分ベイズ法

いつでも事前分布で良いのか?そういうわけではない。
・評価指標
    ・汎化誤差
    ・自由エネルギー
Comments