連語を組み込んだ統計言語モデル

研究室‎ > ‎卒業生のみなさまへ‎ > ‎岡田正平‎ > ‎文献紹介‎ > ‎

岩瀬　修，森元　逞，首藤　公昭
連語を組み込んだ統計言語モデル
電子情報通信学会技術研究報告 2000-12 pp.109-114

連語：慣用表現などの比較的固定的な表現

１　はじめに

新聞，雑誌，小・中学校の教科書，各種辞書から人手で採取

連語データの例

形態素数	個数	連語の例
2	11,188	明らか-に，一緒-に，消極-的
3	21,532	涙-が-出る，舞台-に-上がる
4	6,332	首-を-長く-する
5	2,860	目-から-火-が-出る
6	940	猫-の-手-も-借り-たい
7	537	他人-の-出る-幕-で-は-ない
8	219	ニ-度-ある-こと-は-三-度-ある
9	119	縦-の-もの-を-横-に-も-し-ない
10以上	124	右-を-見-て-も-左-を-見-て-も

連語を従来の統計言語モデルに組み込む

ベースの言語モデルとして，音声認識システムJuliusの言語モデルのbigram

これに3単語以上の連語を組み込む

２　連語の検証

2単語連語に対応するbigram確率は，それ以外のbigram確率より大きい値を持つものが多かった

2単語連語は全部で11,1188個
Julius内のbigramににエントリが存在するのは約1,800個

３　連語N-gram
3.1　連語N-gramの推定方法

連語をN-gramの確率モデルとしてモデル化することを考える

一般に，ある単語列 $W=w_1\;w_2\;\cdots\;w_N$ に対する生起確率は

$P(W)=P(w_1)\times P(w_2|w_1)\times P(w_3|w_1\;w_2)\times \cdots \times P(w_N|w_1\;w_2\;\cdots\;w_{N-1})$

で求められる．
連語に関しては，

$P(w_k|w_1\;\cdots\;w_{k-1})\gg P(w_k|w_{k-1})$ ，　　 $3<k<N$

になると考えられるので，bigram近似では不十分．

加藤ら（「ニュース音声認識のための(n≧4)-gramを併用する言語モデル」，情報処理学会研究報告，99-SLP-29, pp.187-192, 1999）
放送ニュース文を対象としたN-gram言語モデル

N-gramに基づく単語の生起確率 $P$ は

$\displaystyle P=P_0\left (1-e^{-\lambda N}\right )$

のように $N$ が大きくなるにつれて，漸近的に一定値 $P_0$ に近づく

この文献では各連語に対する $\lambda$ と $P_0$ の値をベースの言語モデルから求める．
つまり，以下の式が成り立つと仮定

$P(w_k|w_1\;w_2\;\cdots\;w_{k-1})=P(w_k)+(1-P(w_k))\;\times\; (1-e^{-\lambda _k(k-1)})$ $2\leq k\leq N$

ここで， $\lambda _k$ はベースの言語モデルのbigramから求めるので

$P(w_k|w_{k-1}) = P(w_k)\;+\; (1-P(w_k))\;\times\; (1-e^{-\lambda _k})$

が成り立つから， $\lambda _k$ を

$\lambda _k = -\log{\frac{1-P(w_k|w_{k-1})}{1-P(w_k)}}$

として求めることができる．
このようにして， $W=w_1\;w_2\;\cdots\;w_N$ の各単語に対する $\lambda_k$ を求めた後，連語 $W$ 全体に対する $\lambda$ を $\lambda _k$ の平均値として求める．

$\lambda = (\lambda _2\;+\;\cdots\;+\;\lambda _N)/(N-1)$
$\displaystyle =-\frac{1}{N-1}\sum_{k=2}^{N}\log{\frac{1-P(w_k|w_{k-1})}{1-P(w_k)}}$

3.2　組み込む連語の基準

上記の方法で求めた $\lambda$ の値が負になったものは言語モデルに組み込まない．
推定した確率がbigramによる確率より大きくなった連語のみを言語モデルに組み込む．

４　バイグラム言語モデルへの連語の組み込み

$N$ 単語からなる連語 $W=w_1\;w_2\;\cdots\;w_N$ を1語と考え，そのbigramの確率 $P(W|a)$ および $P(b|W)$ を求め，従来のbigram言語モデルに組み込む．
（ $a$ ， $b$ はそれぞれ $W$ に前接および後接する単語）

$P(W|a)=P(w_1\;w_2\;\cdots\;w_N|a)$ $=P(w_1|a)P(w_2\;\cdots\;w_N|w_1)$
$=\{P(w_1|a)/P(w_1)\}P(w_1\;w_2\;\cdots\;w_N)$

$\hat{P}(w_1|a) = P(w_1|a)-\sum P(W|a)$

$P(b|W)=P(b|w_N)$

５　評価と実験

評価用テキスト：毎日新聞
(a) 連語が出現する文1万文
(b) 連語の出現が見られない文1万文

(a)ではPPが約8%減少
(b)ではPPが1%弱増加

原因
(1)連語を組み込むことによるエントロピーの増加
　→λに閾値を設け，それを超える連語だけを組み込む
(2)評価データ中においての連語の取りこぼし
　表記・表現揺れ
　例）連語
　　　　影も形も見えない
　　　共起・表現揺れ
　　　　影も形も見当たらない

　→連語 $W=w_1\;w_2\;\cdots\;w_N$ のプレフィックス $W_1^i=w_1\;w_2\;\cdots\;w_i(3\leq i\leq N-1)$ をすべて取り出し，bigram言語モデルに組み込む

思ったこと
・オープンなテストセットに対して結果はどうなんだろう？

「文献紹介」に戻る

Comments

最近の更新履歴

ページ作成者

連語を組み込んだ統計言語モデル