仕事量基準を用いたコーパスからの定型表現の自動抽出

研究室‎ > ‎卒業生のみなさまへ‎ > ‎岡田正平‎ > ‎文献紹介‎ > ‎

北　研二，小倉　健太郎，森元　逞，矢野　米雄
仕事量基準を用いたコーパスからの定型表現の自動抽出
情報処理学会論文誌 Vol. 34, No. 9,pp. 1937-1943 (1993)

慣用表現や定型表現をコーパスから自動抽出するために「仕事量基準」という概念を導入

単語列 $\alpha$ に対して

$|\alpha |$ 　単語列 $\alpha$ の長さ（語数）
$n(\alpha )$ 　単語列 $\alpha$ のコーパス中での出現回数

単語列 $\alpha$ に対する仕事の削減量 $K(\alpha )$ を以下で定義．

$K(\alpha )=(|\alpha |-1)\times n(\alpha )$

単語列 $\alpha$ が単語列 $\beta$ の部分単語列であるとするとき
$\alpha$ の出現回数 $n(\alpha )$ のうち， $n(\ \beta)$ 回については $\beta$ が参照されるので，純粋に $\alpha$ が参照されるのは

$n(\alpha )-n(\beta )$

$\alpha$ と $\beta$ の両方を定型表現として採用する場合には

$K(\alpha )=(|\alpha |-1)\times( n(\alpha )-n(\beta ))$

一般に，共通の部分単語列を持つ単語列の集合

$\alpha$
$\alpha\; ,\;\beta _i\;(i=1\;,\;\cdots\; ,\;m)$
$\gamma _j\; ,\;\alpha\;(j=1\; ,\;\cdots \; ,\;n)$
を同時に定型表現と考える場合，共通の部分単語文字列 $\alpha$
に対しては，

$\displaystyle K(\alpha )=(|\alpha |-1)\times \left \{ n(\alpha ) - \sum _i n(\alpha ,\beta _i)-\sum _j n(\gamma _j,\alpha)+\sum _i \sum _j n(\gamma _j,\alpha,\beta _i)\right \}$

上記の計算をすべて行うには，膨大な量の計算が必要になる

そこで，以下の近似を用いて計算量を削減する．

*再計算は隣り合った文字列どうしに限る．
**「隣り合った」とは，ひとつの文字列の左端または右端に文字をひとつ連接させることによって，もうひとつの文字列が得られることをいう．
**文字列の長さが2以上離れているものについての再計算は，隣り合った文字列同士の再計算に帰着されるという考え．

*再計算は一度だけに限る．
**ABC，ABE，ABという文字列が採用されていて，上位から順に計算していったとき，ABCが取ってこられた時点でABの再計算が行われているので，ABEが取ってこられてもABの再計算は行わない．
**上位から順に計算する場合，後からされる再計算ほどKの値に与える影響が少ないという理由．

「文献紹介」に戻る

Comments

最近の更新履歴

ページ作成者

仕事量基準を用いたコーパスからの定型表現の自動抽出