機械翻訳

(2014/09/25)
BLEU値スクリプト
  • mosesdecoderに同梱するBLEU値を計算するスクリプトmulti-bleu.plの実行結果の見方:
  • 例) BLEU = 0.00, 18.2/0.0/0.0/0.0 (BP=1.000, ratio=1.833, hyp_len=11, ref_len=6)
  • Score, 1-gram presision/2-gram presision/3-gram presision/4-gram presision(BP, ratio, hyp_len, ref_len)
  • BP (brevity penalti) = min(1,n output words/n ref words)
  • ratio = n output words / n ref words 
  • hyp_len = n output words
  • ref_len = n ref words 
  • 参考: https://www.mail-archive.com/moses-support@mit.edu/msg06063.html


(2013/1/10)
mosesの導入の試み：
【参考サイト/ファイル】
最初に以下の４つのファイルをダウンロードしておく
GIZA++, IRSTLMはmanual.pdf(P)に書いてあるとおりにインストール：
GIZA++：
$ tar zxvf giza-pp-v*.*.*.tar.gz
$ cd giza-pp/
$ make
mosesには上で生成されたGIZA++, snt2cooc.out, mkclsが必要なのでそれらのファイルをディレクトリに移動しておく
$ mkdir ~/external-bin-dir
$ cp ~/giza-pp/GIZA++-v2/GIZA++ ~/giza-pp/GIZA++-v2/snt2cooc.out ~/giza-pp/GIZA++-v2/mkcls ~/external-bin-dir


IRSTLM：
$ tar zxvf irstlm-*.**.**.tgz
$ cd irstlm-*.**.**.
$ ./regenerate-make-files.sh
$ ./configure --prefix=$HOME/irstlm
$ make
$ make install

$ mkdir $HOME/irstlm
が事前に必要かと思われる。

BoostはBUILD-INSTRUCTIONS.txtを参考に
$HOME/.bashrc
に
#Determine where you want to install packages
PREFIX=$HOME/usr
#If your system has lib64 directories, lib64 should be used AND NOT lib  
if [ -d /lib64 ]; then
  LIBDIR=$PREFIX/lib64
else
  LIBDIR=$PREFIX/lib
fi
#If you're installing to a non-standard path, tell programs where to find things:
export PATH=$PREFIX/bin${PATH:+:$PATH}
export LD_LIBRARY_PATH=$LIBDIR${LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH}
export LIBRARY_PATH=$LIBDIR${LIBRARY_PATH:+:$LIBRARY_PATH}
export CPATH=$PREFIX/include${CPATH:+:$CPATH}
を書き足し、
$ source $HOME/bashrc
を実行。
そしてboostのインストール
$ ./bootstrap.sh
$ ./b2 --prefix=$PREFIX --libdir=$LIBDIR --layout=tagged link=shared threading=multi install

そして mosesのインストール(Building)
こちらもboost同様にはBUILD-INSTRUCTIONS.txtを参考に
Building consists of running
$./bjam --clean
$./bjam --with-irstlm=$HOME/irstlm -j4
-j4 オプションの数字4はCPUのコア数である。
自分の使用のPC、サーバのCPUに合わせて数字も変更必要
$ cat /proc/cpuinfo | grep processor
を使ってコア数を調べることができる。
（processorという文字がでてきた回数に相当）

このプロセスでマイ・ノートPC、使用端末でのインストールは両方共に失敗している。
もちろんこれはhaseさんの日記のやり方に基づいて行っても同じだった。

Comments