統計的機械翻訳（SMT）の確信度
Word-Level Confidence Estimation for Machine Translation using Phrase-Based Translation Models- Ueffing et al., 2005
- ここでの確信度：翻訳結果の単語1つ1つに対し、正誤を自動でラベル付けするもの。
- 先行研究
- 提案手法
- Phrase baseのSMT（Zens and Ney, 2004）を基準にして、以下のように算出。
- 言語モデル（LM）において、ある単語e（i番目の出力）が前2単語（i-1, i-2番目）から生成される確率。
- 言語対のフレーズペアのうち、ターゲット側のフレーズにeが含まれる確率→全てのソース側のフレーズについて和を取り周辺化。
- 上2つの積を求める。
- 他全てのターゲット単語e'でも同様に算出し、正規化する。
- 確信度の評価にはClassification Error Rate（CER）を使用。
- （ラベル付けを間違えた数）/（生成された単語の総数）：1 - Accuracy？
- 正しいラベル付けが多いほど良いため、CERは低いほど良い。
- 既存の手法（N-best, Word graph）よりも良い結果。
- 様々な機械翻訳システムに適用可能。
ニューラル系における確信度
A Theoretically Grounded Application of Dropout in
Recurrent Neural Networks- Gal and Gahahramani, 2016
- dropoutについての研究。次のsemantic parsingにも確信度の指標として用いられている。
- 従来：Naive dropout RNN
- 時系列方向：dropoutなし
- input、output：dropoutあり、異なるmask
- 提案：Variational RNN
- 時系列方向：dropoutあり、同じmask
- input：dropoutあり、同じmask
- output：dropoutあり、同じmask
- それぞれ同じ重さを当てている
- 上図は論文から引用。同じ色は同じmask、重さを用いている。
- 以下の2つで提案手法の有用性を評価した
- 言語モデル：perplexityの減少
- LSTM：error rateの減少速度の改善、悪化も見られた
Confidence Modeling for Neural Semantic Parsing- 2018年10月：稲岡さんの文献紹介 [slide]
- Dong, Quirk and Lapata, 2018
- 確信度を不確かさとして以下の3つの要素に分ける
- モデルの不確かさ
- dropout（上の論文）perturbation
- ガウシアンノイズを加える
- 事後確率
- 文単位：事後確率
- トークン単位：確率の低いもの＋perplexity
- データの不確かさ
- 入力の不確かさ
Confidence through Attention- Matiss Rikters and Mark Fishel, 2017
- Attention weightを確信度の指標に適用
- source、target側の文中全ての単語についてattention weightを計算
- 文単位で平均を取り、確信度として用いる
- Attention weightでフィルタした結果、BLEUスコアが向上
- Attention weightは単に可視化するためのものではないと証明
Quality Estimation （QE）
deepQuest: A Framework for Neural-based Quality Estimation- 2019年5月：文献紹介 [slide]
- 文単位、文書単位で訳文の品質予測
- 文単位：エンコーダとソースを別々のbi-RNNに入れる
- 文書単位：文単位で得られた表現を入れる
- どちらの手法も大規模な事前訓練を必要としない
- 既存のSoTA手法であるPOSTECH(Kim et al., 2017)を上回るかそれに迫る精度
Improving Machine Translation Quality Estimation with Neural Network Features- 2019年7月：文献紹介 [slide]
- Chen et al., 2017
- NMTの特徴量も取り入れてQEを行う
- 文単位の埋め込み：各単語の平均→srcとoutputでconcat
- Cross-Entropy：RNNLMから抽出
- SVRを用いる
- Word2vec＋特徴量全部のせで性能向上を確認
- HTERとのピアソン、スピアマンの相関係数が上昇
- MAE、RMSE、DeltaAvgも上昇
- 少ない特徴量での性能向上を実現
その他
参照訳を必要としない単語分散表現による異言語間類似度を用いた訳文の自動評価- 2019年6月：文献紹介 [slide]
- 藤川、 2018
- 参照訳、対訳コーパスを用いない手法
- 英語、日本語それぞれで単語分散表現を学習したあと、英語の最頻出8000語をGoogle翻訳に通して英語-日本語対応の単語ペアを作成
- 作成した単語ペアを行き来するための線形変換（最小二乗法）をする翻訳行列を作成
- ”言語が異なっても、単語の関係（ベクトルの関係）は似ている”という性質を利用
- 重み付きDICE係数、文の単語間類似度でアライメント
- EMD: Earth Mover's Distanceで文間の類似度を算出
|
|
|
