20170321機械翻訳システムの安定性評価

髙橋 寛治, 竹野 峻輔, 山本 和英. 機械翻訳システムの安定性評価. 言語処理学会第23回年次大会, pp.541-544 (2017.3)

研究の概要

背景：入力の小さな変化に対して、出力が大きく変化すると機械翻訳システムとして扱いにくい
提案：まずは、出力安定性の評価を定量的に編集距離に基づいて行う
結果：安定性を定量的に示した
今後：これをNMTの目的関数において学習を試みたり、情報量に基づいて入力を定めたり、様々な改善の余地がある

補足情報

TERの測定には、tercom-0.7.25を用いた。

質疑応答の内容や補足

  • Q. 入力の変更は、どうやって定義しましたか？
    • A. 今回は、思いつきうる意味の変わらない加工を列挙して取り組みました。
      • Q. 情報量などで定量的に示せると良いかもしれませんね。
いただいた意見など
  • 安定性が求められるという意見を翻訳家などから、意見をいただけると背景がより増強されますね。
  • 画像処理だと、画像を少しずらしたものを学習させる方法がある。入力の変化も画像のように扱うと面白いかもしれませんね。
  • 大規模に評価用データを作成すると、色々な検証に使える。出力が不安定という問題に向き合っているので調査したい。

発表内容や質疑応答に関する自己評価

今回の発表はポスターセッションだった。
高橋と竹野の2人で発表をしたため、より多くの人に本研究を認知していただけた。
この評価を用いたちょっとした実験を用意しておくと、良かったと後になって思う。
Comments