【学会】NLP2017

言語処理学会 第23回 年次大会

日程: 2017/3/13 - 2017/3/17 場所: 筑波大学 筑波キャンパス 春日エリア

発表

機械翻訳システムの安定性評価 (P9-1)

時: 3月15日(水) 11:00-12:30

【所感・質問】 本発表は、機械翻訳における評価基準として 安定性という観点に着目し、入力テキストの変化に対する出力テキストの変化量を TERで測定することで、システムの安定性の評価を試みようというものである． 結果はNMTとPBMTを比べた場合、普遍的な機械翻訳における評価としてBLEUによる スコアはNMTの方が恒常的に高いがこの安定性の観点からはPBMTの方が高いという 実験的な結果が得られた． この結果において, NMTは入力の変化に対する出力の変化が直観的ではなく挙動が不安定 という問題点が指摘された．

上記の発表内容に対し、聴者との議論は次の通りである。

  • この安定性の基準とスコアのメトリックには何か相関関係があるのか？
    • 結果だけから見ると, BLEUが高いほど安定性は低くなる？
  • 文中の単語(文字単位)の情報量を定義し, 入力における情報量の変化に対する情報量の変化を定義できると良いんじゃないか？
    • テストデータ中だけで十分な情報量が定義できるかが、一つ懸念.
  • 安定性とは何か？
    • 人が感じる安定的なシステムと相関はあるのか？
    • 必ずしも人手評価との相関を獲る必要は無いと考えている (ある程度の理想的な状態が分かるため)
  • 自動的に評価する方法は存在するには、どうすると良いのだろうか？
    • 句読点の削除は自動化できる(ただし、係り受けの区別などを表すための区切り等は考慮できない)
    • 日本語に限り、並び替えは自動化できる(文節間)
    • 言い換え知識が欲しい
  • データの水増し(Data Augumentation) として学習するとTERはどうなるのか？

ニューラル日英機械翻訳における欠落語に関する分析 (P13-2)

時: 3月15日(水) 13:50-15:20

【所感・質問】 僕の研究は、欠落語(機械翻訳で原言語側にないような単語のこと)が PBMT→NMTでどうなったか？というのを実際に分析してみましたという論文で PBMT→NMTで流暢性はかなり上がった. しかしながら元来難しい問題(人称の使い分け)は ちゃんと解けているわけではなく, もっと入力のコンテキストの情報が必要というのが 結論.

上記の発表内容に対し、聴者との議論は次の通りである。 多くの人に聞いてもらえて, セッション中はずっと人が賑わっていた。

聴講内容 まとめ

チュートリアル

  • ヒューマンコンピュテーションとクラウドソーシング 馬場雪乃(京都大学)

いかに大規模にデータを作るか？というのは重要で その観点からクラウドソーシング(少量の作業を大量の人にやってもらう)は重要なインフラである． 今回のチュートリアルで、クラウドソーシングにおける理論的な応用をちゃんと 学べたのは良かった．

  • ゼロから始めるニューラルネット機械翻訳 中澤敏明(JST)

NMTについての良い復習. 課題整理などになった

本会議

  • A1-3 文圧縮を活用したヘッドライン生成 ○長谷川駿 (東工大), 平尾努 (NTT), 奥村学 (東工大), 永田昌明 (NTT)
  • P5-1 逆翻訳による高品質な大規模擬似対訳コーパスの作成 ○Imankulova Aizhan, 佐藤貴之, 小町守 (首都大)
  • P5-1 逆翻訳による高品質な大規模擬似対訳コーパスの作成 ○Imankulova Aizhan, 佐藤貴之, 小町守 (首都大)
  • B2-1 単語分割を経由しない単語埋め込み○押切孝将, 下平英寿 (阪大/理研)
  • B2-2 Skip-gram Model with Negative Samplingのオンライン逐次学習○鍜治伸裕, 小林隼人 (ヤフー)
  • A3-1 フーリエ領域上でのホログラフィック埋め込み ○林克彦 (NTT), 新保仁 (NAIST), 永田昌明 (NTT)
  • B3-2 単語出現頻度予測機能付きRNNエンコーダデコーダモデル ○鈴木潤, 永田昌明 (NTT)
  • C4-1 容認度判定の実態調査の報告: その実体は不均一な反応からなる,バイアスのかかった心理評定である○黒田航 (杏林大), 仲村哲明 (京大), 河原大輔 (京大/さきがけ)
  • C4-4 PDFAnno: PDFドキュメントのための言語アノテーションツール○進藤裕之, 松本裕治 (NAIST)
  • C4-5 Keyaki Treebank segmentation and part-of-speech labelling○◊Stephen Wright Horn, Alastair Butler (国語研), 吉本啓 (東北大)
  • D5-2 文書全体を考慮したニューラル文間ゼロ照応解析モデル○♠大内啓樹, 進藤裕之, 松本裕治 (NAIST)
  • D6-1 翻訳の品質と効率: 実社会におけるニーズと工学的実現可能性○藤田篤 (NICT), 山田優 (関大)
  • P17-2 逆翻訳によるニューラル機械翻訳の最適化 ○♠松村雪桜, 佐藤貴之, 小町守 (首都大)
  • P18-3 ニューラル機械翻訳での訳抜けした内容の検出 ○後藤功雄, 田中英輝 (NHK)
  • A7-1 ニューラル機械翻訳におけるミニバッチ構成法の違いによる影響の調査○森下睦, 小田悠介 (NAIST), Graham Neubig (CMU/NAIST), 吉野幸一郎 (NAIST), 須藤克仁 (NTT), 中村哲 (NAIST)
  • A7-2 二値符号予測と誤り訂正に基づくコンパクトなニューラルネットワーク翻訳モデル○小田悠介, Philip Arthur (NAIST), Graham Neubig (CMU/NAIST), 吉野幸一郎 (NAIST/JST), 中村哲 (NAIST)
  • A7-3 敵対性学習を用いたニューラル機械翻訳○♠白井圭佑, 二宮崇 (愛媛大), 森信介 (京大)
  • A7-4 文の潜在グラフ表現の学習: ニューラル機械翻訳での検証○橋本和真, 鶴岡慶雅 (東大)
  • A7-5 目的言語側における係り受け構造を考慮したニューラル機械翻訳○江里口瑛子 (東大), Kyunghyun Cho (NYU), 鶴岡慶雅 (東大)

NLP2017 受賞論文 一覧

最優秀論文賞

  1. 単語出現頻度予測機能付きRNNエンコーダデコーダモデル. 鈴木潤, 永田昌明 (NTT)
  2. ニューラル機械翻訳での訳抜けした内容の検出. 後藤功雄, 田中英輝 (NHK)

優秀論文賞

  1. Skip-gram Model with Negative Samplingのオンライン逐次学習. 鍜治伸裕, 小林隼人 (ヤフー)
  2. 係り受け構造との同時予測によるA* CCG解析. 吉川将司, 能地宏, 松本裕治 (NAIST)
  3. ニューラルネットワークによる日本語述語項構造解析の素性の汎化. 松林優一郎, 乾健太郎 (東北大)
  4. 外来語の意味変化に対する数理的分析. 高村大也 (東工大), 永田亮 (甲南大), 川崎義史 (上智大)

若手奨励賞

  1. 依存構造解析のための内容語と機能語の多言語可逆変換. 小比田涼介(NAIST)
  2. 英語学習者の文法誤りパターンと正誤情報を考慮した単語分散表現学習. 金子正弘 (首都大)
  3. 文書全体を考慮したニューラル文間ゼロ照応解析モデル. 大内啓樹 (NAIST)
  4. 時系列数値データからの概況テキストの自動生成. 村上聡一朗 (東工大/産総研)

言語資源賞

  1. Kyutechコーパスにおける抜粋要約のアノテーションと分析. 山村崇, 嶋田和孝 (九工大)
  2. PDFAnno: PDFドキュメントのための言語アノテーションツール. 進藤裕之, 松本裕治 (NAIST)
Comments