相田 太一‎ > ‎文献紹介‎ > ‎

2019/07/09

論文：Why are Sequence-to-Sequence Models So Dull?
担当：鈴木
  • ITFのlossが出る前の論文
  • seq2seqに多様性を持たせるために色々されてきた
  • MMI（最大相互情報量）という目的関数を用いると良くなる？
  • model overconfidenceが低多様性の原因？
  • confidence penaltyも使えそう
  • label smoothing？：過学習を抑える手法の1つらしい
Comments