論文：An Embarrassingly Simple Approach for Transfer Learning from Pretrained Language Models 担当：丸山さん
- 既存の複雑な転移学習システムULMFiTに対し、シンプルなシステムSiATLを提案
- 少ないデータ（1000Example）で匹敵する、上回る性能
- ULMFiTの学習過程を短くした感じ
- 適用するタスクのlossと事前学習した言語モデルのlossを同時に算出
- 結果
- 各分類タスクにおけるstate-of-the-artの手法は異なるが、ULMFiTとSiATLは満遍なく良い
- 面白いことに、Sentiment analysisとSCv1, SCv2（2〜3値分類）ではBag-of-Wordsが強い。
論文：Contextual String Embeddings for Sequence Labeling 担当：小川さん
- 文脈を考慮でき、Char-levelから作れる埋め込み表現を提案
- 先行研究
- 事前訓練
- 事前訓練＋Char-level
- 文脈を考慮できる埋め込み（ELMo）
- 提案手法（先行研究全部のせ）
- Char-levelからforward, backwardで単語埋め込みを抽出
- Char-levelは事前に学習
- ELMoを入れると性能が落ちる？
- モデルが持っている文脈情報、ELMoが持っている文脈情報が違うのでは？
| 