概要 様々な自然言語処理において、言語資源の量と品質はモデルの性能に大きな影響を与える。しかし、高品質なデータを大量に作成するためには長時間専門家によるアノテートが必要だった。そこで、AmazonMechanicalTurkを用いて非専門家によるアノテートによって精度の高いデータが得られるかを検証する。また、個々の非専門家の信頼度を計算することで、雇用人数を増やすことなくデータの品質を向上させるための手法を提案する。 参考文献 スライド[URL] |
2017/12/07 Cheap and Fast - But is it Good? Evaluating Non-Expert Annotations for Natural Language Tasks
|