概要 様々な自然言語処理において、言語資源の量と品質はモデルの性能に大きな影響を与える。しかし、高品質なデータを大量に作成するためには長時間専門家によるアノテートが必要だった。そこで、AmazonMechanicalTurkを用いて非専門家によるアノテートによって精度の高いデータが得られるかを検証する。また、個々の非専門家の信頼度を計算することで、雇用人数を増やすことなくデータの品質を向上させるための手法を提案する。
参考文献 Cheap and Fast — But is it Good? Evaluating Non-Expert Annotations for Natural Language Tasks, Rion Snow, Brendan O’Connor, Daniel Jurafsky, Andrew Y.Ng, Proceedings
of the 2008 Conference on Empirical Methods in Natural Language Processing,
pages 254–263,Honolulu,
October 2008.
スライド[URL] |
|
