目的: 質問応答システム一休を拡張する. → Wikipedia Templateに着目.Wikipedia Template中の情報を知識源として用いた質問応答システムを提案 Wikipedia Template上にはWeb上にない情報も数多く含まれており,それらの情報を質問応答で活用する. 内容: Wikipedia TemplateのTemplate名と属性名を「関係名」,記事名と属性値を「関係インスタンス」として定義. 質問が問うている関係名を自動的に特定することで,対応する回答を提示する質問応答システムを提案. → 「アバターで有名な人は誰?」といったWikipedia Template上で回答が自明でない質問に対しても回答を返すことが可能である. 評価: 上位10件以内に正答を含む精度:76.8% Mean Average Precision:65.7% コメント: テストに使用する質問を細かく分類してシステムの出力を評価する必要がある. ”タイタニックで有名な人は誰ですか?”といった答えが一意に決定されない質問がどの程度含まれているかによって,システムの性能は変わってくるはず.そこを考慮して評価しなければ意味がない. |