FAST: スマートデバイス用の高速なアノテーションツール

抄録

NLGシステムの生成結果の評価、あるいは極性判定のような応用タスクのアノテーションでは、実応用時と同様の幅広い属性のアノテーターによる作業が重要である。こうした応用事例ではクラウドソーシングのような仕組みを利用して多様なアノテーターを集めることが多い一方で、実世界のユーザの多くはスマートフォンなどのモバイル端末を利用する割合が多い。本稿では、これまで注力されていなかったスマートフォンなどのモバイル端末におけるUXを重視した、応用タスク向けのアノテーションツール "FAST" を提案する。実験では、複数名のアノテーターによるアノテーションを実施し、ツールのログやユーザアンケートから速度や品質、使いやすさといった指標を評価した。結果、本システムは特定のタスクにおいて、既存の手法と比較して、品質を維持しつつ高速にアノテーションできることを確認した。