クローズド・エンド型質問文の識別率の日英比較

抄録

筆者らは、法学教育の一環として、Webシステム上で学生が弁護士役となり架空の⺠事事件の解決にあたるという設定の教育プログラム（訴訟ロールプレイ）を法学部授業の中で運用している。このロールプレイは、学生が書き込むクローズド・エンド型の質問文に対して、証人役の者が回答することによって進行するが、クローズドでない質問文を自動検出して、学生に注意を促したり、回答作業前に自動的に除去したりすることが求められている。 そこで、同じ内容の質問文であれば英文の方が文章の形式から自動検出が容易であるとの仮説を立て、中間言語として英文を用いる方式を検証することとした。本報告では、その準備として英文と日本語文の識別率を比較し、その結果を提示している。 比較方法は、蓄積された日本語文データを翻訳API(DeepL)により英訳を行ったのち、日英それぞれについて複数の機械学習アルゴリズムを用いて、クローズド・エンド型質問文であるか否かを判定させることで実施した。 その結果、直観的な予想に反して、英文を中間言語として用いる方式は、日本語文のまま行う方式と比較して、未知のテストデータに対して有効であるとはいえなかった。