言語横断質問応答に適した機械翻訳評価尺度の調査

抄録

質問応答システムが高い精度で幅広い質問に解答するためには，大規模な知識ベースが必要である．しかし，整備されている知識ベースの規模は言語により異なり，小規模の知識ベースしか持たない言語で高精度な質問応答を行うためには，機械翻訳を用いて異なる言語の大規模知識ベースを利用して言語横断質問応答を行う必要がある．ところが，このようなシステムでは機械翻訳システムの翻訳精度が質問応答の精度に影響を与える．一般的に，機械翻訳システムは人間が与える評価と相関を持つ評価尺度により精度が評価されている．そのため，この評価尺度による評価値が高くなるように機械翻訳システムは最適化されている．しかし，質問応答に適した翻訳結果は，人間にとって良い翻訳結果と同一とは限らない．つまり，質問応答システムに適した翻訳システムの評価尺度は，人間の直感に相関する評価尺度とは必ずしも合致しないと考えた．そこで本論文では，複数の翻訳手法を用いて言語横断質問応答データセットを作成し，複数の評価尺度を用いてそれぞれの翻訳結果の精度を評価する．そして，作成したデータセットを用いて言語横断質問応答を行い，質問応答精度と翻訳精度との相関を調査する．これにより，質問応答精度に影響を与える翻訳の要因や，質問応答精度と相関が高い評価尺度を明らかにする．さらに，自動評価尺度を用いて翻訳結果のリランキングを行うことによって，言語横断質問応答の精度を改善できることを示す．