抄録
効率的に機械翻訳システムを開発していくためには，質の高い自動評価法が必要となる．これまでに様々な自動評価法が提案されてきたが，参照翻訳とシステム翻訳との間で一致する N グラムの割合に基づきスコアを決定する BLEU や最大共通部分単語列の割合に基づきスコアを決定する ROUGE-L などがよく用いられてきた．しかし，こうした方法にはいつくかの問題がある．ルールベース翻訳 (RBMT) の訳を人間は高く評価するが，従来の自動評価法は低く評価する．これは，RBMT が参照翻訳と違う訳語を使うことが多いのが原因である．これら従来の自動評価法は単語が一致しないと大きくスコアが下がるが，人間はそうとは限らない．一方，統計的機械翻訳 (SMT) で英日，日英翻訳を行うと，「A なので B」と訳すべきところを「B なので A」と訳されがちである．この訳には低いスコアが与えられるべきであるが，N グラムの一致割合に着目するとあまりスコアは下がらない．こうした問題を解決するため，本稿では，訳語の違いに寛大で，かつ，大局的な語順を考慮した自動評価法を提案する．大局的な語順は順位相関係数で測定し，訳語の違いは，単語適合率で測定するがパラメタでその重みを調整できるようにする．NTCIR-7，NTCIR-9 の特許翻訳タスクにおける英日，日英翻訳のデータを用いてメタ評価を行ったところ，提案手法が従来の自動評価法よりも優れていることを確認した．
