本稿では，参照文を用いた文単位での機械翻訳自動評価手法について述べる．現在のデファクトスタンダードである BLEU をはじめとして，多くの従来手法は文字や単語の N-gram に基づく素性に頼っており，文単位での評価にとっては限定的な情報しか扱えていない．そこで本研究では，文全体の大域的な情報を考慮するために，事前学習された文の分散表現を用いる機械翻訳自動評価手法を提案する．提案手法では，大規模コーパスによって事前学習された文の符号化器を用いて，翻訳文と参照文の分散表現を得る．そして，翻訳文と参照文の分散表現を入力とする回帰モデルによって，人手でラベル付けされた翻訳品質を推定する．WMT-2017 Metrics Shared Task における翻訳品質のラベル付きデータセットを用いた実験の結果，我々の提案手法は文単位の全ての to-English 言語対において最高性能を達成した．
