機械翻訳や要約モデルの運用において，生成された文章が原典に無い誤った内容を述べてしまうことがあり，克服すべき問題の一つとされている．既存の多くの自動評価指標は単語一致を計測することを基準としているため，このような事実の不一致を加味することが困難である．我々は，文の意味的類似性の判断に重きをおいた自動評価指標を提案する．本手法では機械翻訳や要約の評価の際，人間が作成した理想的な参照文と文章生成システムによる候補文を比較し，その文ペアの意味的類似性をスコアとして出力する．このスコアはファインチューニングしたSentenceBERTから得た文ペアの文埋め込みの差を分類器へ入力することで得ている．評価に画像キャプションの出力を利用し，人間の判断との相関値を算出した．提案手法は既存の自動評価指標と比較して比較的高い相関を有していることが確認できた．また，実際の動作例を元に，既存の自動評価指標よりも人間の判断と乖離の少ない挙動であることを示す．
