契約書の審査は、法律に関する専門知識を必要とするため、法務部員等の専門家にとって容易である一方、専門知識を有しない一般の人にとっては困難であり不利益を被りやすい。こうした法務格差を是正する手段の一つとして、契約書の審査の自動化が挙げられる。そこでは、契約書の着目する箇所が有利か中間か不利かなどのリスクを判定するプロセスの自動化が必要である。本稿では、このようなプロセスをリスク分類のタスクとして定式化し、複数の機械学習のモデルを用いて分類器の構築とその性能評価を行った。そして、契約書の審査においてリスクの予測結果に基づく契約書の修正を行う必要がある場合、予測結果だけでなく、予測に寄与した箇所を特定することが求められる。そのような背景から、我々は、リスク分類のタスクにおいて最も高い精度を示したBERTモデルに対して、予測に寄与する特徴量を推定する手法であるLIMEを適用することで、モデルの出力に寄与するトークン集合を抽出し、専門家がリスク判定時に着目する箇所との比較を行った。その結果、LIMEにより得られたトークン集合と、専門家の着目するトークン集合とが一致する事例が確認された。
