深層学習モデルの数量推論能力の評価とメタ学習活用の試み

抄録

今日，自然言語処理の様々なタスクにおいてTransformerを初めとする深層学習モデルが大きな成果を上げており，数量推論等の推論タスクにおいても高い性能に到達できることが示されている．しかしながら現状の深層学習モデルが問題の構成性を捉えて，その構造に応じた推論を行ってタスクを解いているのかについては定かではない．実際は表面的な手がかりを利用した何らかのショートカットラーニングを行なっている恐れがある．そこで本研究では，数量推論タスクを抽象化した形式言語を用いて既存の深層学習モデルの推論能力の評価を行なう．また，調査を通して明らかとなった通常の教師あり学習では獲得が困難な数量推論能力を，近年モデルに構成性を理解させる上での有効性が示されているメタ学習によって獲得することができるのかについても調査を行なう．実験の結果，(1)自然言語テキスト上での事前学習が形式言語上のタスクにおける性能向上につながること (2)多段の推論を要する問題は既存の深層学習モデルにとって困難な問題であることがわかった．