本論文では，ニューラルネットエンコーダが学習する知識のうち，どのような構造的知識が自然言語のタスクを解くのに転移可能かを調査する．提案するアプローチでは，自然言語の構造を模したいくつかの「人工言語」を用いてエンコーダを訓練し，そのエンコーダの自然言語の下流タスクにおける性能を評価することで，事前学習データに含まれている構造的知識の転移可能性を計測する．実験の結果，転移可能なエンコーダを獲得するにあたって，事前学習のデータ系列中において，統計的依存関係が重要であること，係り受け関係を持つ際に入れ子構造が有用であることなどが明らかとなった．こうした結果は，エンコーダが転移可能な抽象的な知識として，位置を考慮したトークンの文脈依存性があることを示唆している．
