本論文では、入力文の統語構造を反映するためにTransformer のエンコーダの自己注意機構に制約を加えた木構造自己注意機構を採用した提案モデルを、従来のF1スコアによる評価手法ではなく、統語構造解析結果の構文エラーを解析することによって評価を行った。エラー解析を行った結果、生成規則に着目して句や節同士の依存関係を捉えることが精度の向上のために必要であることがわかった。また、従来の提案モデルでは、エンコーダのパラメータをランダムに設定していた。そこでさらに精度を向上させるため、BERTのMasked Language Modelingを用いてエンコーダの事前学習を行う追加実験を行ったが、有効な結果を得ることは出来なかった。
