多言語T5モデルへのPythonコードの追加学習

抄録

近年，深層学習技術の発展に伴い，自然言語処理の分野で事前学習済み言語モデルの精度が大幅に向上している．これらの言語モデルは，大量のソースコードを事前学習することでソフトウェア開発支援に活用できると期待されている．実際，ソースコードで事前学習されたCodeT5モデルでは，コード生成，コード要約，コード分類など，様々なソフトウェア開発タスクの大幅な性能向上が確認されている．しかし，最初から事前学習によってモデルを構築するには膨大な計算資源が必要になる．我々は，自然言語処理用に構築されたMultilingual T5モデル(mT5)から，追加的なソースコードの学習によって，ソースコードの事前学習済み言語モデルを構築する手法を提案する．具体的には，自然言語を事前学習済みであるmT5に，さらにPythonコードを与えて追加的に事前学習を行い，新たにPythonに適用した事前学習済み言語モデルを構築する．提案手法によって，コード生成やエラー診断などのタスクにおいて，性能向上が見られることを報告する．