大規模言語モデルの専門領域への適用に関する検討

抄録

近年OpenAI社のChatGPTなど大規模言語モデル（LLM）の利活用が期待されており，学習済みモデルを利用することで，質問応答，テキスト生成，翻訳，要約，テキスト分類・評価など様々なタスクが適用できる．LLMは一般的なテキストを事前に多く学習しているが，専門的な知識が必要なタスクに適用するニーズがある．本論稿では，LLMモデルについて特徴や実装方法について整理を行い，一般的な知識を学習したLLMに，より専門的なドメイン知識を導入する方法の整理を行う．また，ドメイン知識を導入する方法の一つであるファインチューニングの，点検要領などオープンなデータを利用した試行を通して，LLMを専門的な知識が必要なタスクに適用する際の課題を，学習データ，既存モデルの活用，生成結果の評価方法の観点から整理した．