GPT-2を活用した質問応答タスクへの適応

抄録

近年、深層学習アルゴリズムを用いた自然言語処理技術の発展が目覚ましい。Googleが開発したBERTや、OpenAI財団が開発したGPT-xシリーズがその発展に寄与している。いまや文章のカテゴリ分類といったシンプルなタスクのみならず、文章の作成や要約を行う生成系のタスクについても研究が進められている。この実験では、GPT-2を質問応答チャットボットに応用できるか検証するため、GPT-2の事前学習モデルを生成し、さらに質問応答タスクに適応するようファインチューニングした。ファインチューニングには生命保険会社のFAQデータを使用した。結果として、テストデータの約8割で自然な回答、約6割で理想の回答を得ることができた。この仕組みを活用することで、ルールベースとは異なるアプローチで質問応答システムを構成できると考えている。