GPTs の RAG を活用した TA チャットボットの製作と評価

抄録

OpenAI 社が提供する ChatGPT のサービスの GPTs を利用して，大学の特定の科目の授業内容に関する学生からの質問に対し，過去の授業での質疑応答の記録（Q&A 集）に基づき，適切な回答を生成する TAチャットボットの製作を目指した．製作に当たっては，｢検索拡張生成｣（RAG）の機能を活用し，ユーザーの質問に対して回答を生成する前に，Q&A 集を収録した外部情報を参照して，過去の類似の質問に対応する回答を引用する仕組みを導入した．回答の精度を評価したところ，製作した TA チャットボットは，標準の ChatGPT と同等以上の精度で質問に回答できることが確認された．特に，Q&A 集からの引用に基づく回答は期待どおりに機能し，学内の環境や科目に固有の質問に対しても正確な回答を提供することができた．また，ユーザーの質問の表現の揺らぎに対しても，TAチャットボットは質問の趣旨を理解し，Q&A集から関連する回答を抽出できており，学生からの多様な質問にも柔軟に対応できることが明らかになった．