コスト削減手法を取り入れたRAGによる質問応答システムの提案

抄録

Retrieval-Augmented Generation (RAG) は，外部の情報を大規模言語モデルと結びつけることで，組織内のドキュメントなどに対応した質問応答を可能とする技術である． 近年は，ChatGPTとRAGを組み合わせた質問応答サービスも普及しつつある． 一方で，GPT-4などの高性能なモデルを大規模な環境で利用する場合，入力トークンの増加によって，APIのコストが高くなる傾向にある． 本研究では，回答生成の前にGPT-3.5などの低コストなモデルを用いて，ドキュメントから必要な情報のみを選択する追加ステップを導入することを提案する． これにより，回答生成時に利用するトークン数が減少し，GPT-4における利用コストを抑えることが可能となる． また，提案手法を用いた結果と従来手法の結果を比較し，その効果を検証した． 結果として，提案手法が精度を保ちつつ，コストを抑えることを確認した．