LLM チャットボットに対する業務固有の安全性評価設計フレームワークの提案と検証

抄録

本稿では，大規模言語モデル（LLM）の企業サービスへの組み込みに際して，業務固有の安全性評価を行うフレームワークの提案とその検証について述べる．近年のLLM の発展に伴い，企業はLLM の活用を模索しているが，企業ポリシーに反する振る舞いをするリスクが障壁となっている．本稿では，LLM が企業の独自ポリシーに準拠した回答を行う安全性を評価するための，業務固有の安全性評価設計のフレームワークを提案した．そして，提案フレームワークをチャットボットの開発運用に組み込むことで，業務固有の安全性を評価・可視化できることを，検証実験を通して確認した．