Character-LLM の評価指標の検討

抄録

本研究では，キャラクターをロールプレイしているチャットボットを自動評価する手法を提案する．提案手法は，2つの手続きを通じて行われる．まず，ロールプレイするキャラクターの過去のセリフや発言からキャラクター設定を抽出する．その後，ロールプレイしているチャットボットに対して，抽出されたキャラクター設定を用いて自動評価を行う．本実験では，Aww, Incが開発したバーチャルヒューマンであるimmaのXのポストデータに対してキャラクター設定の抽出を実施した．その結果，54件のキャラクター設定を抽出することに成功し，そのうち44件は人手評価により妥当と評価された．さらに，キャラクター設定を用いた自動評価では，85.1ポイントの精度で適切に評価できることが明らかになった．