JUBAKU: 日本文化における偏見評価のための敵対的ベンチマーク

抄録

大規模言語モデル（LLM）に対する偏見評価において，非英語圏では英語データセットの翻訳に依存している現状がある．しかし，このような翻訳されたデータセットは西洋文化を基盤としており，異なる文化圏における倫理観や社会規範を十分に反映していない．本研究では，日本文化に対応した敵対的偏見評価ベンチマーク「JUBAKU」を構築し，LLMの偏見を誘発する対話データを人手で作成した．JUBAKUを用いて9種類の日本語LLMを評価した結果，全モデルがランダムベースラインを下回り，日本文化特有の偏見に対する脆弱性が明らかになった．