日本語大規模言語モデルの自己学習によるアライメントの実験評価

抄録

大規模言語モデル (LLM) のアライメントは，モデルの出力を人間の選好に適合させるために不可欠である．しかし，高品質な選好データの収集は高コストで，LLMによるデータ合成が注目されている．既存研究の多くは英語中心で，非英語少データに対する合成手法はは明らかにされていない．本研究では，日本語のAnswer Carefullyデータセットを用い，自己学習 (self-improving learning) に基づく選好データの合成手法を比較した．実験の結果，CALM3を用いた自己合成手法は，報酬モデルを用いた合成手法と同等のアライメント効果を達成し，日本語少データ環境における有効性が示された．