言語モデルの大規模化に伴い，モデル全体を再学習せずに知識の更新を行う手法である，知識編集に関する研究が盛んに行われている．しかし既存の知識編集手法はモデルが事前学習で獲得したトークン予測確率を直接変更してしまうため，モデルの予測確率と学習データからモデルが獲得したトークン分布情報が一致しなくなる．このような不一致は，モデルの回答の尤もらしさを表す確信度の正解率との乖離を招くことが知られている．例えばRLHF (Reinforcement Learning from Human Feedback) などの強化学習手法を用いた言語モデルの事後学習においては，確信度が正解率と比べて過度に高くなる確信度過剰となる．本研究では，確信度と正解率の乖離度合いを測る確信度較正を知識編集前後の言語モデルに対して適用し，知識編集が言語モデルの確信度に与える影響を調査した．合計10種類の言語モデルに対して3種類の知識編集手法を適用して分析した結果，特に文章の意味理解が必要なタスクでは，編集に成功した場合，実際の正解率の上昇幅と比較し知識編集後のトークン予測確率の上昇幅が小さいことが明らかとなった．このことから知識編集手法は事後学習と異なり，編集に成功した時に正解率よりもモデルの確信度が低い確信度不足となる傾向がわかった．またRLHF後のモデルに対して知識編集を行い成功した場合，両者の傾向が相殺され，確信度較正が良化する可能性を示唆する結果が得られた．
