人工知能学会全国大会論文集
Online ISSN : 2758-7347
第37回 (2023)
セッションID: 2E4-GS-6-05
会議情報

事前学習済み言語モデル中の多段階推論に関与するニューロンに関する分析
*沖村 樹岩澤 有祐小島 武松尾 豊
著者情報
会議録・要旨集 フリー

詳細
抄録

事前学習済み言語モデルの性能を引き出す方法としてプロンプトが注目されており,その1つが思考連鎖プロンプトが存在する.思考連鎖プロンプトは,最終的な答えを導き出すために,途中の考えを明示的に表現することを促すプロンプトであり,モデルの多段階の推論能力を改善することが知られている.一方で,モデルが思考連鎖プロンプトからどのような影響を受け,多段階推論を可能になるのかについては,未だ不明な点が多い. 本研究では,言語モデル中のニューロンの活性化によりタスクの性能を解釈する既存研究を背景として,モデル中のニューロンが多段階推論のタスクにおいて内部的にどのような影響を及ぼされているかを検証した.その結果,多段階推論において,複数の思考連鎖プロンプトで共通して活性化するニューロンが存在することが明らかになった.また,これらのニューロンをの活性化を抑制することで,推論パフォーマンスが悪化することがわかった.この結果はモデルの推論能力の獲得のメカニズムに示唆を与える.

著者関連情報
© 2023 人工知能学会
前の記事 次の記事
feedback
Top