自然言語処理
Online ISSN : 2185-8314
Print ISSN : 1340-7619
ISSN-L : 1340-7619
一般論文(査読有)
大規模言語モデルに推論を教えるための人工論理推論コーパスを用いたアプローチ
森下 皓文森尾 学山口 篤季十河 泰弘
著者情報
ジャーナル フリー

2025 年 32 巻 2 号 p. 520-571

詳細
抄録

大規模言語モデル (LLM) はその豊富な知識により,様々な既知の課題を解決した.しかしながら LLM は,推論を用いて新規な課題を解くことを苦手とする.我々はこの問題に対して,「ルールベースで生成した人工論理推論サンプルの学習によって,LLM の推論能力を向上させる」というアプローチを提案する.まず,「どのようなサンプルを設計すれば良いか?」という議論から始める.記号論理学や過去の哲学的論考,また近年の先行研究や我々の予備実験から得られている知見を参照しつつ,設計の指針を打ち立てていく.次に,この設計指針に基づき,多様な推論規則からなる深い推論サンプルを大量に自動生成し,人工論理推論コーパス Formal Logic Deduction Diverse (FLD×𝟚) を構築する.最後に,FLD×𝟚 での追加学習が LLM の推論能力を向上させられることを確認する.その結果,LLaMA-3.1 (8B/70B)に対して,論理推論で最大 30 ポイント,数学で最大 7 ポイント,コーディングで最大 10 ポイント,BBH ベンチマーク群で 5 ポイント,の精度向上を達成した.

著者関連情報
© 2025 一般社団法人 言語処理学会
前の記事 次の記事
feedback
Top