第37回 (2023)
セッションID: 3T1-GS-6-02
会議情報
主催: 一般社団法人 人工知能学会
会議名: 2023年度人工知能学会全国大会（第37回）
回次: 37
開催地: 熊本城ホール＋オンライン
開催日: 2022/06/06 - 2022/06/09
日本語におけるChain-of-Thoughtプロンプトの検証
キーワード:
自然言語処理
詳細
主催: 一般社団法人 人工知能学会
会議名: 2023年度人工知能学会全国大会（第37回）
回次: 37
開催地: 熊本城ホール＋オンライン
開催日: 2022/06/06 - 2022/06/09
大規模基盤モデルは，少数の例をプロンプトとして入力に与えるFew-Shot学習によって様々なタスクに対応できる．Few-Shot学習の精度をさらに向上させるための手法として，思考の過程をステップに分けて与えるChain-of-Thought (CoT)プロンプトが提案されている．CoTの有効性は，論理的な推論を必要とするタスクに関する英語のデータセットで示されているが，日本語では検証されていない．本研究では日本語の基盤モデルであるHyperCLOVAを用いて，CoTの日本語における有効性を検証する．まず，算数，常識推論，記号推論の3つのタスクにおいて日本語データセットを構築する．次に，4種類のモデルサイズのHyperCLOVAを用いた検証実験を行った結果，CoTプロンプトは通常のプロンプトより精度が高く，またCoTプロンプトの性能はモデルサイズと相関があることが明らかになった．
