GitHub Issuesを通じたChatGPTの開発者利用におけるプロンプトの特徴の調査

抄録

本研究は，GitHub Issues に共有された ChatGPT のリンクを含む 736 件を対象に，機械的な感情解析と人手による判定を比較し，開発者が満足した出力に結びつくプロンプトの特徴を検討した．先行研究では感情解析を満足度の代理指標とする手法が提案されているが，技術的命令文を含むプロンプトはネガティブに判定されやすく，実際の満足度を反映しにくいという問題がある．本研究の分析では，機械感情解析では Negative が多数を占めたのに対し，人手判定では Positive が優勢であり，両者に明確な差が見られた．さらに，プロンプトのトークン総数，試行回数，1 試行当たりのトークン数については有意な差が確認されなかった．一方で，満足度の高い事例では，要件や前提，期待する出力形式が具体的に記述されていることが多く観察された．これらの結果から，プロンプトの量よりも内容の具体性が良好な出力につながる重要な要因であり，単純な感情解析による満足度推定には限界があることが示唆された．