クラウド/ローカルLLMsを用いた日本企業の利益予測の分析とアウトオブサンプル評価

抄録

企業の利益予測は、経営者の意思決定支援に加え、投資家・アナリストをはじめとする外部ステークホルダーにとっても重要なタスクである。従来は財務諸表等の数値データに基づく定量モデルやアナリスト予測が主流であったが、財務諸表外の定性的情報や経営者の見通しといった文脈情報を十分に取り込めないという限界がある。そのため、アナリストの推論過程を模倣できる大規模言語モデル（LLM）を用いた利益予測が高精度である可能性が報告されている。しかしながら、どのような企業特性で予測精度が分かれるのかという予測の異質性、学習に含まれない将来の未知データに対する汎化性能（アウトオブサンプル性能）、reasoning出力の有無が精度に与える影響は十分に検証されていない。そこで本研究では、日本株式市場における利益増減方向予測のベンチマークデータを用い、クラウド型LLM（GPT5.1、Claude 3.7 Sonnet）とローカル型LLM（GPT-OSS-120B）を比較評価する。モデル間の公平性を担保するため、ナレッジカットオフの近いモデルを選定したうえで、ベンチマーク最高精度のモデルとの比較に加えて、ベンチマーク公開後の直近期を対象とした厳格なアウトオブサンプル評価を行う。さらに、売上規模および業種別に精度差を分解し、業種別の利益増減の自己相関との関係から、予測が当たりやすい条件・外れやすい条件を考察する。加えて、出力されるreasoning文字列の傾向を分析するとともに、reasoning出力を禁止した場合の精度変化を測定する。