エビデンスに基づくモデル選択

線形モデルが勾配ブースティング決定木を上回る状況とその理由

抄録

勾配ブースティング決定木（GBDT）が広く採用されているにもかかわらず，実際の現場では，どのような状況で線形モデルが有効なのかを判断するための体系的な基準を持っていない．この知見の不足は，計算効率，解釈可能性，そして外挿能力が要求される応用分野におけるモデル選択に影響を与えている．本研究では，データの特性を分離する5つの体系的な実験を通じてこの問題に取り組む．具体的には，線形性の優位性，特徴量の交互作用，外挿の要求，小標本シナリオ，そして解釈可能性の要件である．我々の多次元評価フレームワークは，予測性能と計算効率および解釈可能性のコストを統合し，線形回帰とGBDTの包括的な実証的比較を提供する．線形モデルは，4つの重要な条件下でGBDTを大幅に上回った．