周波数領域でのAttentionを用いたTransformerに基づく時系列予測モデルの改良

抄録

本研究は、複数の季節変動がある時系列データの高精度な長期予測を小さい計算コストで行うことを目的とする。基礎となるモデルとしてFEDformer(Zhou et al., 2022)を使用する。FEDformerでは、周波数領域でのAttentionによって季節変動を捉える工夫がされており、また、周波数領域での行列計算の際に周波数成分をサンプリングすることで計算コストを下げる工夫がされている。結果として、FEDformerは6つのベンチマークで当時の最高性能を達成したことをZhouら(2022)は報告している。しかし、Zhouらは周波数成分のサンプリングを行う際に重要な条件を無視していた。そのため、予測において重要な周波数成分をサンプリングする確率が低くなり、サンプル数を大きくしないと精度が低下するという問題があった。そこで、スペクトルの振幅によって重要度を定め、その重要度に基づいて周波数成分をサンプリングすることで重要な周波数成分をより少ないサンプル数で選べるように改良した。それによって、複数の季節変動がある時系列データの長期予測において他のモデルに比べて高い精度を現実的な計算量で達成した。