Transformerによる時系列予測

抄録

一変量か多変量かに関わらず時系列予測は応用上重要であり,一変量のARIMAから多変量の自己回帰モデルVARなどが機械学習の技術として古くから使われ,RNNやCNNなどの深層学習も時系列予測に使われている.近年では,それらの複合型モデルであるLSTNetやMemory-Networkを使った時系列予測であるMTNetもあり,多変量時系列予測の精度を向上させる試みがなされている.一方,時系列とは異なる自然言語処理の世界ではTransformerが自然言語の系列予測でstate-of-the-artを達成し,その後転移学習を可能とするBERTなどに発展し,大きな進歩を遂げている.本研究の目的は,自然言語処理の世界の系列予測技術を時系列予測に応用できるかを評価することであり,Transformerをベースにして気温予測モデルを設計した.その結果,気象アンサンブルによるデータ同化予報やメッシュ地点などの説明変数が多変量で目的変数が一変量である時系列予測にはTransformerが良い精度を与えうることがわかった.