FT-Transformerの精度向上と効率化に関する―考察

抄録

近年，ディープラーニングモデルは様々なデータに対して高い性能を発揮している．表形式データに対しても，現在主流な勾配ブースティングモデルよりも高い精度を示すことが示唆され始めており，特にDLモデルの一つであるTransformerモデルを表形式データに適用したFT-Transformer (FTT)はその有力な一手法となっている．Transformerは，元々非構造化データに対する予測のために提案されており，Attention機構により全特徴量（単語やパッチ画像など）間の高度な関係性を考慮することで高い性能を示す．しかし，表形式データの特徴量同士の関係性は文書や画像のような非構造化データに比べそれほど複雑ではないことが考えられる．そこで，本研究ではFTTにおけるTransformerのAttention機構において，特徴量同士の関係性を過度に考慮せず，不要な情報を削減することで精度や計算効率を改善する，表形式データに適した改良型のFTTを提案する．さらに，機械学習における代表的なタスクである回帰・二値分類・多値分類のそれぞれのタスクに関する評価実験により提案手法の有効性を示す．