パッチ埋め込みを用いた Transformer によるベクターフォントの分類

抄録

今日の出版物，ウェブサイト，電子媒体などで使用されているフォントは，拡大縮小しても画質が劣化しない性質を持つベクター形式を採用している．しかし，フォントの生成・変換・分類などのタスクに用いられる深層学習手法の多くはビットマップ形式に焦点を当てており，ベクターフォントの深層学習に関する研究はあまり進んでいない．本研究では，Transformer によるベクターフォントの分類タスクにおいてパッチ埋め込みを用いる手法を提案する．また，数値実験によりパッチ埋め込みにより性能が向上し学習が安定することを示す．ベクターフォントの文字の形状は描画コマンドの系列によって表現され，既存の手法では各描画コマンドをそれぞれひとつのトークンとして扱っていた．提案手法は，言語モデルにおけるトークナイゼーションやビットマップ形式の画像認識モデルにおけるパッチ分割に相当すると考えられる．