人工知能学会全国大会論文集
Online ISSN : 2758-7347
第35回 (2021)
セッションID: 3J4-GS-6c-01
会議情報

BERTにおけるWeightとActivationの3値化の検討
*加来 宗一郎西田 京介吉田 仙
著者情報
会議録・要旨集 フリー

詳細
抄録

事前学習済み言語モデルであるBERTの軽量化・高速化に向けてfloat値を少ないbit数表現で近似する量子化技術が注目を集めている.従来技術ではモデルのweight パラメータを3値や2値にする研究が行われているが,一方でactivationの量子化は8bit化が主流であり,8bit未満での近似は精度維持が困難であることが経験的に知られている.本研究ではBERTの中間表現における外れ値が課題であると考察し,事前学習済みのBERTを基に各層のactivationの外れ値に対応可能な3値化手法を提案する.評価実験により,weightとactivationを3値化したモデルが言語モデリングおよびダウンストリームタスクにおいて従来手法で3値化した場合に比べて精度低下を抑えたことを示す.

著者関連情報
© 2021 一般社団法人 人工知能学会
前の記事 次の記事
feedback
Top