事前学習済み言語モデルであるBERTの軽量化・高速化に向けてfloat値を少ないbit数表現で近似する量子化技術が注目を集めている．従来技術ではモデルのweight パラメータを3値や2値にする研究が行われているが，一方でactivationの量子化は8bit化が主流であり，8bit未満での近似は精度維持が困難であることが経験的に知られている．本研究ではBERTの中間表現における外れ値が課題であると考察し，事前学習済みのBERTを基に各層のactivationの外れ値に対応可能な3値化手法を提案する．評価実験により，weightとactivationを3値化したモデルが言語モデリングおよびダウンストリームタスクにおいて従来手法で3値化した場合に比べて精度低下を抑えたことを示す．
