二値化ニューラルネットワークへの変分情報ボトルネックによる正則化

抄録

深層ニューラルネットワークはその性能の高さからIoTといった様々な分野で応用されている．そのためエッジデバイス上での深層ニューラルネットワークの実行が求められている．しかしながら，エッジデバイスは性能が低いため，深層ニューラルネットワークのモデルサイズを小さくする必要がある．その解決策として重みおよび信号を1bitで表現する二値化ニューラルネットワークが挙げられるが，深層ニューラルネットワークに比べて離散的であるため入力の摂動に対して頑健性が低い課題が残っている． そこで，本研究では変分情報ボトルネックの導入による正則化手法を提案する．本稿では，CIFAR-10を用いた実験を行い，AlexNetをベースにしたモデルにおいて提案手法が二値化ニューラルネットワークの過学習に対して有効であることを示した．