近年 BERT をはじめとする transformer 型の事前学習モデルの出現により，様々な自然言語処理タスクにおいて目覚ましい研究成果があげられている．情報検索の分野においても，事前学習モデルを利用した検索技術により従来技術を大きく上回る精度で検索が可能となってきた．また，大量の文書から関連文書を高速高精度に検索することを目的として，ニューラルネットワークでスパースな潜在表現を獲得しこれを潜在単語とみなすことにより，転置インデックスを利用した高速検索を実現する試みもなされてきた．しかし，従来手法では学習時にスパース性を明示的に評価していなかったため，出力が限られた部分空間に偏ってしまい，転置インデックスをうまく活用できず高速に検索ができない可能性があるという問題があった．本研究では，事前学習モデルを利用したニューラルネットワークを用いて文脈を考慮可能にするとともに，このモデルで得られる潜在表現が部分空間に偏りにくい学習方法を提案する．数値実験により提案手法で得られる潜在表現から作成された転置インデックスを用いて，高速な検索が可能であること示す．
