局所尤度推定に基づくノイジーデータからの大規模分散クラスタリング

抄録

本研究では1回のデータのフルスキャンが極めて高コストであるような大規模データセットが数千_から_数万のクラスタを含むような状況を想定し，それらを分散計算機環境下で効率的に推定する方法について，確率モデルの推定に基づく大規模分散クラスタリング法を提案する．$k$-mean法やEM法に代表されるクラスタリング手法は実装が容易で頻繁に利用されるが，クラスタ数$k$をあらかじめ与える必要があること，データのフルスキャンが必要であるなど，大容量のデータクラスタリングには望ましくない性質がある．変分ベイズ法などモデル選択の枠組みを利用した推定法は$k$の決定を含むが，複数のモデルについて推定を繰り返さなければならない点で大規模クラスタリングには不向きである．本研究ではモデルの尤度を局所化することでモデル推定が局所化可能であることを利用した分散化可能なクラスタリングアルゴリズムを示す．