Kleinberg のバースト検知

抄録

異常検知の一つで，ある出来事に関連した文書の発生頻度が増加している（つまり，バーストしている）時間帯を検知するアルゴリズムである．

例えば，あるサッカーの試合についてマイクロブログを見る場合，「点が入る」という出来事に対して大量の書き込みが行われる．「Kleinberg のバースト検知」はこのようなバーストを効率よく検知できる．

Kleinberg のバースト検知には，時間軸に沿って断続的に発生する関連文書の時刻を元にバースト検知を行うもの（以後，連続型と呼ぶ）と，単位時間毎に発生した関連文書を数える列挙型が定義されている．連続型では，関連文書発生の時間間隔がそれまでと比べて短い状態が続くとバーストと判定される．関連文書が発生する毎にバースト検知を行うため，時間軸方向に細かくバースト状態を見ていく事ができるが，同時刻に複数の関連文書が発生した場合は扱う事が出来ない．一方，列挙型では時間軸を適当な間隔（バッチ）に区切り，バッチに含まれる全文書数と関連文書数を用いてバースト検知を行う．同時刻に複数の文書が発生した場合でも扱う事ができるが，母集団としての全文書数も計測する必要がある．また，バッチより細かい時間でのバーストの変化を知ることはできない．

どちらも，バースト状態を定義したオートマトンを使用するが，連続型では無限個のバースト状態を定義する事によって「バーストの強さ」を知ることができるのに対し，列挙型では連続したバッチに対して「バーストしている・していない」の２状態しか持たない．そのため，列挙型では「（バーストしたとして）バーストの強さ」を表現する，weight という別の値を用意している．