Development of a Data-Clustering Method Focusing on Simplicity of Cluster Structures and Its Application to Chemoinformatics

Abstract

A cluster validity index (CVI) called "simplicity index" (SI) is newly proposed to enhance the accuracy of data clustering in machine learning. This index is derived to emphasize the importance of simplicity in cluster structures. The characteristics ofSI and its advantages over the known methods in the literature are discussed. SI is applied to classification of nucleotide sequences of nitrogen-fixing genes.

1 背景と目的

クラスタリングは化学分野でもよく用いられる基本的なデータ解析手法であるが， その結果がどの程度妥当であるかの判定は必ずしも明確でなく，難しい問題とされている [1]． それでもなお，クラスタリングの妥当性を評価する指標は多数開発されており，これらはクラスタリング評価指標(Cluster Varidity Index: CVI)と言われる． しかしながら，指摘される困難性を克服するためにはさらに多角的な視点での評価や異なる解析を必要とする．

そこで，本研究では，既報のCVIの効果や特徴を把握した上で，新たな観点に基づくCVIを提案することを目的とする． また，提案したCVIによるケモインフォマティクスへの応用について述べる．

なお，本研究で議論するCVIは非階層型クラスタリング評価指標である． 階層型クラスタリングに用いる場合は特定の階層への評価指標となる．

2 既報のCVI

現在までに少なくとも数十のCVIが発表されており，その発表は1970年代に集中している [2]． ここでは，Arbelaitzらの報告 [2]にある30のCVIから，さらに代表的と思われる4指標， Dunn (Dunn) [3]，Calinski-Harabasz (CH) [4]，Silhouette (Sil) [5]，Score Function (SF) [6] をレビューする． レビューの視点はCVIの利用に際して我々が重要とみなす3要素: (1)元のデータに対する変換(シフト•スケール)が行われても指標値が変化しないこと， (2)最良値が存在すること， (3)クラスタ数に対する嗜好がないこと である． これらの判定は，式の解釈および評価用データにより行い，それぞれ (1)明確な依存性が認められない， (2)定義できない， (3)明確な嗜好が認められない場合に「なし」と判定した． 各CVIに対するレビューをTable 1にまとめる．これによれば，重要な3要素をすべて満たすCVIは存在しないことが判る．

Table 1. Properties of the existing CVIs

Name	Definition	Property flags
Dunn	$Mi{n}_{i=1}^k\left(Mi{n}_{j=1+1}^k\frac{d\left(c_i,c_j\right)}{Ma{x}_{m=1}^{k}dia\left(c_m\right)}\right)$,	S
	$d\left(c_i,c_j\right)=Mi{n}_{x\in c_i,y\in c_j}\left|\left|x-y\right|\right|$, $dia\left(c\right)=Ma{x}_{x,y\in c}\left|\left|x-y\right|\right|$, $c_i$: cluster $i$.
CH	$\frac{ssb}{ssw}\times \frac{N-k}{k-1}$,	S C
	$ssb=\sum _{i=1}^k\left|\left|m_i-m\right|\right|$, $ssw=\sum _{i=1}^k\sum _{x\in c_i}\left|\left|x-m_i\right|\right|$,
	$x$: each data point, $c_i$: cluster $i$, $m_i$: centroid of cluster $i$,
	$m$: centroid of total data points, $n_i$: number of members of cluster $i$.
Sil	$\frac{1}{N}\sum _{i=1}^n\frac{\left(b_i-a_i\right)}{Max\left(a_i,b_i\right)}$,	S B
	$a_i$: avarage distance between data point $i$ and other members in ident cluster,
	$b_i$: minimum avarage distance between data point $i$ and the members of other clusters.
SF	$1-\frac{1}{e^{e^{bcd-wcd}}}$,
	$bcd=\frac{{\sum }_{i=1}^k\left|\left|z_i-z_t\right|\right|n_i}{N k}$, $wcd=\sum _{i=1}^k\left(\frac{1}{n_i}\sum _{x\in c_i}\right|\left|x-z_i\right|\left|\right)$,	B C
	$c_i$: cluster $i$, $z_i$: centroid of cluster $i$,
	$z_t$: centroid of total data points, $n_i$: number of members of cluster $i$.

S: CVI has tolerance to scale and shift of data set. B: CVI has best value of its validation. C: CVI has no preference for a specific number of clusters.

次に既報のCVIのコンセプトについて議論する． 既報のCVIに共通するコンセプトは，各クラスターの凝集性とクラスター間の分離性の，比もしくは差に基づくものである [7]． すなわちクラスターの凝集性が高いほど，また，クラスター間の分離性が高いほど適正とするものである． 一方，一般的に要素間に距離を持つ集合の分割においては，分割数を増やすほど，異なるクラスターメンバー間の距離の合計が増加し(分離性が高くなり)，同一のクラスターメンバー間の距離の合計は減少する(凝集性も高くなる)． つまり，既報のCVIのコンセプトは， クラスター数を増やすほど適正と判定されやすいという問題を有している．

以上を勘案すると，既報のCVIが前述の3要素を満たさない理由は，そのコンセプトに依存していると考えることができる． 例えば，クラスター数をデータポイント数に設定した場合に指標値が無限大になるために最良値を定義できない，などである．

3 新指標の提案

我々は以上の問題を有さないコンセプトとそれに基づく新しいCVIの提案を行った．

3.1 コンセプトの提案

クラスター構造は根を持つ木である． 非階層クラスター構造も階層が制限されている木であるとみなせる． 適切なCVIではこの木構造が単純であるほど適正となる． その条件として以下を設定する: (C.1)データポイントをリーフノードとする， (C.2)データポイント間には距離が定義される， (C.3)各データポイントは根への唯一のパスを持つ， (C.4)クラスター分離は根からデータポイントのパスへのノードの挿入である． これに対して，構造が単純であるとは，以下と定義する: (D.1)ノードの挿入数が少ないほど単純である， (D.2)各クラスターにおいてメンバー数が少ないほど単純である， (D.3)各クラスターにおいてその空間的広がり(Dispersion)が小さいほど単純である． (D.4)また，クラスター数の嗜好を排除する手段としてクラスター数が1の場合とデータポイント数の場合に同じ指標値を返す性質を持つものとする．

3.2 CVIの提案

以上のコンセプトに基づき，次式で定義されるSimplicity Index (SI)を提案する．   

$SI=k\prod _{i=1}^k{n}_i^{\frac{d_i}{D}}.$(1)

または，   

$SI=k{\left(\prod _{i=1}^k{n}_i^{\frac{d_i}{D}}\right)}^{\frac{1}{k}}.$(2)

ただし，$k$はクラスター数，$n_i$はクラスター$i$におけるメンバー数， $d_i$はクラスター$i$の広がり(dispersion)，$D$はデータ全体の広がりを意味する．

上記2式は， クラスター数が1の時に$d_i=D$となり，かつ， クラスターメンバー数が1の時に$d_i=0$となる 場合において前述のD.4を充足し， 最良値として1，ベースライン(クラスター数が1の時とデータポイント数の時の指標値)としてデータポイント数を持つ． また， 当該指標はD.1，D.2，D.3の一種の積となっており値が小さいほど適正である． なお，ここで$d_i$および$D$に対して具体的な定義は行わないが，たとえば，これにクラスター半径などを用いることにより自然とD.4は満たされる．

4 ケモインフォマティクスへの応用

ケモ(バイオ)インフォマティクスへの応用例として， 遺伝子クラスタリングの評価が挙げられる． 遺伝子クラスタリングはその塩基配列間の編集距離等に基づいて行われ， 評価にはブートストラップ値がよく利用されるが [8]， 別の評価の観点として$SI$を利用できる． 階層クラスタリングの各階層において$SI$を適用し，その値をプロットすることにより各階層における妥当性が評価できるとともに， クラスター木全体の特徴を視覚的に捉えることができる． Figure 1 (2)は窒素固定遺伝子nifH群の塩基配列の編集距離によるデンドログラムの式(2)による評価である． $d_i$および$D$にはクラスター内メンバーのペアワイズ距離の平均を用いた． 局所的に細かい値の「揺らぎ」が生じており，他のより適切な階層クラスタリングが実行できる可能性が高いことを示している． このようなプロットとそれによる評価が可能となるのは$SI$のような ベースラインを持つCVIに限られる． なお，nifH遺伝子の詳細なリストは文献 [9]を参照されたい．

Figure 1.

 Dendrogram of nifH genes (1) and its hierarchical CVI plot (2).

5 まとめ

本研究では，新しいCVI群を定義した．群と称する理由は，式(1)，(2)において，$d_i$，$D$に対し，複数の定義が可能であることによる． 一般的には$d_i$を各クラスターの半径，$D$を全データセットの半径とすることによりコンセプトの条件を満たす． 当該部分は他の定義も可能であり， ケモインフォマティクスに向けたCVI定義式のさらなるチューニングが望まれる．

参考文献

• [1]   D. Pfitzner, R. Leibbrandt, D. Powers, Knowl. Inf. Syst., 19, 361 (2009).
• [2]   O. Arbelaitz, I. Gurrutxaga, J. Muguerza, J. M. Pérez, I. Perona, Pattern Recognit., 46, 243 (2013).
• [3]   J. C. Dunn, J. Cybern., 3, 32 (1973).
• [4]   T. Calinski, J. Harabasz, Commun. Stat., 3, 1 (1974).
• [5]   P. J. Rousseeuw, J. Comput. Appl. Math., 20, 53 (1987).
• [6]   S. Saitta, B. Raphael, I. F. C. Smith, A bounded index for cluster validity. Proceedings of the 5th International Conference on Machine Learning and Data Mining in Pattern Recognition. p. 174. 2007.
• [7]   E. Rendon, I. Abundez, A. Arizmendi, E. M. Quioz, Int. J. Comput. Commun., 5, 27 (2011).
• [8]   J. K. Brown, Proc. Natl. Acad. Sci. USA, 91, 12293 (1994). ,
• [9]   K. Amano. A System for Appropriate Use of k-means Clustering. 2010.