文書の多様性指標の提案とオンラインニュース記事の分析

抄録

組織内で行われる議論や報道の多様性を知るためには，文書や発言の多様性を定量化できることが望ましい．しかし，従来の多様性の指標は，大規模な学習コーパスが必要であるため適用に限界があった．実際，報道やソーシャルメディアへの投稿については学習コーパスの日々の更新の負担が重く，議事録に関しては大規模なコーパスの入手が困難である．そこで本報告では学習コーパスを用いること無く文書の多様性が定量化できる手法を提案する．具体的には，生態系と文書の類似性を利用して，生物多様性の研究で用いられているHill numberを文書の多様性指標に応用した．インターネットで取得したニュース記事を用いた評価実験では，提案手法は従来手法を上回る性能を示した．