ハイパフォーマンス・エラスティック・クローリング

抄録

我々は、これまで情報分析システムのためのWebクローラを開発・運用し、10億ページ規模のWebアーカイブを構築してきた。現在、さらなる大規模化と多様なメディアに対応する超高性能クローラの開発を進めている。本発表では、これまでの取り組みについて概説するとともに、ビッグデータ時代に対応したクローラの実現に向けた諸課題のうち、特に大量のURLデータ管理に焦点をあてた性能検証の結果について紹介する。