大規模Webクローラの運用事例にみる課題と対策

抄録

現在、我々は数十億件規模のWebアーカイブ構築を目指し、大規模Webクローラを運用・開発している。このようなビッグデータ級のデータ収集においては、設計段階では想定外の事態や障害が多々発生し得る。その際に重要であるのは、運用の過程で得られたデータを次期研究開発に活かすフィードバックループを形成することである。そこで本発表では、大規模なデータ収集に資する運用事例と解決すべき課題を紹介する。