規模の拡張に対応した検索エンジンの開発
2009 年 26 巻 4 号 p. 4_138-4_156
詳細
2009 年 26 巻 4 号 p. 4_138-4_156
Web検索を利用するシステムの開発では，GoogleやYahooなどが提供する検索APIを利用することが多い．しかし，検索APIの利用には取得できる検索結果の件数に制限があり，検索対象のページの全文をAPIによって直接得ることはできないといった問題点がある．このような検索APIの問題点は，利用者自身が検索エンジンを構築し運用することで解決可能である．本論文では，HeritrixやApache Lucene，MySQLなどのオープンソースソフトウェアをベースにした検索エンジンの開発について報告する．開発にあたっては，データベースやインデックスの分割を行い，スケーラビリティに考慮して設計と実装を行うことにより規模の拡張に対応した．開発したシステムについては稼働実験を行い，規模の拡張によって検索の速度性能が低下しないことを確認した．
