クローラー（Crawler）

クローラーとは、各検索サイトや研究機関がWebサイトの情報を収集するために利用している自動巡回ロボットのことです。

クローラーはHTMLに記載されているリンクを一気にたどって行くため、人間のユーザーとは明らかに異なるアクセスを行います。検索サイトでの検索順位を上げるためには、クローラーがWebサイトを訪れることは歓迎すべきことですが、ユーザーの動きを知るために行うアクセスログ解析にとっては不要なデータとなってしまいます。従ってアクセスログ解析を行うにあたっては、可能な限りクローラーの残したログデータを排除して分析を行います。

クローラーの多くはアクセスログのデータ中にあるユーザーエージェントの情報にクローラーであることを明示し、そのクローラーに関する情報を掲載したWebサイトのURLを記載しているので、データの判別と排除が可能です。しかし、中にはクローラーであることを明示せず、一般のユーザーを偽装するようなものもあるため、完全に排除するためには怪しいアクセスをひとつひとつ検証していく必要があります。