検索エンジンがウェブ上のページを自動で巡回し、情報を収集するプログラムを指す。具体例として、Googleのクローラーが企業サイトを訪問し、ページ内容やリンク構造を読み取ってインデックス化するケースがある。クローラーが正しく情報を取得できるように、サイト構造やメタタグ、リンク設計を最適化することはSEOに直結し、検索結果での表示順位向上やユーザーへの情報提供に不可欠な要素である。