クローラビリティとは
クローラビリティ（Crawlability） は、GooglebotなどのWebクローラーがサイト内のページを発見し、コンテンツを取得できる容易さを表す指標です。
なぜクローラビリティが重要なのか？
検索エンジンがページの内容を理解してインデックスするには、まずクローラーがページにアクセスできなければなりません。クローラビリティが低いと、以下の問題が発生します。
- 新しいページがインデックスされない
- コンテンツの更新が検索結果に反映されない
- サイトの評価が適切に行われない
AEOとの関係は？
AI検索エンジンも同様にクローラーを使ってWebサイトの情報を収集しています。
- GoogleのAI Overview — Googlebotが取得した情報を基にAI回答を生成
- ChatGPT Search — OAI-SearchBotがWebを巡回
- Perplexity — PerplexityBotが情報を収集
クローラビリティが悪いと、AIの情報源としても選ばれません。
改善のチェックポイント
1. robots.txtの確認
AIクローラーをブロックしていないか確認します。AEO対策ではAIクローラーのアクセスを許可することが重要です。
2. サイトマップの提出
XMLサイトマップをGoogle Search Consoleに送信し、全ページをクローラーに通知します。
3. 内部リンクの整備
孤立したページ（他のページからリンクされていないページ）はクローラーが発見できません。
4. ページ速度の改善
クロール速度が遅いサイトは、クローラーの巡回頻度が下がります。
5. JavaScriptレンダリングの考慮
SPA（Single Page Application）の場合、クローラーがJavaScriptを実行できないとコンテンツを取得できないことがあります。SSR（サーバーサイドレンダリング）やSSG（静的サイト生成）を推奨します。
日本のWebサイトでは、robots.txtでAIクローラーをブロックしているサイトが一部見受けられます。AEO対策を始めるなら、まずrobots.txtを確認してAIクローラーのアクセスを許可してください。