robots.txtとsitemap.xmlの基本：クロール制御の入口を整える

検索エンジンにサイトを正しく認識してもらうためには、コンテンツの中身だけでなく「クローラーがどこを回り、どのURLを重要と判断するか」を制御する仕組みも重要です。

その入口となるのがrobots.txtとsitemap.xmlです。この記事では、それぞれの役割と正しい設定方法、起きがちな事故パターンを解説します。

robots.txtの役割

robots.txtは、サイトのルート直下（https://example.com/robots.txt）に置くテキストファイルで、検索エンジンのクローラーに対して「どのURLをクロールしてよいか」を指示します。基本構文は次の通りです。

User-agent: *
Disallow: /admin/
Allow: /admin/public/

Sitemap: https://example.com/sitemap.xml

User-agentで対象クローラーを指定し、Disallowでクロール禁止パス、Allowで例外的に許可するパスを指定します。末尾にSitemapを記載しておくと、クローラーがsitemap.xmlの場所を発見しやすくなります。

よくある設定ミス

• Disallow: / と記載してしまい、サイト全体をクロールブロックしてしまう
• 開発環境用の設定を本番環境にそのまま反映してしまう
• CSSやJSファイルをブロックし、Googleが正しくレンダリングできなくなる
• 大文字・小文字やパスの末尾スラッシュの記述ミスで意図した範囲をブロックできていない

sitemap.xmlの役割

sitemap.xmlは、サイト内の重要なURL一覧を検索エンジンに伝えるためのXMLファイルです。特に、内部リンクが少ないページや新規公開直後のページを発見してもらいやすくする効果があります。

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/products/item-123</loc>
    <lastmod>2026-07-01</lastmod>
  </url>
</urlset>

locにURL、lastmodに最終更新日を記載します。1つのsitemap.xmlに含められるURL数には上限があるため、大規模サイトではsitemapインデックスファイルで複数のsitemapを束ねる構成が一般的です。

sitemapに含めるべきURL・含めるべきでないURL

Search Consoleでの確認方法

sitemap.xmlを送信したら、Search Consoleの「サイトマップ」レポートで送信済みURL数と実際にインデックスされた数の差を確認します。差が大きい場合は、noindexの混入や重複コンテンツ、クロールエラーが原因になっていることが多いです。

本ツールでは、robots.txtの記述内容とsitemap.xmlの整合性をあわせてチェックする機能があります。robots.txtで誤ってブロックされているのにsitemapには載っているURL、逆にsitemapに載っていない重要ページなどを自動で洗い出せるため、手動確認の抜け漏れを防げます。

チェックリスト

最後に、本記事のポイントをチェックリストとしてまとめます。

• robots.txtで意図しない範囲（サイト全体・CSS/JS等）をブロックしていないか
• robots.txtにsitemap.xmlの場所が記載されているか
• sitemap.xmlに含めているURLがすべて正規URL（canonicalの向き先）と一致しているか
• noindexページやリダイレクト済みURLがsitemapに混在していないか
• Search Consoleで送信数とインデックス数の差を定期的に確認しているか

自サイトのrobots.txtとsitemap.xmlの状態は、本ツールの SEOチェッカー で確認できます。sitemap.xmlの一括解析にも対応しており、記載URLをまとめてチェックできます。

参考・一次情報ソース

• Introduction to robots.txt — Google Search Central
• Sitemaps overview — Google Search Central