robots.txt と noindex の役割分担

robots.txt と noindex は似て見えて役割が違います。URL 制御を誤ると、検索にも AI 面にも悪影響が出ます。

取得させないのか、評価対象から外すのか。この違いを曖昧にすると、意図しないページが残ったり、本当に見せたいページまで弱くなったりします。

• robots.txt はクロール制御、noindex は index 制御として考えると整理しやすいです。
• 何を見せたくないかだけでなく、何を残したいかから逆算した方が失敗しにくいです。
• 取得できないページに noindex を置いても意味が薄いなど、組み合わせの理解が必要です。

robots.txt は取得の入口を制御する

robots.txt は、クローラに対してどこを見に行くかの入口を伝える役割があります。サイト全体の負荷や無駄な巡回を抑える時に使いやすいです。

ただし、見せたくないからといって機械的に閉じると、本来参照させるべきページまで見つかりにくくなることがあります。入口を閉じる理由を明確にして使うべきです。

noindex は評価対象から外すために使う

noindex は、そのページを検索の結果に出させたくない時に使います。取得自体はされても、正規の評価対象として残したくないページに向いています。

一覧の派生ページ、検索結果、テストページなどは noindex の候補になりやすいです。ただし、正規ページと重複するなら canonical と合わせて考える必要があります。

実務では URL の役割ごとに決める

大事なのは、URL ごとに役割を決めることです。検索に出したい詳細ページ、補助的な一覧、見せたくない一時ページを同じ基準で扱うと崩れます。

AI 面を考える時も、結局はどの URL を正規の情報源として残すかの問題です。URL 戦略として一貫させる方が長期運用に向きます。

FAQ