.htaccessでクローラー拒否
.htaccessでフォルダ内のクロールを拒否
テストサイトをサーバーにアップして作業している際に、検索に引っかかったり、オフィシャルのサイトに影響してしまったりするので、
クロール拒否をしたい際に、ヘッダーに記述を入れたりしたりして、消すのを忘れてた…..
って結構問題になりますので、「.htaccess」で一括管理すると楽です。
テストフォルダにアップロード
「.htaccess」を作成致します。
そしてその中に下記の記述を記載致します。
SetEnvIf User-Agent "Googlebot" shutout
SetEnvIf User-Agent "Slurp" shutout
SetEnvIf User-Agent "msnbot" shutout
order Allow,Deny
Allow from all
Deny from env=shutout
SetEnvIf User-Agent “Googlebot” shutout ・・・・・ Googleクロールシャットアウト
SetEnvIf User-Agent “Slurp” shutout ・・・・・ Yahooクロールシャットアウト
SetEnvIf User-Agent “msnbot” shutout ・・・・・ Bingクロールシャットアウト
タグの使い方と実装ポイント"> ブラウザのアドレスバーをブランドカラーに!タグの使い方と実装ポイント
1月 12, 2025レスポンシブコーディングで気をつけること
1月 9, 2025W3Cチェッカーでよく出るエラーとその解決方法
11月 15, 2024