.htaccessでクローラー拒否

.htaccessでフォルダ内のクロールを拒否

テストサイトをサーバーにアップして作業している際に、検索に引っかかったり、オフィシャルのサイトに影響してしまったりするので、
クロール拒否をしたい際に、ヘッダーに記述を入れたりしたりして、消すのを忘れてた…..
って結構問題になりますので、「.htaccess」で一括管理すると楽です。

テストフォルダにアップロード

「.htaccess」を作成致します。
そしてその中に下記の記述を記載致します。

SetEnvIf User-Agent "Googlebot" shutout
SetEnvIf User-Agent "Slurp" shutout
SetEnvIf User-Agent "msnbot" shutout
order Allow,Deny
Allow from all
Deny from env=shutout

SetEnvIf User-Agent “Googlebot” shutout ・・・・・ Googleクロールシャットアウト

SetEnvIf User-Agent “Slurp” shutout ・・・・・ Yahooクロールシャットアウト

SetEnvIf User-Agent “msnbot” shutout ・・・・・ Bingクロールシャットアウト