.htaccessでクローラー拒否

.htaccessでフォルダ内のクロールを拒否

テストサイトをサーバーにアップして作業している際に、検索に引っかかったり、オフィシャルのサイトに影響してしまったりするので、
クロール拒否をしたい際に、ヘッダーに記述を入れたりしたりして、消すのを忘れてた…..
って結構問題になりますので、「.htaccess」で一括管理すると楽です。

テストフォルダにアップロード

「.htaccess」を作成致します。
そしてその中に下記の記述を記載致します。

[crayon-5ba992ef0cdbf054140926/]

SetEnvIf User-Agent “Googlebot” shutout ・・・・・ Googleクロールシャットアウト

SetEnvIf User-Agent “Slurp” shutout ・・・・・ Yahooクロールシャットアウト

SetEnvIf User-Agent “msnbot” shutout ・・・・・ Bingクロールシャットアウト

Commentsこの記事についたコメント

%d人のブロガーが「いいね」をつけました。