2008年12月18日

robot.txtについてのメモ

20081218.jpg
 昨日、久しぶりにGoogle検索で自分のホームページを見てみたら、検索ロボット対策済みのはずのページまでインデックスされていて、あれ?と思い、設定していたrobot.txtを確認したところ…見事に設定を間違えていました。(涙)
 と、言うわけで修正のついでに覚え書きとして、今日はrobot.txtについてのメモをしておこうと思います。

■Robot.txtについて

 robot.txtとは、巡回型の検索ロボットが、ホームページを自動的に巡回して、インデックス(ホームページを検索エンジンに登録)してしまうのを防ぐものです。
 すべての検索ロボットを防げるわけではありませんが、ある程度の効果が期待出来ます。

■robot.txtの書き方

 テキストエディタを開き、下記のように記載した場合、全ての検索ロボットに対して、全てのコンテンツのインデックスを許可しない設定になります。

 User-agent: *
 Disallow: /

 「User-agent: * 」
 この部分には、ロボットの名前を書いて、ロボットの名前を指定する事も出来ます。

 「Disallow: 」
 この部分には、インデックスされたくないページやフォルダを指定します。

 「*」とは、「すべて」、「User-agent」とは、「検索エンジン」、「Disallow」とは「禁止する」と言う意味だそうです。

 例えば、グーグルにだけインデックスされたくない場合は、

 User-agent: Googlebot

 と、記述します。

 グーグルに、特定のフォルダだけ(今回は「sample」と言うフォルダの場合で説明しています)、インデックスされたくない場合は、

 User-agent: Googlebot
 Disallow: /sample/

 と、記述します。

 複数の検索ロボットで、複数のページやフォルダを指定する場合は、

 User-agent: Googlebot
 Disallow: /sample/
 Disallow: /sample2/

 User-agent: Slurp
 Disallow: /sample/
 Disallow: /sample2/

 と、言うように記述します。

 設定出来たら、ファイルの名前を「robot.txt」として、保存します。

■robot.txtの設置の仕方

 「robots.txt」は、そのサイト(ホームページ)のトップディレクトリ(一番上の階層)に置く必要があります。

 例えば、『http://www.○○○.com/』の場合、
 http://www.○○○.com/の階層に、
 robot.txtを設置する必要があります。

 それを、アドレスで説明すると、
 http://www.○○○.com/robot.txt
 と、なります。

 http://www.○○○.com/sample/
 と、言うアドレスを検索ロボットにインデックスされたくない、と言う場合に、
 http://www.○○○.com/sample/に、robots.txtを置いても、検索ロボットは指示に従ってくれません。つまりrobots.txtを置いた場所が、
 http://www.○○○.com/sample/robots.txt
 言うアドレスではダメなのです。

 この場合は、robots.txtに、

 User-agent: Googlebot
 Disallow: /sample/

 と、記述して、

 http://www.○○○.com/

 の、アドレスに、robots.txtを置く必要があります。
 (ホームページのindex.htmlや、top.htmlを置く階層です)

■robot.txtが設置出来ないサイト/ホームページについて

 サイトアドレスが、

 http://www.geocities.jp/○○○/であったり、
 http://www.ocn.ne.jp/~○○○/であったりする場合、

 robots.txtを使う事が出来ません。
 (必ず、トップディレクトリ=一番上の階層に設置しなければならないためです)
 この場合はrobots.txtを設置出来ないので、METAタグなどで、検索ロボットに指示をする事になります。

 詳しくは、METAタグの解説ページをご覧下さいませ。
 ■METAタグメモ■
 http://first-moon.sblo.jp/article/23821725.html

※「robot.txtについて」の記事は自分用メモで、私自身はrobot.txtについて疎いため、設定についての質問などにはお答え出来ません。ご了承下さいませ。
また、記述などに間違いがありましたら、教えて頂けると幸いです。随時修正させて頂きます。
posted by 糸宇 at 21:58 | Comment(0) | タグ/ソース関連メモ
この記事へのコメント
コメントを書く
お名前: [必須入力]

ホームページアドレス:

コメント: [必須入力]

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。
  First MoonFirst Moon Blogへのコメント等についてFirst Moon

  First MoonBlogに遊びに来て下さり、ありがとうございます。
   Blog記事へのコメント、とっても嬉しいです♪

  ※フリー素材について質問、相談等がございましたら、
   【幻想素材サイトFirst Moon】の、【お約束ごと】【FAQ】
   お読みの上、ゲストブック/レスありをご利用下さい。
   素材のリクエストは、リクエスト掲示板にお寄せ下さいませ。

  ※本Blog、Blogの記事と直接関係のない話題はご遠慮下さい。
   マナーに欠けたコメント、問題あると判断した書き込み、
   スパムと思われる物は、予告無く削除する場合があります。

  ※現在、First Moon Blogでは相互リンクはお受けしておりません。

  ※First Moon Blogに掲載している全ての記事、画像の、無断転載、
   再配布を禁止致します。(本Blogの画像は素材ではありません)

   Blog内に使用したい画像、記事がございましたら連絡下さい。
  
・―・―・―・―・―・―・―・―・―・―・―・―・―・―・―・―・―・


−First Moon Blog−
Copyright (c) Itoh ( First Moon ), All Right Reserved
当Blogのすべての画像・構成・文章の無断引用・転用を禁じます。
Web Master:糸宇 睦月