検索エンジンに登録されないようにするには
検索エンジンに登録されないようにするには
* ページに META タグで指定する方法
* robots.txt ファイルを作成する方法
* 注意
多くの検索エンジンでは、設定によって特定のページを検索対象としないようにできます。
各ページに META タグで指定する方法と、サイトごとに robots.txt ファイルを作成する方法があります。
ページに META タグで指定する方法
多くの検索エンジンでは、つぎのいずれかのタグがあると、そのページを検索の対象にしません。 Webページの存在を知らせたくないときに利用します。
これらのタグは、いずれも <HEAD>...</HEAD>タグのなかに書きます。
<META NAME="robots" CONTENT="none">
このページ自身もこのページからリンクしているページも 検索対象にしません。
<META NAME="robots" CONTENT="noindex">
このページを検索対象にしません。このページからリンクしている ページは検索対象になることがあります。
<META NAME="robots" CONTENT="nofollow">
このページからリンクされているページを検索対象にしません。 このページ自身は検索対象になることがあります。
robots.txt ファイルを作成する方法
独自ドメインの Web サイトでは、サイトのトップに robots.txt というファイルを作成することによって、検索エンジンに、検索対象にされたくないページを知らせることができます。 Web ページをあまり広く知らせたくないときに利用します。
robots.txt ファイルは、サイトのトップに作らないと効果がありません。たとえば、http://www.no-debris.org/robots.txt という場所にあれば検索エンジンに認識されますが、 http://www.no-debris.org/Mir/robots.txt という場所にあっても認識されません (単なるテキストファイルとして扱われてしまいます)。なお、robots.txt ファイルの名前は小文字にします。 Robots.txt や ROBOTS.TXT などのファイル名は、robots.txtとは異なるファイルとみなされます。
独自ドメイン以外のWebサイト(ルートフォルダにrobots.txtを記述することができないサイト)では、自分で robots.txt ファイルを作ることはできません。前述のMETAタグで指定する方法を使うか、WWWシステム管理者にrobots.txtファイルを書き換えるよう依頼してください。
robots.txtファイルには、User-Agent: 行と Disallow: 行を書きます。 User-Agent: 行では拒否の対象としたい検索エンジンの種類を書きます。 * を書けば「すべての検索エンジン」の意味になるので、通常はこれを書けばいいでしょう。 Disallow: 行には拒否の対象としたい URL のパターンを書きます。パターンには、サイト内のパスのみを書き、ホスト名 (サーバ名) は書きません。書いたパターンに前方一致するすべての URL が、検索対象から外されます。
以下、Web サイト http://www.no-debris.org/ のための robots.txt ファイルの例をいくつか挙げます。 robots.txt ファイルの場所は、http://www.no-debris.org/robots.txt です。
User-Agent: *
Disallow: /Mir/
Disallow: /ISS/JEM/
Disallow: /skylab/skylab-2.html
すべての検索エンジンに対して、つぎのページを検索対象にしません:
* http://www.no-debris.org/Mir/ 配下のすべてのページ
* http://www.no-debris.org/ISS/JEM/ 配下のすべてのページ
* http://www.no-debris.org/skylab/skylab-2.html というページ
User-Agent: *
Disallow: /
すべての検索エンジンに対して、http://www.no-debris.org/ サイトのあらゆるページを検索対象にしません。
URL のパスはかならず / で始まるので、Disallow: 行に / を書くとすべてのページを指すことになります。
User-Agent: *
Disallow:
すべての検索エンジンに対して、http://www.no-debris.org/ サイトのあらゆるページを検索対象にします。
robots.txt ファイルを作らなかったときとおなじです。
注意
すべての検索エンジンが以上のルールに完全に従うとはかぎりません。また、検索エンジンへの登録を拒否したとしても、アクセス制限をかけない限り、公開されたWebページの存在を完全に隠すことはできません。
Webページを外部に公開したくないときは、パスワード認証によるアクセス制限などの方法を併用してください。