多くの検索エンジンでは、設定によって 特定のページを検索対象としないようにできます。
各ページに META タグで指定する方法と、サイトごとに robots.txt ファイルを作成する方法があります。
多くの検索エンジンでは、つぎのいずれかの タグがあると、そのページを検索対象としません。 Web ページをあまり広く知らせたくないときに利用します。
いずれも <HEAD>...</HEAD> タグのなかに書きます。
独自ドメインの Web サイトでは、サイトのトップに robots.txt という ファイルを作成することによって、検索エンジンに、 検索対象にされたくないページを知らせることができます。 Web ページをあまり広く知らせたくないときに利用します。
robots.txt ファイルは、サイトのトップに作らないと効果がありません。 たとえば、 http://www.no-debris.org/robots.txt という場所にあれば検索エンジンに認識されますが、 http://www.no-debris.org/Mir/robots.txt という場所にあっても認識されません (単なるテキストファイルとして扱われてしまいます)。 また、robots.txt ファイルの名前は小文字でないといけません。 Robots.txt とか ROBOTS.TXT とかいう名前ではだめです。
なお、独自ドメインでない Web サイトの場合、自分で robots.txt ファイルを作ることはできません。 上の META タグで指定する方法を使うか、 WWW システム管理者 に robots.txt ファイルを書き換えるよう依頼してください。
robots.txt ファイルには、User-Agent: 行と Disallow: 行を書きます。 User-Agent: 行では拒否の対象としたい検索エンジンの種類を書きます。 * を書けば「すべての検索エンジン」の意味になるので、通常はこれを 書けばいいでしょう。 Disallow: 行には拒否の対象としたい URL のパターンを書きます。 パターンには、サイト内のパスのみを書き、ホスト名 (サーバ名) は 書きません。書いたパターンに前方一致するすべての URL が、検索対象から 外されます。
以下、Web サイト http://www.no-debris.org/ のための robots.txt ファイルの例をいくつか挙げます。 robots.txt ファイルの場所は、http://www.no-debris.org/robots.txt です。
ただし、すべての検索エンジンが以上のルールに完全に従うとはかぎりません。 また、検索エンジンに登録されないようにしていても、ほかのページからリンクが 張られていればみつけられてしまうことがあります。公開されている Web ページと いうものは、その存在を完全に隠すことはできないものなのです。
Web ページを非公開にしたいときは、パスワード認証を設定するなどほかの
方法も併用してください。