■サイトテーマと関連性のないページは検索ロボットに認識されない方がいい！？
長くサイトを運営してると以前は使ってたページだけど今は使わないページもあるかもしれません。
今のサイトとあまり関係のないページが残ってる場合もあります。
サイトテーマと関係のないページが存在してると「検索エンジン（検索ロボット）」がサイトのテーマを正しく認識できない可能性があります。正しく認識できないとSEOに不利になる場合があります。
■検索ロボットって何！？
ウェブ上の文書や画像などを周期的に取得して、自動的にデータベース化するプログラムです。
検索ロボットは別名「クローラ（Crawler）」とも呼ばれています。
その他にも「ボット（Bot）」、「スパイダー」、などとも呼ばれています。
※主な検索ロボットは以下です。
グーグルボット（Google）→ Googlebot
MSNBot（Bing）→ msnbot
■収集してほしくない時、どうするの！？
検索ロボットは常に情報を収集してます。
収集してほしくないページがある場合、以下二つの方法が御座います。
★【その１】robots.txtを使用★
・ステップ１：ファイル作成します。
「robots.txt」を作成します。
・ステップ２：以下コードを記載します。
User-agent: *
Disallow: /
・ステップ３：「robots.txt」というファイルを作成してドメインのルートに置きます。
理由としてロボットはドメインのルートにあるファイルのみを確認するからです。
※記載方法
「*」の場合、全ての検索ロボットに対してに適用になります。
指定したい検索ロボットがある場合「*」に検索ロボット名を指定して記載します。
※各検索エンジンの検索ロボット名は以下になります。
Google → Googlebot
bing → msnbot
※例：グーグルの場合
User-agent: Googlebot
Disallow: / ←ブロックしたいディレクトリ（URL）を記載します。
ドメインのルートってどこ！？
※例：「http://www.gmo-sol.jp/」の場合は「http://www.gmo-sol.jp/robots.txt」になります。
以下のようなサブディレクトリへの設置はNGです。
※例：http://www.gmo-sol.jp/content/business/robots.txt←×
★【その２】メタタグに設定★
上記設定が難しい場合、簡単な方法があります。
以下コードを対策ページのタグ内にメタタグで設定する方法です。
<meta name="robots" content="noindex,nofollow">
■まとめ
検索ロボットに認識してほしくないページはそのままにしておかないで、
ロボットに「インデックスしないで下さい。」と上記の方法で伝えましょう。
サイトテーマに関連性のないページは上記方法で対応して
検索ロボットにサイトテーマを正しく認識させましょう。
