
■サイトテーマと関連性のないページは検索ロボットに認識されない方がいい!?
長くサイトを運営してると以前は使ってたページだけど今は使わないページもあるかもしれません。
今のサイトとあまり関係のないページが残ってる場合もあります。
サイトテーマと関係のないページが存在してると「検索エンジン(検索ロボット)」がサイトのテーマを正しく認識できない可能性があります。正しく認識できないとSEOに不利になる場合があります。
■検索ロボットって何!?
ウェブ上の文書や画像などを周期的に取得して、自動的にデータベース化するプログラムです。
検索ロボットは別名「クローラ(Crawler)」とも呼ばれています。
その他にも「ボット(Bot)」、「スパイダー」、などとも呼ばれています。
※主な検索ロボットは以下です。
グーグルボット(Google)→ Googlebot
MSNBot(Bing)→ msnbot
■収集してほしくない時、どうするの!?
検索ロボットは常に情報を収集してます。
収集してほしくないページがある場合、以下二つの方法が御座います。
★【その1】robots.txtを使用★
・ステップ1:ファイル作成します。
「robots.txt」を作成します。
・ステップ2:以下コードを記載します。
User-agent: *
Disallow: /
・ステップ3:「robots.txt」というファイルを作成してドメインのルートに置きます。
理由としてロボットはドメインのルートにあるファイルのみを確認するからです。
※記載方法
「*」の場合、全ての検索ロボットに対してに適用になります。
指定したい検索ロボットがある場合「*」に検索ロボット名を指定して記載します。
※各検索エンジンの検索ロボット名は以下になります。
Google → Googlebot
bing → msnbot
※例:グーグルの場合
User-agent: Googlebot
Disallow: / ←ブロックしたいディレクトリ(URL)を記載します。
ドメインのルートってどこ!?
※例:「http://www.gmo-sol.jp/」の場合は「http://www.gmo-sol.jp/robots.txt」になります。
以下のようなサブディレクトリへの設置はNGです。
※例:http://www.gmo-sol.jp/content/business/robots.txt←×
★【その2】メタタグに設定★
上記設定が難しい場合、簡単な方法があります。
以下コードを対策ページのタグ内にメタタグで設定する方法です。
<meta name="robots" content="noindex,nofollow">
■まとめ
検索ロボットに認識してほしくないページはそのままにしておかないで、
ロボットに「インデックスしないで下さい。」と上記の方法で伝えましょう。
サイトテーマに関連性のないページは上記方法で対応して
検索ロボットにサイトテーマを正しく認識させましょう。