「鵜の真似をする烏」はNGです。スクレイピングについて

  こんにちは。
GMOソリューションパートナー株式会社がお送りするWEB改善事例ブログの更新です。社内でも評判のブログとなっており、担当者としてますますやる気が出てきております（笑）
さて、本日はスクレイピングについての記事となります。  

■　スクレイピングについて

  英語で"scrape"とは「削ること」という意味です。 ネットの世界では他人のサイトのコンテンツを
第三者が無断でコピーすることを“スクレイピング”(Scraping)と呼びます。 他人のサイトの文章など丸ごとコピーして自分のサイトで使用する行為です。  

■　スクレイピングは良くない！？

  スクレイピングが検索エンジンに見つかると重複コンテンツ扱いされて
検索結果での順位を大きく下げたり、除外されてしまう場合があります。  

■　重複コンテンツはどうして良くないの！？

  検索エンジンは「検索結果」にコピーの様な同じサイトが表示されないようにつとめてます。 検索結果の1位から10位までが全く同じ内容のページだったら
ユーザーがびっくりしてしまうからです。 その為に一つだけ代表を選んで検索結果に表示するようにしてます。  

■　スクレイピング対策方法

  1．他のサイトからのコピーをしない
2. 他のサイトにコピーされないようにする
1については対策可能ですが2については対策が難しいですよね。 ここがスクレイピングのやっかいなところです。 最悪なのは自分のサイトが第三者の別のサイトに勝手にコピーされたのに
コピーした方が順位が上がって自分のサイトが下げられる場合もあるのです。  

【それではどうすればいいのでしょうか？】

  ※対策方法は以下2つが有効です。   1）スクレイプ先のサイトに掲載の削除を依頼 2）Googleの報告フォームよりご連絡 （スクレイプ報告フォーム：https://docs.google.com/spreadsheet/viewform?formkey=dGM4TXhIOFd3c1hZR2NHUDN1NmllU0E6MQ&ndplr=1）        

■　自分がスクレイピングされてないか調べる方法

  地道な作業になりますが、スクレイピングされそうな文章の
一部をコピーし、検索エンジンで検索します。 ポイントは商品の詳細ページでスクレイピングが発生しやすいです。 商品詳細ページでスクレイピングされそうなもの
をランダムにピックアップして検索エンジンで検索してこつこつと探します。       他のサイトと内容が被らないように努める事が
SEO対策にとって重要となっております。 まずはコピーをしない。 そしてオリジナルコンテンツの
作成をする事をこころがけましょう。 逆にコピーされた場合
「スクレイプ報告フォーム」で報告して対策しましょう。