スクレイピング（ウェブスクレイピング）

ウェブスクレイピング（Web scraping）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。-Wikipedia

スクレイプ scrape（英）翻：かき集める、削る

ウェブサイトの一部分だけを抽出し、データの必要な部分だけ抽出して利用し、「価値あるページ」とするもの。人が一定視点で編集することで、検索エンジンの検索結果よりも精度の高いリンクコンテンツ集になるなど、人の力でスクレイピングしたコンテンツは一定の需要がある。

スクレイピングで最も成功した事例は「Naverまとめ」であろう。

スパムとしてのウェブスクレイピング

一定の思想、思考に基づいたスクレイピングは需要が有り、それを認知してか、Googleの評価が必要以上に高い。記事作者本人サイトより、Naverまとめに要約だけ載せたサイトの方が上位になってしまう事態も起きている。

機械的なスクレイピングの意図は登録したRSSなどからコンテンツを大量にスクレイピングし、コンテンツスパム化したサイトを、対パンダ用に悪用した。