怎样抓取网页数据？过程中你能与之匹配

　　怎样抓取网页数据？过程中你能与之匹配

　　怎样抓取网页数据，是一个无比大的话题，但总能在seo中找到一个能与之匹配的框架。任何网站的，除了网页之外，你其实还能抓取文章、图片、用户自定义的功能性文本、甚至视频等等，但这些数据只是一个网站的一小部分，而在seo过程中你能抓取的数据实在是太多了，有些关键词甚至能带来几十万甚至上百万的流量，如何把这些内容抓取下来，并且用正确的方式呈现在你的网站上，一直是个大问题。正文：。

　　一、抓取页面相关的数据

　　1、抓取所有来源网站所有的页面。如果你只抓取30天内的数据（关键词抓取2次即可，最多的10次），就是这么做。

　　2、抓取你直接爬虫爬取到的网站中，所有的链接。这是在爬虫爬取到的网站，但其实你只是一个网站数据的缩小版本。抓取网站链接的意义是，比如你对b类网站抓取了10个页面后，你能通过抓取页面查询的方式，抓取到b类网站中最有价值的10个页面。但在抓取时，抓取的网站中还可能存在很多你已经没法抓取的页面，你该怎么做呢？如果已经想好策略，可以尝试继续下面的问题，但如果你的数据都在最近几天发生的话，你可以考虑尝试其他策略，在这种策略中，其实很多情况都很有可能抓取不到的，甚至很可能超出你的预期。

　　3、抓取所有linkedin用户帐号页面的url。翻墙就自己心里有点数了，我没试过，不敢保证数据是否齐全，但有一些数据肯定是很有价值的。

　　4、抓取所有聚合页的url。方式如下：双http抓取，或者点开去查看，至少有50%以上抓取出来的页面是有价值的。

　　5、抓取所有网站历史记录，cookies抓取，抓取所有rank过的页面，抓取所有rank过的链接。

　　二、抓取网站的内容

　　1、每天抓取几个网站或几百个网站的页面。为什么要抓几百个网站，就是为了，无论你抓取多少页面，都能在几百个网站中找到一些用户感兴趣的内容。不要太在意抓取到多少网站内容。

　　2、每天抓取几十个网站的页面，每个网站抓取url50~60，然后每天抓取50个网站，其实你能抓取的网站还是很多的。这样，你能抓取的页面实在是太多了，需要通过不断的抓取，找到关键词的常用文章（通常都是关键词的链接，即mediaquery）的长尾关键词，然后聚合在一起，用最容易理解的方式呈现。说白了，你只需要找到长尾关键词，然后聚合就可以了。另外，你会发现，常用关键词聚合出来的链接，都在高频出现的频道内，抓取相应的页面并不难。

　　3、每天抓取几百个网站，或者几十个网站的页面，除了google搜索，其实你还可以抓取seo每天在推送的文章。所以关键词抓取，实际上还是有很多可以挖掘的内容的。

　　4、抓取所有网站的历