搜索引擎优化高级编程(搜索引擎优化高级编程：检测爬虫采集数据的规律与特征)

　　搜索引擎优化高级编程(搜索引擎优化高级编程：检测爬虫采集数据的规律与特征)

　　搜索引擎优化高级编程：检测爬虫采集数据的规律与特征，并给出正确的页面指令，以使爬虫可以提供正确的页面指令抓取到正确的网页内容。

　　加上一个广告拦截

　　简单的可以通过页面错误页的数量判断。复杂的也可以通过流量分析手段判断。如果要是以这个为盈利点也可以考虑页面的分析和抓取设计以让爬虫不知道什么页面是好页面。

　　常见的有两种：一是通过存入数据库，再将数据库传送给爬虫搜索。二是直接抓取带有目标url的页面，再传送给爬虫抓取。

　　统计广告渠道的页面访问量。页面访问量大一些，高质量的页面访问量就大一些，爬虫在不停得抓取这些页面，并且服务器里会储存当前访问量较高的页面的相关链接信息。当爬虫抓取率较高，或者爬虫收集的相关页面信息多一些，才能提高爬虫的抓取率。

　　统计

　　如果对页面访问量有一定要求，其实利用cookie和https还是有挺大价值的。ps：我自己的开发的appi我的世界，发现打开浏览器，左边这一栏最上面，有一行东西的，点一下，抓一下包，就知道哪些网站有人访问。比如翻墙的时候，就可以通过抓包，这时候有人打开了你的浏览器，然后你抓包就有连接抓一下，这些网站肯定有人做seo，如果搜索出来一些不好的东西，那就是爬虫抓的。

　　如果是针对未分布到其他公网上的服务器，可以用metricserver统计。如果是针对特定国家的服务器，可以用访问统计，抓取统计，这些对我等这样穷的吃土的来说性价比不是很高，或者可以考虑代理抓取之类的。