网页采集器的自动识别算法(scrapy入门开发系列及python3爬虫源码：：（/）)

　　网页采集器的自动识别算法(scrapy入门开发系列及python3爬虫源码：：（/）)

　　网页采集器的自动识别算法各有不同，除了tx外，像百度天天采集器这些网页采集器基本上是flash+cookie伪装，其他基本上都是通过模糊查询cookie进行识别。阿里巴巴需要会员才能打开网页，除了阿里之外，也没有其他网页采集器会要求用户登录。不要以为只有像百度、腾讯这种巨头才搞伪装、爬虫等操作，像我这种网站网页采集小网站用的都是qq采集器，网页加密度不高，进来也不需要登录。

　　手机端的伪装没有电脑那么高，其实现在只要会qq就可以自动采集，主要原因是可视性比较高。还有一点是现在那些站长手机都不玩了，基本上没有手机操作网站的。我第一个网站是百度联盟，一个url弄了一个小时，才配置好sqlserver，全是静态语言拼接，相当简单，基本上非专业级别的技术人员很难在5分钟内搞定。我觉得不同的网站，采集器得要求不同，不能所有都是通过提取邮箱手机号识别。

　　发在知乎分享之后几个月，自己慢慢在研究，从一开始选型，到数据获取，再到数据挖掘分析，今天正好回答一下这个问题：正是，做好python爬虫框架，是首要的，scrapy的源码学习需要一个半月，半年以后可以帮助到想爬虫的人。当然，如果对scrapy不熟悉的同学也不要乱看。大家可以看下github上面scrapy的几个项目。scrapy入门开发系列及python3爬虫源码github：：：（/）。