抓取网页数据(分布式爬虫技术的判断规则自己用的方法和判断方法)

　　抓取网页数据(分布式爬虫技术的判断规则自己用的方法和判断方法)

　　抓取网页数据然后进行网络爬虫工作。比如从某宝查询某个商品的真伪，搜索一些问题等等。然后针对自己需要的来进行个性化定制抓取工作，比如人工翻译中文，搜索某个电影的评分等等。分布式爬虫好像是一个不错的选择。

　　一般是先找到一个全网的高质量网站进行爬取，然后反爬虫啊！大部分的网站都有爬虫，但是权限要求，爬虫用自己的号爬下来。如果你们公司打算做网站爬虫的话，可以让网站爬虫提供平台，自己作为服务端去爬取。也可以找厂商，比如aws。然后你们的业务系统让爬虫去抓取，重复上述步骤，数据量越大，这些所有流程你们可以设计成实时下载的架构。这是效率问题，单台可能达不到要求。

　　反爬虫技术。ip爬虫。自己写几套判断规则自己用。

　　首先，你要有一个足够大的数据库。因为网站里很多重复的信息，所以你得可以快速查找，解决重复信息。然后，爬虫不仅仅只是百度一个巨无霸一揽子的东西。根据你的业务，要把外部数据抓过来，再在数据库里对应地找到，进行数据分析，这是最根本的东西。然后才是自己做爬虫技术改进。这里基本就是一个大数据清洗、统计的问题了。

　　还有就是如何在这个大的数据库里挖掘用户的偏好信息，培养出来一个用户画像。不过和爬虫技术关系不大。当然我说的只是目前很多可以公司化作业的大型爬虫行业。