如何做分布式爬虫？、py2exe两个库的基本使用方法

　　如何做分布式爬虫？、py2exe两个库的基本使用方法

　　自动采集数据是一项非常有用的工作。但是对于新入门的小伙伴来说，会有点手足无措。学习自动采集不仅能够帮助你一站式地掌握自动化采集的整个流程，更是学习如何做分布式爬虫。本文从清洗采集标题、关键字组合自动采集、找到采集点自动采集、自动分类自动采集、自动搜索定位自动采集、更新爬虫自动采集等5个方面来详细讲解。

　　本文详细讲解了requests、py2exe两个库的基本使用方法，debug调试的方法，以及利用神经网络寻找采集点的原理。但这并不意味着，只要这两个库安装好了，就能完成自动采集数据的工作。本文只是给大家一个完整的流程图，可以看看是否能解决大部分需求问题。而自动数据采集的本质，其实并不是一个具体的项目，而是一个技术过程，也就是我们常说的爬虫工程。

　　1.爬虫采集的整个流程2.爬虫采集的核心主题3.如何选择使用的爬虫库4.如何配置爬虫池5.如何在别人的代码上进行二次改进一、爬虫采集的整个流程在介绍requests之前，还是简单讲一下爬虫的组成。爬虫的基本原理其实很简单，就是把那些网页内容采集到本地然后再计算机处理。举个简单的例子，你需要拿一本小说，然后获取书籍信息，再进行打分与推荐。

　　那么就会有本地采集和pc端爬虫。1.爬虫采集：从网页采集信息爬虫采集要首先计算机抓取一个小说网页，比如你想抓取全中文小说。但是采集是会逐步迭代的，一开始选择了全英文的网页，由于你并不确定是否同时抓取多种类型的网页，所以会有小部分的无效信息（比如英文的小说和其他语言的小说，你是无法统计的）。这时候爬虫采集的方法就是计算机抓取文本，但是这个方法是有局限性的，采集时间太长了，一个小说只能抓取一次，而且网站会被反爬虫给弄崩溃。

　　另外文本格式是固定的，也就是你无法获取网页中的图片、表格、字体和视频。所以文本抓取是一个很鸡肋的项目。而且在单一的文本采集中，你会看到过期数据，上传分页，采集数据等等很多问题。这样一个需求，多半要经过多次迭代，才能继续满足。而且往往你的网页还会发生变化，为了能够尽快更新，还要用户不断重新爬取，然后不断更新。

　　这时候，可以通过历史抓取记录进行聚合索引，然后分析页面的链接规律，把链接进行重组，然后再进行新一轮的爬取。所以一次爬取需要人工和机器两个过程，很快就会出现劳动不均等的问题。另外，为了最终成为一个模拟真实浏览器的效果，为了爬取的效率和速度，你需要一个浏览器，以及浏览器中的环境，这时你得掌握python。但是python是面向对象的语言，所以一个网页会被反反复复抓取。