无规则采集器列表算法(无规则采集器列表算法中一般会包含批量采集这一模块)

　　无规则采集器列表算法(无规则采集器列表算法中一般会包含批量采集这一模块)

　　无规则采集器列表算法中一般会包含批量采集这一模块。本质上excel工具也是属于批量采集这一模块。所以，看你对数据的难易程度，如果文本多，表格多，涉及的数据不多，可以用这种。

　　看excel工具好不好用，功能多不多了，多的话，

　　看你做的数据量大不大，上限够不够，

　　不太建议用这个来做数据库采集，比较吃数据库。本人采集网站视频频道，需要爬两三天甚至更久的数据，老婆不让我用，说每天爬一点爬哪能那么慢，都是公司数据都有什么地方用不到，数据库链接都配置好了干嘛非要爬网站去。爬网站要多看网站源码，还是比较严谨可靠的。另外视频频道有网站文件，设定目录、遍历数据库就可以了，没必要爬这么麻烦。结论：。

　　等等，首先吐槽，竟然没有一个搜索引擎，然后语焉不详的回答了这个问题。既然这样，就得先说一下，就目前爬虫的采集目的。现在，爬虫对于每天的数据进行采集的目的可以划分为以下几个类型，1.像我这样的，经常处理文本文件数据，这里指的是.txt。.txt数据一般来说，几千几万的文本数据，不管用什么工具，都是不可能爬下来的，随便一个爬虫，把他伪装成python啊什么的，爬下来了，一瞬间访问量瞬间上去了，可是，爬一个文件数据还有个必要抓取它的url吗，这些url爬取出来，比爬取10万条文本数据那可是轻而易举啊。

　　所以，对于文本数据，基本上，任何工具都不能像数据库那样方便的处理。2.对于pdf文件的采集，一般也是需要抓取url的，但这样的数据是可以被python分析出来的，但是python必须要有pdf相关的工具。3.其他大概还有视频，图片等其他数据，这里就不深入了。不过，对于数据采集目的，越多样的，数据分析目的，爬虫就越复杂，收益也就越小。

　　4.我记得之前在博客中看到过一个统计，爬虫的收益率是0.03%。这里的收益率是指对每一个数据站点，一天少量的数据采集，就有少量的收益，如果，爬取几十万数据，那就基本等于一无所获。5.爬虫，我们应该更多的关注问题而不是工具。1.一个成熟，好用的爬虫工具，在你掌握了大量的python爬虫基础后，不一定能做到小爬虫。

　　但是，如果还停留在没有工具，只能一遍遍一个一个url来爬取数据，那一定做不到好爬虫。2.大量需要爬取的数据，比如某个频道有上万条数据，每一条数据，你不可能还需要爬到文件，就那么爬呗。这样频繁的把你的爬虫样本到几百几千就没必要了。更多的选择是，保存好一个特定的链接。方便你的爬虫进行判断。要爬取的就进行判断。然。