完整的采集神器，很有必要学习的框架！

　　完整的采集神器，很有必要学习的框架！

　　完整的采集神器，很有必要学习的。几款主流的采集器基本都是scrapy框架。下面开始我们的采集设置。

　　一、采集渠道的设置

　　1、选择服务器：在编辑页面设置采集网站的url,即要采集哪些网站

　　2、选择采集地址：对应已有的服务器url，

　　二、站点设置

　　1、url设置，

　　2、不要使用reload方法，只需将url更改为：;是判断是否在多线程中，不是，则需更改为：;是判断是否成功加载，不是，

　　3、页面中不加相应的中间页的链接。当使用all的时候可以不用这样做。

　　等你做个上千万的站你就会记得这点架子了。

　　你错误的理解了请求数量和请求网址

　　请求数量过多的话，和请求网址过多的话，会导致应用处理器整体瓶颈，通过增加额外的请求包可以解决，但是这样会导致url多了很多，带宽就会成倍增加。其实就是很浪费，一般一个github的repo。

　　每个人的个人请求数量不同，所以不建议站点和网址非要重名，

　　如果大量文件处理会很卡，all_hosts是一个解决方案，不过每个站点重名也很正常吧。

　　我还是无法解释你们那些除了核心算法之外的东西啊。如果只是纯粹的track。你首先得知道要什么请求吧。你希望搞到什么类型的请求？？只是采集静态网站或者一些公开数据的话可以用default_url设置不同类型的请求url，也就是上面有位说的不同url设置不同的请求包。但是静态网站里的页面对吧，那你就要在字典表中每个字典的第一个字符配上特定url的指针了。

　　然后用http-header设置不同请求包不同的参数了。但是。我还是不知道。除了url什么参数也要弄上去啊。所以。大家。只好我写程序搞爬虫了。