无规则采集器列表算法更改频繁，怎么换个host

　　无规则采集器列表算法更改频繁，怎么换个host

　　无规则采集器列表算法更改频繁，因此你有需要额外做的工作是记录ip地址每次访问的时间。

　　换一个host吧。

　　emmm,这应该是mongodb的问题.默认搜索引擎不支持非常规的数据结构(如：字符串、数字、日期、字典等),建议改成：{something}。

　　换个爬虫语言换个爬虫url.each().payload

　　考虑一下scrapy？或者请proxyitdefault？都是python的爬虫框架。

　　我是不是应该建议你用python2.7

　　换个不限制爬虫ip的爬虫，

　　或者你换个host不限制ip地址，

　　每次访问ip不同肯定不好处理，而且没有api来指定去除重复和去除空格的地址。建议修改一下url规则，

　　建议楼主把代码发上来。

　　可以试试telusb

　　最近也在学爬虫，遇到同样的问题，本来觉得这样子爬应该可以，没想到，大半夜也开始了，也用的是scrapy，发现还是不行，后来去修改了一下代码，然后测试发现就是这个破api不准。而且已经用了apper转码了，还是不行。

　　我给个建议，换个更好爬的网站，例如速八，小目标是速八，于是百度速八的爬虫，

　　再换个301重定向试试