完整的采集神器(完整的采集神器框架在我博客中都有(组图))

　　完整的采集神器(完整的采集神器框架在我博客中都有(组图))

　　完整的采集神器框架在我博客中都有。主要是解决连续登录，微信公众号发送采集导致的从一个url跳转回cookie打开网页报错，第二次连续登录的问题。

　　可以。我现在也有使用采集整站地址的，只需要找到需要采集的页面，把对应的页面下载下来，比如我要采集全国所有省市县的地址数据，然后复制到indexeddb下面，在想要采集的页面里面粘贴该地址，就可以采集到这个页面，然后就把页面的header设置好，我刚开始设置为"https"，现在不清楚是否改成"http"就可以采集了。

　　可以采集，但是要权限。什么是权限呢？有3个权限，分别对应1.允许post请求2.开放get请求3.获取链接有了权限你就可以采集全站地址，爬取全国信息了。采集全部信息的操作可以通过模拟登录操作。还有一个问题就是，对于一个省市县来说，虽然都是同一级别的地址，但是有很多网站，或者不同的代理的服务器，他可能采集不到全国，那么怎么办呢？有很多网站是不开放get/post请求的，这样就变成了一个post请求地址返回了，这种情况下，你就拿不到全国的地址数据了，那么就用indexeddb吧。

　　只能帮你到这里了再说下如何从请求返回的header获取全国地址数据，通过发送post请求，返回的参数就是该返回的参数对应的url地址，所以，那么现在问题来了，他返回的参数有什么要求呢？他返回的参数有3个：1.请求方式是get2.请求url地址必须包含get三个字母以及后面两个数字3.服务器要求真实url地址必须匹配请求方式成功返回响应码16442上面一定要看懂。

　　网上很多人都自己画过这个excel的代码，大部分人的理解都是返回的参数有4个字母字母的顺序，当然，错的，一般不需要参数。需要参数的，只需要filetype="/"即可。以上是本人做采集，爬虫，内网地址查询网站工作一年的经验。