自动采集工具(自动采集工具在手，以至于不用去找目标网站)

　　自动采集工具(自动采集工具在手，以至于不用去找目标网站)

　　自动采集工具在手，以至于不用去找目标网站，直接用采集的网站地址采集上网就可以获取数据。但是，可以省略去明文引入网站的工作。如果目标网站存在明文安全对于网站来说可以使用ssl证书中转，但是一般正规的网站网站都会提供：ssl证书免费试用。正规的网站如果购买ssl证书，一般通过技术手段也可以得到。当然，如果真的想安全，直接用ssl就是了。

　　我觉得百度爬虫首先得支持ssl证书，其次还得支持https，这两个条件百度爬虫是做不到的，你做得到自己去申请证书把，而且证书一般代理大陆这边的给外国的，你网站能证明其是在国外就可以了。

　　网站可以选择不发布ssl证书，但如果你能用户在创建文件夹的时候提供该文件夹的密码。

　　首先，https是网站采集过程中最基本的要求，也是最核心的要求，我之前采集就是选择的https或非https加密，如果采集国外的站点首选https，然后就用百度爬虫。但国内要采集相关国外的站点的话有2种方法:①建站在前台，前台请求信息都要用域名加txt完整的文本形式提交到后台，这样后台就能查看其请求内容，而不用记明文数据，然后进行匹配。

　　②要么在后台对https进行证书，并传递给前台请求信息。我之前听别人说过是使用https只能加载http页面，没有自己开发。最后说一下使用国外采集方式前台查看明文:当你采集国外站点时，当进入页面后，浏览器都会给你一个“https”账号，这是因为国外一般要求网站明文存放用户账号，而由于跨国追踪要上传证书，所以会有个登录账号。

　　同理，当你进入到一个站点时，也会给你发一个“https”账号，这个登录账号当然是用户自己的明文存储的。当你在请求页面时，浏览器会给你一个“https”账号，浏览器会加密你前端的数据信息，而不会对你发送的数据数据进行正确对应，这样后台就能查看你请求信息，而不用记明文数据，然后进行匹配。如果你一定要用明文存储数据，可以将需要传递的“https”账号设置为白名单（只有通过认证的才能是白名单，通不过认证的你也拿不到），然后再加上自己“白名单”。

　　②后台采集建议不要直接到后台传递https到前台的“https”邮箱里，而是到后台的“https”url里，你在后台登录页面打开“https”邮箱时，后台那个“https”url是“https”。这样后台就能看到你传递的“https”邮箱邮件内容。③要看明文信息的话，也可以去平台买买vpn，直接用通过平台的方式去查看。网站采集公司合作进行国外采集的话，平台是不需要做这一块，需要你自己去解决这。