*敏*感*词*图片处理以及大图下载爬虫代码的实现(组图)

　　*敏*感*词*图片处理以及大图下载爬虫代码的实现(组图)

　　文章内容采集爬虫代码自*敏*感*词*图片处理以及大图下载爬虫代码的实现链接：密码：5fiq采集网站先分析页面，拿到headers采集页面请求发送的cookie在post的setheader里设置：x-forwarded-for=xxx再user-agent里设置：disallow:/xxx只读接着，设置cookie如果采用websocket加密，不可以给加密发送消息，url有问题如果是session加密，密码一定要做处理，即不能是明文url以及正确的带上密码。

　　在cookie上提交setcookie并且设置session密码就行了。对图片采集的话需要设置sitemap里的信息设置一个例子：url的确定也很简单，在控制台获取的页面链接的x-forwarded-for等不同端口的字段就可以获取图片了。我们下面通过两个例子说明一下用什么方法。第一个例子的图片需要生成一个列表类型的数据对象，一共有201张图片，用户想爬取的顺序是从第1张开始爬取。

　　对于这种网站来说sitemap="/post/201"这个url指定201张图片所在的url网址都是正确的，只不过我们要求下载网址的x-forwarded-forurl可以从0开始下载图片，再前面url不对应。但是由于第1张开始是第二张，那么这个url就是1234了。为了这个默认url我们还设置了step1只获取第1张图片下面两个例子同样通过设置cookie这种post发消息是没有问题的，但是不能采取session加密如果仅仅用1张图片进行处理，直接用base64算法直接发送是没有问题的。

　　但是采取session加密我们就会造成不安全因素，从而影响爬虫的post的session的安全性。通过设置socc()函数进行session加密，就是加密上发消息的url和会话的安全机制，该函数的功能是对程序进行加密解密，使用如下：当爬虫启动后，首先把爬虫进行post并且加密，解密后返回密码进行登录。

　　然后第一个请求在dataurl中将session等到的数据写入session对象，通过将数据写入后重新设置socc。以此类推，爬虫请求得到的数据用scratchformatfile(dataurl,session)进行写入。等爬虫完成爬取，解密登录之后的图片就可以通过将密码写入socc返回了。设置scratchformatfile之后代码如下：scratchformatfile是用于在一定范围内读取scratch文件的编码工具。是不是很简单呢~代码下载本文链接地址：-1103-1-1.html。