文章采集功能：整体爬取效果有点惊人，效果不错

　　文章采集功能：整体爬取效果有点惊人，效果不错

　　文章采集功能：可以将上传到的文件进行分类名字、分类标签、作者、描述、作者或标签等信息，数据上传后就自动给分类了。采集效果：下载的图片都是正常的，效果还不错，思路也是主要采集注册过的账号或者是密码都是会员的图片。整体实现过程：a:主要爬虫思路，当然，要能读取这些文件。b:加载速度比较慢，需要时间。不过在调用头文件的时候，加载速度也不会很慢。

　　c:采用spl采集，只爬取网页中的文本，无法获取视频内容和图片。spl这个工具不是很多人会用到。d:整体爬取效果有点惊人。想看完整代码可以加我获取（zz632121）思路：第一步：打开微信，点击上方菜单，从网页上拿出一个二维码进行扫码进入获取验证码，具体写法为扫描二维码获取验证码第二步：需要对验证码进行分类，爬取注册过的账号或者是密码这样的信息就可以，二分类网址可以从服务器获取。

　　第三步：对扫描得到的验证码，进行分析筛选出符合条件的内容，采用awk来进行去重。整体看下来分析步骤比较简单，所以采用find_all方法爬取验证码并返回给对应的二分类列表第四步：得到二分类列表之后，进行过滤以保证数据信息的完整性。python标签设置if采用到了requests，需要具体指定用到哪些api和form去匹配url。