基于对称加密算法的爬虫路径一般是爬取各种文件

　　基于对称加密算法的爬虫路径一般是爬取各种文件

　　采集文章系统已经非常成熟，我们在做文本分析时可以使用爬虫技术，不过在爬虫的代码中要将爬虫路径配置成你所使用的电脑系统所支持的可执行程序。爬虫算法爬虫是指从互联网上抓取数据的程序。爬虫方法主要分为三种：普通爬虫、工具型爬虫、基于对称加密算法的爬虫。工具型爬虫的首要任务是抓取url，其他事情通过循环不断执行抽取的url来达到初步获取数据的目的。

　　例如：工具型爬虫使用记事本、谷歌浏览器、火狐浏览器、chrome等平台。基于对称加密算法的爬虫路径一般是爬取各种文件，这些可以有许多办法实现。普通爬虫获取的url内容一般在不同的url中由1、2或3分别对应。工具型爬虫通过抓取链接中的title(标题)、author(作者)和href(链接地址)三部分内容来获取url中的内容。

　　一个真正的工具型爬虫要有足够的代码量来执行爬取指定的url。对于普通爬虫来说，爬取任何数据最有效率的方法是使用requests工具，我们在前面的博客中已经详细介绍了如何使用requests来爬取wordlist或类似网站中的所有数据。工具型爬虫一般是lxml或xmlhttprequest库的使用，虽然requests是我们的工具，但却不一定适合每一种数据爬取程序。

　　对于每一种爬虫语言，requests都有自己强大的支持功能。requests目前已经支持：xmlhttprequest、postmessage以及packages页面post方法支持dom加载、headers、文件扩展名、服务器一次连接连接多个页面或实现多个登录方式、并发安全问题安全问题的解决方法等（这里就不多说了）。

　　工具型爬虫在实际开发中会遇到一些问题，比如使用requests库时，每次都需要重新进行配置。工具型爬虫接口名称通常会隐藏，获取方式有两种：分页查询和文档列表的链接查询。使用这两种方式获取的url并不是我们想要的url。爬虫算法采用工具型爬虫获取的url，最终会存放在excel表中，在使用httppost时需要验证这个表，对于工具型爬虫来说难以解决。

　　爬虫技术包括两类：基于http协议抓取网页中的信息的方法，称为爬虫方法，如requests、selenium、fiddler等方法，通过http协议对网页的内容进行抓取的方法，称为爬虫程序，如tesseract这类程序。基于https协议抓取网页中的信息的方法，称为加密方法，selenium、fiddler等方法。

　　爬虫工具爬虫工具往往是工具型爬虫的扩展，很多spider、webrunner等工具也支持爬虫的增加功能，爬虫工具中的爬虫包括为数不多的几个，最常用的如xpath、htmldom编程、正则匹配等方法。我们可以通过教程来快速了解基于http协议抓取网页中的信息的各种抓取方法。