网站内容抓取工具(网页抓取工具——爬虫+alluxio配置vue的一些工具)

　　网站内容抓取工具(网页抓取工具——爬虫+alluxio配置vue的一些工具)

　　网站内容抓取工具、网页抓取工具，一直在关注新闻热点的抓取的，这也是我们时常操作需要了解的技术内容。实际上，用python3和selenium+webdriver已经可以做到很多事情，比如实现基于浏览器的登录、发布新闻、爬取等等。但是selenium+webdriver也存在一些问题，这里我来概述一下。

　　网页抓取工具——爬虫工具推荐爬虫工具有很多，比如scrapy，ip代理，二级爬虫。如果从总的来看，市面上有很多知名的爬虫工具，个人认为alluxio库+vue可以代替alluxio中很多，比如scrapy，flask在centos上可以一键配置，本文重点来看一下vue+alluxio配置vue爬虫的一些工具。

　　1.vue+alluxio配置数据的抓取alluxio提供了ip代理网络爬虫，它还可以作为二级爬虫，比如智能家居爬虫等等。这样一来，我们就可以使用alluxio来配置centos中vue的ip代理网络爬虫了。网站地址为，需要将文件重命名为test.vue，以获取最新的有效url。1.1安装vuealluxio中，相关的依赖已经包括vue-segmentfault和vuex，然后在终端执行安装。

　　curl-sl|bash参数的默认值为上述命令的文件名，如果指定任何一个python包，需要指定python版本，如vs2015或者vs20151.2配置数据库vue-db是alluxio提供的数据库，其中存放我们ip代理网络爬虫抓取的数据，文件路径为c:\users\用户名\appdata\local\vuex\root\db这样一来，如果抓取的网站需要数据，然后我们需要将数据存储到c:\users\用户名\appdata\local\vuex\root\db路径下，就不会发生路径冲突了，只需要添加base_db_path，此时base_db也会自动命名路径中一个对应的文件，一个对应的数据库名即为当前数据库的名称。

　　sqlite库里存放数据库中的数据，如果仅存储网站的ip代理url，sqlite应该够用了。下图为配置好ip代理，只需要点击sqlite右上角的的preferences按钮，然后勾选下面createdatabaselocal，可以直接对当前网站进行配置。2.python3+ip代理网络爬虫（1）抓取数据抓取数据可以分为两个步骤，其中的第一步是请求数据库。

　　在这里，第一步是代理的配置，没有特殊的需求，ip代理url如果不限定，可以使用平时常用的get请求方式，对应get请求参数进行修改后，然后使用selenium进行浏览器抓取，并返回给本地（2）实现了解python的人都知道有python的协程，可以支持多个线程。当然，python内置的generator也是支持线程的，实现generator的第一步，可以直接使用python自带的inter。