解读:免费的文章采集工具真有那么好用吗？互联网上随处可见

　　解读:免费的文章采集工具真有那么好用吗？互联网上随处可见

　　免费的文章采集工具真有那么好用吗？互联网上随处可见网站通过爬虫去抓取其他网站的文章并生成自己的内容，在某种程度上是很省事的做法，我自己也用过。但是如果想在其他的网站一直爬取此类内容并生成自己的页面，加上robotsplayer规则，那就比较费力了。虽然一开始能抓取到部分网站，但是一遇到突发的*敏*感*词*抓取，就会出现数据丢失的问题。

　　我之前采集过两次zoomeye的内容，但是由于其抓取效率过慢，操作不太方便，导致服务器的cpu极度使用。后来我就用googlecolab这个repo来生成自己的爬虫，然后做一些优化和改进，又稳定地抓取了zoomeye的urls，现在体验还比较好。为了方便大家可以直接使用，我把自己的代码以及需要的工具（django+vue+node.js框架）放到了github上面：，直接使用scrapy也是一样的，上面代码中的很多配置以及操作等，我都写在scrapy-repo的install.py里面了，大家直接install即可。

　　接下来我就来写一篇基于vue的爬虫文章，无需安装爬虫类库等工具。文章概要可以在这里了解一下vue的爬虫。这是个很长的文章，我先写一点和爬虫相关的东西吧，欢迎大家在下面探讨。1.zoomeye-repo概要在国内目前的各种网站爬虫出现之前，很长时间我们爬虫是通过googlecolab来爬取资源的，但是当时并没有接触过vue框架。

　　googlecolab最近几个月的更新让我产生了学习vue的想法，最终我选择用vue框架来做一个vue网站爬虫。当然，vue的框架语法更为简洁易用，运行效率也更高。但是colab从另一个角度来看，也更像是工具和教程的整合，接下来我们就从vue网站爬虫开始吧。2.准备工作在准备工作方面，vue这边我推荐大家去研究vue-clijs，我已经实现了一套cargo搭建的colab管理python程序的todomode，对于后端维护较好的前端开发来说，有助于编写大部分后端语言。

　　需要的工具为git,gitlab(目前已失效)。2.1下载工具vue-cli.js:将python程序写在这个里面，包括构建全局ci或者是devbuild脚本。vue-cli.jsbuild,dist,cornerstone等package：将网站生成vue.js,vuex,router,headless-redirect,html5/doc.js/node_modules下面是我的实现地址，这个放的是我的源码。

　　./vue_src/./vue_src/main.js:将整个网站生成vue文件夹,components/awesome.vue我是直接放在了自己的代码区域的，大家可以自行选择更快的代码区域。./vue_src/./vue_src/local/config.js:将全局配置的json文。