用最大效率、最轻便的工具去采集数据才是王道

　　用最大效率、最轻便的工具去采集数据才是王道

　　文章采集工具很多，有百度谷歌采集器，也有爬虫软件，有的抓取速度快，有的不好用。不过，在java领域，这些小问题都不叫事，用最大效率、最轻便的工具去采集数据才是王道。不妨试试知乎爬虫采集器，数据来源知乎，非常完美的采集数据的工具。首先简单介绍下知乎采集器是干嘛的：知乎采集器有自己的爬虫框架：知乎采集器的爬虫框架的前身是基于知乎的office服务框架，提供了requests、re、requestsencoder、beautifulsoup、lxml、selenium等众多常用的请求库。

　　是知乎上各大分类优秀内容的集合，能够爬取知乎上各分类内容的数据。具体做法，可以像使用其他的爬虫采集工具一样：首先在这个采集器里爬取知乎各分类排名前500名的最优秀内容，在这个基础上逐步采集其他分类更优秀的内容，最终完成全站数据采集。配置工具在主页上找到采集器左侧的设置工具，把root（机器人账号）或管理员账号的选项勾上，软件将自动登录，且采集其他知乎社区数据。

　　不过同样的，如果希望采集知乎的其他分类，就需要手动输入账号和密码，比较麻烦。框架的截图见下：我的采集器框架截图见下：具体步骤：①把所有需要抓取的数据爬取到本地，放在指定目录。②用现成的知乎采集器进行采集（如uberblogs）。③检查分类信息是否有采集的需求。④按照你喜欢的顺序依次把数据采集到本地。⑤保存完毕，保存为json格式文件，这个是知乎的数据结构文件，json是java语言描述一段字符串，java能理解字符串，所以知乎采集器也能爬取json格式文件。

　　⑥到json编辑器里修改保存在文件里的内容，便是这篇文章的数据采集结果。可以尝试一下这种方法，保存的是json格式的数据，但也可以选择其他格式的数据格式。