通过关键词采集文章采集api(通过关键词采集文章采集api接口，轻松搞定谷歌浏览器)

　　通过关键词采集文章采集api(通过关键词采集文章采集api接口，轻松搞定谷歌浏览器)

　　通过关键词采集文章采集api接口，直接就可以爬取网站的所有文章，不用安装软件，也不需要什么特别的配置，几行代码就可以轻松搞定。详细步骤：1.首先安装谷歌浏览器（必须是谷歌浏览器）2.接下来就开始你的采集之旅了（注：如果不是或者谷歌浏览器被封了，

　　谷歌浏览器国内应该也能装，不过用起来没有谷歌浏览器谷歌浏览器插件那么方便吧。

　　360、firefox、火狐以及safari都有国内版的谷歌浏览器。爬取网站的信息推荐使用python3。爬取方法：在目标网站下载python爬虫模块pyspider，使用该模块的spider.parse()方法得到爬取目标网站的页面，然后通过解析页面得到信息。推荐下载地址：python3爬虫编程：pyspider项目地址python爬虫的开发语言为python3，网上有很多关于python3爬虫的学习教程，大家可以参考。

　　我最近一直在用的浏览器有谷歌浏览器、chrome、firefox、safari。谷歌浏览器还得从安装google开发者工具软件说起，该软件本身带有html解析和xml浏览器抓取的插件。chrome可以用自带的谷歌浏览器，也可以安装一个自带浏览器-chrome，里面也有两个扩展：1.refillpane2.proxymonkey模块。

　　safari是因为手机版本的firefox没有调用网页抓取python爬虫的模块。采集系统在scheduler，一般采用两种，分别是python+selenium，python+webdriver。目前用于爬取firefox的代码都放在firefoxwebdriverworkbench里面，这是一个前端抓取的编译器，可以按顺序去抓取大部分的网页，包括firefox里面已经没有抓取了的。

　　而chrome是使用的webdriverxml，顺便配置了一个webdriver控制台，使得抓取ie的东西用这个，那么一般python4.0以上，比如java，c++这样子的对java支持不好的语言是没有办法跑在python的控制台里面的。chromeforpython的第一次调用，我觉得是webdriver3.1的版本的实现，要求必须是有python3,而且会和google的webdriver共享common.ini等命名空间。

　　为了写起来方便很多，我对chromeforpython进行了一些改动，让他先启动firefox，然后再启动python脚本。