免费文章采集器(免费文章采集器：爬取网易新闻接口获取新闻详情页)

　　免费文章采集器(免费文章采集器：爬取网易新闻接口获取新闻详情页)

　　免费文章采集器：

　　1、爬取网易新闻api接口获取新闻详情页的数据；

　　2、爬取知乎页面的数据：获取知乎页面任意回答下面的评论；

　　3、采集豆瓣电影网的评分。

　　很简单，利用selenium驱动浏览器获取数据，

　　原理是利用phantomjs库，一些网站可以使用phantomjs，一些不可以。windows系统下可以安装phantomjs的第三方库，比如phantomjs-windows（下载：网页快照获取引擎）。

　　要先安装phantomjs，

　　具体看看这里就能知道答案了：phantomjs就是我们常说的浏览器，可以浏览flash等网页。利用webdriver进行爬虫，确实不算太难，当然要做的话，需要有精力和时间。

　　有些网站可以，有些不可以，

　　之前我一直被flash包限制了，一些平台不能爬。下了个phantomjs中的webdriver，装好之后就可以在浏览器里面观察网页了。目前，大部分网站都能爬了，即使不能爬，也能爬一点点别的。

　　黑池就是。把计算机所有的能抓的资源充分利用起来。

　　记得看过一个视频的内容来源于acg大佬author:mh33me写给你们的代码就是用phantomjs写的（不过好像在浏览器上看的），很简单。