文章采集规则(googleapiruntimeforwebrendering爬下一页，再爬新的库，反响不错)

　　文章采集规则(googleapiruntimeforwebrendering爬下一页，再爬新的库，反响不错)

　　文章采集规则：

　　1、用户抓取一个爬虫，

　　2、把爬取下来的页面抓包出url

　　3、分析url，去寻找更多的网页连接，实现抓取并发：爬虫爬下一页，再爬新一页，再爬下一页。方法：爬虫爬下一页，先找最后一页，找不到，才找上一页，找到找不到，就对比最后一页爬取时间、爬取url...找到新一页的爬取url，

　　先web的话应该先从分页抓取，

　　抓取所有页面，存放在list里面。

　　最简单的方法，可以使用爬虫。

　　你可以抓去爬虫抓取的全部网页，

　　这些东西都可以用jsoup和xml.js实现，

　　可以搜一下googleapiruntime·javawebscrapingforpowerful,fastandcompacthttpapis

　　举个简单例子，抓取pp体育官网的信息。github上有个这个项目：googleapiruntimeforwebrendering发布之后有好几个人争相要自己实现一个这样的库，反响还不错，基本都定义了一些我能看懂的接口，完全可以用。而且不用在这里回答，别人已经自己给你解决了。

　　自己写应该没法实现这个，只能去爬别人的爬虫了，也就是我们平时说的爬虫。这里只提供一个思路，不一定要是web应用，用其他程序平台的平台。比如电商、云计算啥的，可以使用它的流量统计，然后抓取这个平台服务器的数据，然后查找相应的页面，做预测推荐什么的。说不定做到后面你发现每天销售量还能提升很多，不一定只是为了赚钱。