java抓取网页数据的工具是怎么做的呢？？

　　java抓取网页数据的工具是怎么做的呢？？

　　java抓取网页数据的工具就有很多种，

　　我看到的java不一定写好html页面写好css和js网页就看得到数据了

　　这个需要提供相关工具和版本，才能找到网页编码之类的参数，解析网页数据就好了。

　　可以试试阿里巴巴开发的一个爬虫工具：大淘金。

　　统计一下淘宝上购物记录保存时间不会超过一年的电商网站列表，然后按照购物记录保存时间排序。

　　第一个问题，淘宝无法获取百度的数据，因为淘宝没有蜘蛛从百度爬过来。所以淘宝无法抓取淘宝网的任何一个页面的数据。第二个问题，google的sitemap中包含了所有大型电商网站的数据，可以抓取相关网站的数据。百度的sitemap则是一个索引页，只有内部网站才有。

　　可以用cookie插件，比如知乎，

　　随便哪个logo，打开淘宝，都可以有数据，这个很有用。

　　有啊，你想想，淘宝改为html+js，

　　需要

　　可以试试大淘金目前我正在做一个自助采集百度结果的网站我做了一个网站：百度产品搜集实验室。主要解决做搜索引擎推广需要搜集上百家公司产品信息，这些产品信息可能包括详细的产品信息，类目，关键词，*敏*感*词*，产品海报，公司职位，公司招聘，*敏*感*词*信息，图片信息，产品宣传页面，行业地图，内容监控，第三方卖家，各种服务协议等等。

　　如果有兴趣可以去看看。具体你可以去关注下百度百科或者直接www.laikaiyuer.team他们有时候在其他公司做活动，有时候在其他站点做活动，可以随时出一些结果上去供采集结果当然还有一些图片方面的服务，可以采集下大图。欢迎交流！。