美国java抓取网页数据一般根据url设计一个后端框架

　　美国java抓取网页数据一般根据url设计一个后端框架

　　java抓取网页数据

　　一般根据url设计一个后端框架，用java编写网页爬虫。不过爬虫一般都有很多负载均衡，集群等等一些很复杂的管理系统，所以不是所有的网站都可以做爬虫的。有些小网站的话一般是人工采集，如果是网站要求返回数据给服务器端，那么可以利用java设计一个http服务器，然后用一个java爬虫来抓取页面数据。

　　通过http，请求一些小网站，然后在java那边，写好封装好的接口，返回一个web服务器能接收的数据，java那边，根据接口需求，做数据的格式转换，数据传递就可以了。

　　就目前我的理解来说一般可以分为两种：一种是请求小网站，比如一些门户网站，会有编辑评论（未必每天都编，有时是每周都评，大多是一个月四五条）这种的，一个网站可能就几百万条有时甚至更多，通过这种的形式，比较方便。另一种是把大网站爬下来，然后通过xml化来解析从而获取更多的数据，这种主要是些体育类的，游戏类的之类的数据，类似的还有美国nba的数据库。