java从网页抓取数据(怎样抓取站点的数据：（1）抓取原网页数据)

　　java从网页抓取数据(怎样抓取站点的数据：（1）抓取原网页数据)

　　原创链接：

　　有时，由于各种原因，我们需要采集一个站点的数据，但不同站点的数据显示方式略有不同

　　本文使用Java向您展示如何抓取站点的数据：（1）grab原创网页的数据；（2）grab网页JavaScript返回的数据）

　　一、抓取原创网页

　　在本例中，我们将从以下位置获取IP查询的结果：

　　步骤1：打开此页面并输入IP：111. 142. 55.73.点击查询按钮查看网页上显示的结果：

　　

　　第二步：检查网页源代码。我们可以看到源代码中有一段：

　　

　　从这里可以看出，再次请求网页后会显示查询结果

　　我们来看看查询后的网址：

　　

　　换言之，我们只能通过访问这样的网站才能得到IP查询的结果。接下来，请看代码：

　　public void captureHtml(String ip) throws Exception {

String strURL = "http://ip.chinaz.com/?IP=" + ip;

URL url = new URL(strURL);

HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();

InputStreamReader input = new InputStreamReader(httpConn

.getInputStream(), "utf-8");

BufferedReader bufReader = new BufferedReader(input);

String line = "";

StringBuilder contentBuf = new StringBuilder();

while ((line = bufReader.readLine()) != null) {

contentBuf.append(line);

}

String buf = contentBuf.toString();

int beginIx = buf.indexOf("查询结果[");

int endIx = buf.indexOf("上面四项依次显示的是");

String result = buf.substring(beginIx, endIx);

System.out.println("captureHtml()的结果：\n" + result);

}

　　使用httpurlconnection连接到站点，使用bufreader保存网页返回的数据，然后通过自定义解析方法显示结果

　　这里我只是随便分析一下。如果我想准确地分析它，我需要再次处理它

　　分析结果如下：

　　capturehtml（）的结果：

　　查询结果[1]：111. 142. 55.73==&gt；1871591241==&gt；福建省漳州移动

　　二、grab在网页上获取JavaScript返回的结果

　　有时候，为了保护自己的数据，网站不直接在网页源代码中返回数据，而是使用JS异步方式返回数据，这样可以避免搜索引擎等工具捕获网站数据

　　首先看一下这一页：

　　

　　第一种方法用于查看网页的源代码，但是找不到运单的跟踪信息，因为它是通过JS获得结果的

　　但是有时候我们非常需要获取JS数据。此时我们应该做什么

　　此时，我们需要使用一个工具：http analyzer，它可以拦截http的交互内容。我们使用这个工具来实现我们的目的

　　在第一次单击startbutton之后，它开始监视web页面的交互

　　当我们打开网页时，可以看到HTTP analyzer列出了该网页的所有请求数据和结果：

　　

　　为了便于查看JS的结果，我们先清除这些数据，然后在网页中输入快递订单号：7，点击查询按钮，然后查看HTTP analyzer的结果：

　　

　　这是HTTP analyzer点击查询按钮后的结果，我们继续查看：

　　

　　

　　从上面两幅图可以看出，HTTP analyzer可以截获JS返回的数据并显示在响应内容中，同时可以看到JS请求的网页地址

　　在这种情况下，我们只需要分析HTTP analyzer的结果，然后模拟JS的行为来获取数据，即我们只需要访问JS请求的网页地址来获取数据，当然前提是这些数据没有加密，我们写下JS请求的URL：

　　然后让程序请求此网页的结果

　　代码如下：

　　public void captureJavascript(String postid) throws Exception {

String strURL = "http://www.kiees.cn/sf.php?wen=" + postid

+ "&channel=&rnd=0";

URL url = new URL(strURL);

HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();

InputStreamReader input = new InputStreamReader(httpConn

.getInputStream(), "utf-8");

BufferedReader bufReader = new BufferedReader(input);

String line = "";

StringBuilder contentBuf = new StringBuilder();

while ((line = bufReader.readLine()) != null) {

contentBuf.append(line);

}

System.out.println("captureJavascript()的结果：\n" + contentBuf.toString());

}

　　就像两个豌豆一样，抓取JS的方法与原创网页完全相同。我们只是做了一个分析JS的过程

　　以下是该计划的结果：

　　capturejavascript（）的结果：

　　运单跟踪信息[7]

　　这些数据是JS返回的结果，我们的目标已经实现了

　　我希望这篇文章能对有需要的朋友有所帮助。如果你需要程序源代码，请点击这里下载