java抓取网页数据(本文就用Java给大家演示如何抓取网站的数据：（1）)
优采云 发布时间: 2022-02-07 10:02java抓取网页数据(本文就用Java给大家演示如何抓取网站的数据：（1）)
有时由于各种原因，我们需要采集某个网站的数据，但是由于网站不同，数据的显示方式略有不同！
本文使用Java演示如何捕获网站的数据：
(1）捕获原创网页数据；
(2）抓取网页上Javascript返回的数据。
一、获取原创网页。
在这个例子中，我们将从上面获取 ip 查询的结果：
第一步：打开这个网页，然后输入IP：111.142.55.73，点击查询按钮，可以看到网页上显示的结果：
第二步：查看网页的源码，我们看到源码中有这么一段：
由此可见，查询结果是在重新请求一个网页后显示的。
看看查询后的网页地址：
也就是说，只要我们访问这样一个URL，就可以得到ip查询的结果。接下来看代码：
public void captureHtml(String ip) throws Exception {
String strURL = "http://ip.chinaz.com/?IP=" + ip;
URL url = new URL(strURL);
HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
InputStreamReader input = new InputStreamReader(httpConn
.getInputStream(), "utf-8");
BufferedReader bufReader = new BufferedReader(input);
String line = "";
StringBuilder contentBuf = new StringBuilder();
while ((line = bufReader.readLine()) != null) {
contentBuf.append(line);
}
String buf = contentBuf.toString();
int beginIx = buf.indexOf("查询结果[");
int endIx = buf.indexOf("上面三项依次显示的是");
String result = buf.substring(beginIx, endIx);
System.out.println("captureHtml()的结果：\n" + result);
}
使用HttpURLConnection连接网站，使用bufReader保存网页返回的数据，然后通过自定义解析方式显示结果。
这里我只是随便解析了一下。如果解析非常准确，需要我自己处理。
分析结果如下：
captureHtml() 的结果：
查询结果[1]: 111.142.55.73 ==>> 1871591241 ==>> 福建省漳州市 移动<br //span>
二、获取网页 JavaScript 返回的结果。
有时网站为了保护自己的数据，不是直接在网页源码中返回数据，而是采用异步方式用JS返回数据，可以避开搜索引擎等工具到 网站 数据捕获。
先看看这个页面：
第一种方式查看网页的源码，但是没有找到运单的跟踪信息，因为是通过JS获取结果的。
但是有时候我们需要获取JS数据，这个时候我们应该怎么做呢？
这时候，我们就需要用到一个工具：HTTP Analyzer。这个工具可以拦截Http的交互内容。我们使用这个工具来达到我们的目的。
在第一次点击开始按钮后，它开始监控网页的交互行为。
我们打开网页：，可以看到HTTP Analyzer列出了网页的所有请求数据和结果：
为了更方便的查看JS的结果，我们先清除数据，然后在网页中输入快递号码：7，点击查询按钮，然后查看HTTP Analyzer的结果：
这是点击查询按钮后HTTP Analyzer的结果，我们继续查看：
从上面两张图可以看出，HTTP Analyzer可以截取JS返回的数据并显示在Response Content中，同时可以看到JS请求的网页地址。
这种情况下，我们只需要分析HTTP Analyzer的结果，然后模拟JS的行为来获取数据，也就是我们只需要访问JS请求的网页地址就可以获取数据，当然，前提是数据没有加密，我们记下JS Requested URL：
然后让程序请求这个网页的结果！
这是代码：
public void captureJavascript(String postid) throws Exception {
String strURL = "http://www.kiees.cn/sf.php?wen=" + postid
+ "&channel=&rnd=0";
URL url = new URL(strURL);
HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
InputStreamReader input = new InputStreamReader(httpConn
.getInputStream(), "utf-8");
BufferedReader bufReader = new BufferedReader(input);
String line = "";
StringBuilder contentBuf = new StringBuilder();
while ((line = bufReader.readLine()) != null) {
contentBuf.append(line);
}
System.out.println("captureJavascript()的结果：\n" + contentBuf.toString());
}
可以看到，爬取JS的方法和之前爬取原创网页的代码完全一样，只是做了一个解析JS的过程。
下面是程序执行的结果：
captureJavascript()的结果：
运单【107818590577】的跟踪信息2012-07-16 15:46:00已收件 2012-07-16 16:03:00快件在 广州\t,准备送往下一站广州集散中心 2012-07-16 19:33:00快件在 广州集散中心,准备送往下一站佛山集散中心 2012-07-17 01:56:00快件在 佛山集散中心\t,准备送往下一站佛山 2012-07-17 09:41:00正在派件.. 2012-07-17 11:28:00派件已签收 2012-07-17 11:28:00签收人是:已签收
这些数据就是JS返回的结果，达到了我们的目的！
希望这篇文章可以对需要的朋友有所帮助。如需程序源代码，请点击这里下载！
