java从网页抓取数据(本文某个站点对数据的显示方式略有不同演示怎样抓取站点的数据)

　　java从网页抓取数据(本文某个站点对数据的显示方式略有不同演示怎样抓取站点的数据)

　　原文链接：

　　有时出于各种原因。我们需要从网站采集数据。但是因为不同的站点显示数据略有不同！

　　本文将使用Java来给大家展示如何抓取网站的数据：(1）抓取原创网页数据。(2）抓取网页Javascript返回的数据。

　　一、获取原创网页。

　　在这个例子中，我们将从上面获取 ip 查询的结果：

　　第一步：打开这个网页。然后输入IP：111.142.55.73，点击查询按钮。您可以在网页上看到显示的结果：

　　

　　第二步：查看网页的源码，我们看到源码中有这么一段：

　　

　　从这里可以看出。再次请求网页后显示查询结果。

　　看看查询后的网页地址：

　　

　　也就是说，我们只想访问表单的一个 URL。可以得到ip查询的结果，再看代码：

　　public void captureHtml(String ip) throws Exception {

String strURL = "http://ip.chinaz.com/?

　　IP=" + ip; URL url = new URL(strURL); HttpURLConnection httpConn = (HttpURLConnection) url.openConnection(); InputStreamReader input = new InputStreamReader(httpConn .getInputStream(), "utf-8"); BufferedReader bufReader = new BufferedReader(input); String line = ""; StringBuilder contentBuf = new StringBuilder(); while ((line = bufReader.readLine()) != null) { contentBuf.append(line); } String buf = contentBuf.toString( ); int beginIx = buf.indexOf("查询结果["); int endIx = buf.indexOf("以上四项依次显示"); String result = buf.substring(beginIx, endIx); System.out .println("captureHtml()的结果:\n" + result); }

　　使用 HttpURLConnection 连接到站点。使用bufReader保存网页返回的数据，然后通过自定义的分析方式显示结果。

　　这里我只是随便解析了一下。如果解析非常准确，需要我自己处理。

　　解析结果如下：

　　captureHtml() 的结果：

　　查询结果[1]：111.142.55.73 ==>> 1871591241 ==>> 福建漳州移动

　　二、获取网页 JavaScript 返回的结果。

　　有时，网站为了保护自己的数据，并不直接在网页源代码中返回数据，而是采用异步的方式。使用JS返回数据，可以避免搜索引擎等工具抓取网站数据。

　　先看看这个页面：

　　

　　第一种方式查看网页源代码，但是没有找到运单的跟踪信息，因为它是通过JS的方式获取结果的。

　　但是有时候我们非常需要获取JS数据，这个时候我们应该怎么做呢？

　　这时候我们就需要用到一个工具：HTTP Analyzer，这个工具可以截取Http的交互内容，我们利用这个工具来达到我们的目的。

　　先点击开始按钮后，开始*敏*感*词*网页的交互行为。

　　我们打开网页：，可以看到HTTP Analyzer列出了网页的所有请求数据和结果：

　　

　　为了更方便的查看JS的结果，我们先清除数据，然后在网页中输入快递号：7。点击查询按钮，查看 HTTP Analyzer 的结果：

　　

　　这是点击查询按钮后HTTP Analyzer的结果，我们继续查看：

　　

　　

　　从上面两张图可以看出。HTTP Analyzer可以截取JS返回的数据并显示在Response Content中，同时可以看到JS请求的网页地址。

　　既然如此。我们只需要分析HTTP Analyzer的结果，然后模拟JS的行为来获取数据，也就是我们只需要访问JS请求的网页地址就可以获取数据。当然，前提是数据没有加密。我们记下 JS 请求的 URL：

　　然后让程序请求这个网页的结果！

　　这是代码：

　　public void captureJavascript(String postid) throws Exception {

String strURL = "http://www.kiees.cn/sf.php?

　　wen=" + postid + "&channel=&rnd=0"; URL url = new URL(strURL); HttpURLConnection httpConn = (HttpURLConnection) url.openConnection(); InputStreamReader input = new InputStreamReader(httpConn .getInputStream(), "utf- 8"); BufferedReader bufReader = new BufferedReader(input); String line = ""; StringBuilder contentBuf = new StringBuilder(); while ((line = bufReader.readLine()) != null) { contentBuf.append(line); System.out.println("captureJavascript() 的结果：\n" + contentBuf.toString()); }

　　看见。抓取JS的方式和之前的代码抓取原创网页的方式一模一样。我们只是做了一个分析JS的过程。

　　下面是运行程序的结果：

　　captureJavascript() 的结果：

　　运单跟踪信息 [7]

　　这些数据就是JS返回的结果，达到了我们的目的！

　　希望这可以是需要帮助的小朋友，需要程序的源码，点此下载！