实时抓取网页数据(本文某个站点对数据的显示方式略有不同演示(1)_抓取原网页数据)

　　实时抓取网页数据(本文某个站点对数据的显示方式略有不同演示(1)_抓取原网页数据)

　　原文链接：

　　有时出于各种原因，我们需要从某个站点采集数据，但因为不同站点显示的数据略有不同。

　　本文使用Java向大家展示如何抓取网站数据：（1）抓取原创网页数据；（2）抓取网页Javascript返回的数据。

　　一、 抓取原创网页。

　　在这个例子中，我们将从上面获取 ip 查询的结果：

　　第一步：打开这个网页。然后输入IP：111.142.55.73。单击查询按钮。您将能够看到网页上显示的结果：

　　

　　第二步：查看网页源代码。我们在源码中看到这么一段：

　　

　　从这里可以看到。再次请求网页后显示查询结果。

　　查询后看网页地址：

　　

　　换句话说。我们只想访问一个看起来像这样的网站。可以得到ip查询的结果，然后看代码：

　　public void captureHtml(String ip) throws Exception {

String strURL = "http://ip.chinaz.com/?

　　IP=" + ip; URL url = new URL(strURL); HttpURLConnection httpConn = (HttpURLConnection) url.openConnection(); InputStreamReader input = new InputStreamReader(httpConn .getInputStream(), "utf-8"); BufferedReader bufReader = new BufferedReader(input); String line = ""; StringBuilder contentBuf = new StringBuilder(); while ((line = bufReader.readLine()) != null) {contentBuf.append(line);} String buf = contentBuf.toString( ); int beginIx = buf.indexOf("查询结果["); int endIx = buf.indexOf("以上四项依次显示"); String result = buf.substring(beginIx, endIx); System.out . println("captureHtml() 结果：\n" + 结果);}

　　使用HttpURLConnection连接站点，使用bufReader保存网页返回的数据，然后通过自己定义的解析方法显示结果。

　　这里我只是随便解析了一下，想要解析准确，就需要自己处理了。

　　分析结果如下：

　　captureHtml() 的结果：

　　查询结果[1]：111.142.55.73 ==>> 1871591241 ==>> 福建省漳州市手机

　　二、 抓取网页的 JavaScript 返回的结果。

　　有时网站是为了保护自己的数据。网页的源代码中没有直接返回数据。而是采用异步方式用JS返回数据，避免了搜索引擎等工具对网站数据的抓取。

　　首先看这个页面：

　　

　　使用第一种方法查看页面的源代码。但是没有找到运单的跟踪信息，因为是通过JS获取的结果。

　　但是有时候我们非常需要获取JS数据，这个时候我们该怎么办呢？

　　这时候我们就需要用到一个工具：HTTP Analyzer，这个工具可以拦截Http的交互内容，我们使用这个工具来达到我们的目的。

　　先点击开始按钮后，它开始监控网页的交互行为。

　　我们打开网页：，可以看到HTTP Analyzer列出了网页的所有请求数据和结果：

　　为了更方便的查看JS的结果。我们先清除这些数据，然后输入快递号： 7.点击查询按钮，然后查看HTTP Analyzer的结果：

　　

　　这是在单击查询按钮之后。HTTP Analyzer的结果，我们继续查看：

　　

　　

　　从上两图可以看出，HTTP Analyzer可以拦截JS返回的数据，并在Response Content中展示。同时可以看到JS请求的网页地址。

　　在这种情况下，我们只需要分析HTTP Analyzer的结果，然后模拟JS的行为就可以得到数据。即我们只需要访问JS请求的网页地址即可获取数据。当然，前提是数据没有加密。我们记下JS请求的URL：

　　文=7&频道=&rnd=0

　　然后让程序请求这个页面的结果！

　　这是代码：

　　public void captureJavascript(String postid) throws Exception {

String strURL = "http://www.kiees.cn/sf.php?

　　wen=" + postid + "&channel=&rnd=0"; URL url = new URL(strURL); HttpURLConnection httpConn = (HttpURLConnection) url.openConnection(); InputStreamReader input = new InputStreamReader(httpConn .getInputStream(), "utf- 8"); BufferedReader bufReader = new BufferedReader(input); String line = ""; StringBuilder contentBuf = new StringBuilder(); while ((line = bufReader.readLine()) != null) {contentBuf.append(line); } System.out.println("captureJavascript():\n" + contentBuf.toString()的结果);}

　　可以看到，抓取JS的方式和抓取原创网页的代码完全一样，只是做了一个解析JS的过程。

　　下面是程序运行的结果：

　　captureJavascript() 的结果：

　　运单跟踪信息 [7]

　　这些数据就是JS返回的结果，我们的目的就达到了！

　　希望这能成为一个需要帮助的孩子，需要程序的源代码。点击这里下载！