抓取网页数据工具(本文就用Java给大家演示如何抓取网站的数据：（1）)

　　抓取网页数据工具(本文就用Java给大家演示如何抓取网站的数据：（1）)

　　原创链接：

　　有时由于各种原因，我们需要一些采集数据，但由于不同网站

　　本文使用Java向您展示如何抓取网站的数据：（1）抓取原创网页的数据；（2）抓取网页JavaScript返回的数据

　　一、抓取原创页面

　　在本例中，我们将从以下位置获取IP查询的结果：

　　步骤1：打开此网页，输入IP:111.142.55.73，然后单击查询按钮查看网页上显示的结果：

　　

　　第二步：查看web源代码。我们可以看到源代码中有一段：

　　

　　从这里可以看出，查询结果是在重新请求网页后显示的

　　我们来看看查询后的网址：

　　

　　换言之，只要访问这样的网站，我们就可以得到IP查询的结果。接下来，看看代码：

　　[爪哇]

　　publicvoidcaptureHtml（Stringip）通过异常{StringstrURL=“”+ip；URLurl=newURL（strURL）；HttpURLConnectionhttpConn=（HttpURLConnection）url.openConnection（）；InputStreamReaderinput=newInputStreamReader（httpConn.getInputStream（），“utf-8”）；BufferedReaderBufferer=newBufferedReader（input）；Stringline=“；StringBuildercontentBuf=newStringBuilder（）；而（（（line=bufrader.Readline（））！=null）{contentbuf.Append（line）；}stringbuf=contentbuf.Tostring（）；intbeginix=buf.Indexof（“查询结果[”）；intendix=buf.Indexof（“上述四项依次显示”）；stringresult=buf.Substring（beginix，endix）；system.Out.Println（“capturehtml的结果：”“n”+结果）；]

　　使用httpurlconnection连接到网站，使用bufreader保存从网页返回的数据，然后通过自定义解析方法显示结果

　　我只是随便分析一下。如果我想非常准确地分析它，我需要再次处理它

　　分析结果如下：

　　capturehtml（）的结果：

　　查询结果[1]：111.142.55.73==&gt；1871591241==&gt；福建省漳州移动

　　二、在网页上抓取JavaScript返回的结果

　　有时网站为了保护自己的数据，它不直接在web源代码中返回数据，而是使用JS异步方式返回数据，这可以避免搜索引擎和其他工具捕获网站数据

　　首先看一下这一页：

　　

　　第一种方式是查看网页的源代码，但是找不到运单的跟踪信息，因为它是通过JS获得结果的

　　但有时我们需要获取JS数据。此时我们应该做什么

　　此时，我们需要使用一个工具：http analyzer，它可以拦截http的交互内容。我们使用这个工具来实现我们的目的

　　首先，单击开始按钮后，它开始*敏*感*词*web页面的交互

　　当我们打开网页：，我们可以看到HTTP analyzer列出了该网页的所有请求数据和结果：

　　

　　为了更方便的查看JS的结果，我们先清除这些数据，然后在网页中输入快递订单号：7，点击查询按钮，然后查看HTTP analyzer的结果：

　　

　　这是HTTP analyzer点击查询按钮后的结果，我们继续查看：

　　

　　

　　从上面两幅图可以看出，HTTP analyzer可以截获JS返回的数据并显示在响应内容中，同时可以看到JS请求的网页地址

　　在这种情况下，我们可以通过分析HTTP analyzer的结果，模拟JS的行为来获取数据，即我们只需要访问JS请求的网页地址就可以获取数据，当然前提是这些数据没有加密，我们写下JS请求的URL：

　　然后让程序请求此网页的结果

　　代码如下：

　　[爪哇]

　　publicvoidcaptureJavascript（Stringpostid）通过异常{StringstrURL=“”+postid+”&amp；channel=&amp；rnd=0；URLurl=newURL（strURL）；HttpURLConnectionhttpConn=（HttpURLConnection）url.openConnection（）；InputStreamReaderinput=newInputStreamReader（httpConn.getInputStream（），“utf-8”）；BufferedReaderBufferReader=NewBuffereder（input）；Stringline=”“stringbuildercontentbuf=newstringbuilder（）；while（（line=bufrader.Readline（））！=null）{contentbuf.Append（line）；}system.Out.Println（“capturejavascript（）的结果：\n”+contentbuf.Tostring（））；”

　　就像两颗豌豆一样。抓取JS的方法与我们抓取原创页面的代码完全相同。我们只是做了一个分析JS的过程

　　以下是程序执行的结果：

　　capturejavascript（）的结果：

　　运单跟踪信息[7]

　　这些数据是JS返回的结果，我们的目标已经实现了

　　希望本文能帮助有需要的朋友。如果您需要该程序的源代码，请点击这里下载