网页数据抓取怎么写(乌云网我写的一个公用的HttpUtils..例子 )

　　网页数据抓取怎么写(乌云网我写的一个公用的HttpUtils..例子

)

　　最近，我在公司做了一个系统。因为我想获得一些网页数据和一些网页数据，所以我编写了一个公共httputils。下面是我为《乌云》写的一个例子

　　一、首先，获取指定路径下的网页内容

　　 public static String httpGet(String urlStr, Map params) throws Exception {

StringBuilder sb = new StringBuilder();

if (null != params && params.size() > 0) {

sb.append("?");

Entry en;

for (Iterator ir = params.entrySet().iterator(); ir.hasNext();) {

en = ir.next();

sb.append(en.getKey() + "=" + URLEncoder.encode(en.getValue(),"utf-8") + (ir.hasNext() ? "&" : ""));

}

}

URL url = new URL(urlStr + sb);

HttpURLConnection conn = (HttpURLConnection) url.openConnection();

conn.setConnectTimeout(5000);

conn.setReadTimeout(5000);

conn.setRequestMethod("GET");

if (conn.getResponseCode() != 200)

throw new Exception("请求异常状态值:" + conn.getResponseCode());

BufferedInputStream bis = new BufferedInputStream(conn.getInputStream());

Reader reader = new InputStreamReader(bis,"gbk");

char[] buffer = new char[2048];

int len = 0;

CharArrayWriter caw = new CharArrayWriter();

while ((len = reader.read(buffer)) > -1)

caw.write(buffer, 0, len);

reader.close();

bis.close();

conn.disconnect();

//System.out.println(caw);

return caw.toString();

}

　　浏览器查询结果：

　　代码查询结果与上述一致：

　　二、通过指定URL获取所需的网页数据

　　对于这种方法，要导入jsup包，您可以在Internet上下载它

　　Document doc = null;

try {

doc = Jsoup.connect("http://www.wooyun.org//bugs//wooyun-2016-0225856").userAgent("Mozilla/5.0 (Windows NT 10.0; Trident/7.0; rv:11.0) like Gecko").timeout(30000).get();

} catch (IOException e) {

e.printStackTrace();

}

for(Iterator ir = doc.select("h3").iterator();ir.hasNext();){

System.out.println(ir.next().text());

}

　　对于选择选择器，根据条件选择它。博士。选择（“H3”）。迭代器（），对于jsup，有以下规则：

　　Jsoup是一个基于Java的HTML解析器，可以直接解析URL地址或HTML文本内容。它提供了一个非常省力的API，可以通过DOM、CSS和类似于jQuery的操作方法获取和操作数据

　　jsoup的优势在于它对文档元素的检索。select方法将返回一组元素，并提供一组方法来提取和处理结果。要掌握jsoup，首先必须熟悉其选择器语法

　　1、Selector选择器基本语法

　　2、Selector选择器组合语法

　　3、Selector伪选择器语法

　　注：上述伪选择器索引从0开始，即第一个元素的索引值为0，第二个元素的索引值为1，以此类推

　　浏览器访问：

　　代码访问：