java抓取网页内容(返回一段xml链接的html代码效果怎么样?-八维教育)
优采云 发布时间: 2022-01-07 19:15java抓取网页内容(返回一段xml链接的html代码效果怎么样?-八维教育)
有时,我们需要在java程序中获取一个连接,然后解析连接后,获取连接返回的内容和结果进行分析。准确地说,解析一个链接。
以下代码解析百度主页上的链接,得到html代码的效果:
1 public static List getURLCollection(String address){
2 List list = new LinkedList();
3 try{
4 URL url = new URL(address);
5 URLConnection conn = url.openConnection();
6 conn.connect();
7 InputStream in = conn.getInputStream();
8 InputStreamReader input = new InputStreamReader(in, "UTF-8");
9 BufferedReader buf = new BufferedReader(input);
10 String nextLine = buf.readLine();
11
12 while(nextLine != null){
13 list.add(nextLine);
14 nextLine = buf.readLine();
15 }
16 }catch(Exception e){
17 e.printStackTrace();
18 }
19 return list;
20 }
21
22 public static void main(String[] args){
23 String address = "http://www.baidu.com";
24 List list = getURLCollection(address);
25 String buf = "";
26 for(String str : list){
27 buf+=str+"\n";
28 }
29
30 System.out.println(buf);
31 }
效果如果:
这样,百度的html的代码就被抓到了。
这有什么神奇的用途吗?
比如我们访问第三方链接时,第三方返回一段xml,我们需要他们提供的返回值来提供判断数据等等。以便它可以使用...