java抓取网页数据(一个-1.11.1.jarokio-3.12.0.jar-1.12.0.jar●jsoup使用文档 )

　　java抓取网页数据(一个-1.11.1.jarokio-3.12.0.jar-1.12.0.jar●jsoup使用文档

)

　　目录

　　目录

　　前言

　　最近，我想建立一个视频播放应用程序，可以播放电影和电视剧。因此，我在网上搜索了API接口，发现虽然爱奇艺和其他视频网站提供的视频接口可以使用，但注册和审核应用程序等步骤繁琐，他们的API无法在我自己的播放器中播放，但我必须使用java编写一个程序来获取网页数据，以满足我的需要。这里我记录了实施过程

　　前期准备

　　● 所需的jar包：

　　jsoup-1.11.1.jarokhttp -3.12.0.jarokio -@ 1.12.0.jar

　　● jsoup使用文档：

　　案例实现

　　public class Test {

private static final String BASE_URL="http://www.baiwanzy.com";//这里使用的是百万资源网的资源

public static void main(String[] args) {

asyncGet();

}

public static void asyncGet() {

String encode = URLEncoder.encode("雪鹰领主");//对查询的数据进行Url编码

String urlBaidu = "http://www.baiwanzy.com/index.php?m=vod-search&wd="+encode;

OkHttpClient okHttpClient = new OkHttpClient(); // 创建OkHttpClient对象

Request request = new Request.Builder().url(urlBaidu).build(); // 创建一个请求

okHttpClient.newCall(request).enqueue(new Callback() { // 回调

public void onResponse(Call call, Response response) throws IOException {

// 请求成功调用，该回调在子线程

getMovieList(response.body().string());

}

public void onFailure(Call call, IOException e) {

// 请求失败调用

System.out.println(e.getMessage());

}

});

}

public static void getMovieList(String datas){

Document doc = Jsoup.parse(datas);

// 根据css的后代选择器来找到相关的列表

Elements links = doc.select(".xing_vb4 a");//这里是返回的列表的类来查找相关的a标签

for (Element link : links) {

String linkHref = link.attr("href");

String linkText = link.text();

System.out.println(BASE_URL+linkHref+"==="+linkText);

}

}

}