excel抓取网页数据(我想用java实现抓取我们学校图书馆页面里的图书信息 )

优采云发布时间: 2021-09-29 21:35

　　excel抓取网页数据(我想用java实现抓取我们学校图书馆页面里的图书信息

)

　　抓取网页数据我想使用java抓取我们学校图书馆页面中的图书信息，例如：

　　请伟大的上帝引导Java网页捕获-----------------编程问答-----------------使用jsoup：

package cn.outofmemory.yc;

import java.io.IOException;

import java.util.Scanner;

import org.apache.commons.httpclient.HttpClient;

import org.apache.commons.httpclient.HttpException;

import org.apache.commons.httpclient.HttpMethod;

import org.apache.commons.httpclient.NameValuePair;

import org.apache.commons.httpclient.methods.GetMethod;

import org.apache.commons.httpclient.methods.PostMethod;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

public class httpclient {

/**

* heepclient 抓取页面

* jroup 解析页面内容

* @param args

*/

public static void main(String[] args) {

Scanner reader=new Scanner(System.in);

System.out.println("请输入手机号码：");

String strphone=reader.nextLine();

HttpClient client = new HttpClient();

// 设置代理服务器地址(URL)和端口

client.getHostConfiguration().setHost( "haoma.imobile.com.cn" , 80);

HttpMethod method=getPostMethod(strphone);

try {

client.executeMethod(method);

//System.out.println(method.getStatusLine()); //打印结果页面

String response=new String(method.getResponseBodyAsString());

// System.out.println(response);

//释放连接

method.releaseConnection();

//解析页面内容

Document doc= Jsoup.parse(response); //从字符串中加载

//直接从URL 中加载页面信息。timeout设置连接超时时间 post提交方式或者get()

// Document document = (Document) Jsoup.connect("http://haoma.imobile.com.cn/index.php?mob=18710115102").timeout(3000).post();

//Elements 是 Element 的集合类

Elements element=doc.select("table"); //从加载的信息中查找table 标签

//从查找到table属性的Elements集合中获取标签 tr 或者tr[class$=alt] 表示 tr标签内class属性=alt

// Elements titleName=element.select("tr[class$=alt]");

Elements titleName=element.select("tr");

for(Element name : titleName){

System.out.println(name.text());

}

} catch (HttpException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

}

}

private static HttpMethod getPostMethod(String phone){

PostMethod post = new PostMethod( "/index.php" );

//POST提交则需要通过NameValuePair类来设置参数名和对应的值

NameValuePair simcard = new NameValuePair( "mob" ,phone);

post.setRequestBody( new NameValuePair[] {simcard});

return post;

}

/**

* 使用 GET 方式提交数据

*@return

*/

private static HttpMethod getGetMethod(){

return new GetMethod("/index.php?simcard=1330227");

}

}

　　--------------------节目问答--------------------您提供的网站只能在学校访问。无论如何，我不能。。您可以使用httpclient。。百度的例子很多。您需要导入一个jar，然后调整代码。编程问答-----------------无法访问外部网络。Jsoup和httpclient都正常

　　[使用jsoup实现web爬虫]-----------编程问答-----------------对于普通的爬虫，httpclient感觉不太容易使用。明天我将在你的博客上发布我对JavaJDK的封装

　　文件：

程序包类使用树已过时索引帮助上一个类下一个类框架无框架所有类概要: 嵌套 | 字段 | 构造器 | 方法详细资料: 字段 | 构造器 | 方法

wrapper

类 Http

java.lang.Object

wrapper.Http

public class Http

extends java.lang.Object

对于POST表单的field名没有进行转码处理，只对field的值转码。因为field名都是ASCII字符。

网站会不定次地发送压缩格式的body，本类不具备解压缩功能。可根据header中的Content-Encoding键对应的值进行判断是不是压缩的。

一个Http对象只能发起一次请求。要发送多个相关的请求，把返回的cookieStore代入另一个Http对象。

字段概要

字段

限定符和类型字段和说明

java.net.CookieStore cookieStore

构造器概要

构造器

构造器和说明

Http(java.lang.String urlString, java.lang.String charset)

构造函数

方法概要

方法

限定符和类型方法和说明

void addPostData(java.lang.String name, java.lang.String value)

void addUploadFile(java.lang.String name, java.lang.String path, java.lang.String rename)

void execute()

java.util.Map getHeaders()

java.io.InputStream getInputStream()

void setHeader(java.lang.String name, java.lang.String value)

void setTimeOut(int millionSeconds)

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

字段详细资料

cookieStore

public java.net.CookieStore cookieStore

构造器详细资料

Http

public Http(java.lang.String urlString,

java.lang.String charset)

构造函数

参数:

charset - 页面的字符集编码，即要提交的数据的字符集编码。

方法详细资料

execute

public void execute()

throws java.lang.Exception

抛出:

java.lang.Exception

getInputStream

public java.io.InputStream getInputStream()

throws java.lang.Exception

抛出:

java.lang.Exception

getHeaders

public java.util.Map getHeaders()

setHeader

public void setHeader(java.lang.String name,

java.lang.String value)

setTimeOut

public void setTimeOut(int millionSeconds)

addPostData

public void addPostData(java.lang.String name,

java.lang.String value)

addUploadFile

public void addUploadFile(java.lang.String name,

java.lang.String path,

java.lang.String rename)

throws java.lang.Exception

参数:

name - fieldname

抛出:

java.lang.Exception

程序包类使用树已过时索引帮助上一个类下一个类框架无框架所有类概要: 嵌套 | 字段 | 构造器 | 方法详细资料: 字段 | 构造器 | 方法

　　--------------------编程问答------------------楼上的那些方法可以看出你有多方便。Jsoup很好

　　补充：Java , Web 开发

0

2021-09-29

excel抓取网页数据

0 个评论

要回复文章请先登录或注册

AI时代内容工厂

excel抓取网页数据(我想用java实现抓取我们学校图书馆页面里的图书信息 )

0 个评论

发起人