java从网页抓取数据(从一个获取Document对象的其他姊妹章:模拟浏览器：get方式简单获取网页数据)

　　java从网页抓取数据(从一个获取Document对象的其他姊妹章:模拟浏览器：get方式简单获取网页数据)

　　从 URL 获取 Document 对象的其他姐妹章节：

　　模拟浏览器：简单的通过get方法获取网页数据（一）

　　模拟浏览器：post方法模拟登录获取网页数据（二）

　　模拟浏览器：Jsoup工具的使用及失败重试的重试策略（三）

　　本文文章使用Jsoup模拟登录GitHub。仅作交流学习之用，如以代码网站对其进行恶意攻击，与作者无关^ ^！

　　在你开始之前：

　　Stept 1)：安装 Firefox/Google Chrome 浏览器。功能是利用Firebug插件分析提交协议。虽然IE从7开始就有类似的功能，但毫无疑问还是不如Firefox和Chrome好用。

　　stept 2)：构建一个Jsoup项目，只是一个普通的java项目，并导入Jsoup Jar包。如果你还不知道Jsoup是什么，请参考文章：《Jsoup是什么？》如果是Maven项目，可以直接在pom.xml中导入Jsoup，也可以参考另一篇文章：《模拟浏览器：通过get简单获取网页数据(一）"

　　Stept 3)：分析提交表单，以便我们确定“重要”的两个重要事项：

　　以下是github的登录界面和形式：

　　

　　这里注意图中的几个重要信息：form标签中的action属性表示表单数据最终会提交到哪里（可以在下面代码中第二次提交的代码块中看到地址） action=" /session" 另外，需要注意表单中所有提交的输入标签。这里更重要的是带有隐藏属性的输入。这个隐藏的输入是一种反爬虫机制，类似于网络序列号。当你提交一个带有这个序列号的表达式时，就可以证明用户确实进入了webflow流程。如果有错误或者没有这个序列号，那么网站会认为用户非法进入了webflow进程（认为是机器人/爬虫），

　　stept4)：使用Firebug抓取post提交的数据包，确认最终仿真提交的“重要”参数：

　　下面是Firebug的抓包界面（火狐浏览器安装Firebug插件后按F12调出，点击Net，在登录界面填写用户名和密码，点击登录按钮，找到Firebug 中的第一个提交方法。方法是 POST 请求）：

　　

　　还要注意Firebug捕获界面中的几个重要信息：1)。注意url，可以确定url对应表单的action值，也就是最终的表达式提交地址。2)。注意Post值，可以确认list值等于表单中输入的值。3)。其他信息：点击图中的Headers可以看到其他相关信息，如header值、cookies相关、引用等，有时模拟登录时这些值需要一起提交

　　代码：

　　注：本文会定期更新代码并同步到GitHub（文章底部地址），如果有代码问题可以评论或者加群。

　　一旦确定了post提交参数和最终的URL地址，就可以使用Jsoup来模拟登录了，代码如下：

　　/**

* GITHUBLoginApater.java

*

* Function：Jsoup model apater class.

*

* ver date author

* ──────────────────────────────────

* 1.0 2017/06/22 bluetata

*

* Copyright (c) 2017, [https://github.com/] All Rights Reserved.

*/

package com.datacrawler.service.model.github.com;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

import org.jsoup.Connection;

import org.jsoup.Jsoup;

import org.jsoup.Connection.Method;

import org.jsoup.Connection.Response;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

/**

* @since crawler(datasnatch) version(1.0)</br>

* @author bluetata / sekito.lv@gmail.com</br>

* @reference http://bluetata.blog.csdn.net/</br>

* @version 1.0</br>

* @update 03/14/2019 16:00

*/

public class GITHUBLoginApater {

public static String LOGIN_URL = "https://github.com/login";

public static String USER_AGENT = "User-Agent";

public static String USER_AGENT_VALUE = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0";

public static void main(String[] args) throws Exception {

simulateLogin("bluetata", "password123"); // 模拟登陆github的用户名和密码

}

/**

* @param userName 用户名

* @param pwd 密码

* @throws Exception

*/

public static void simulateLogin(String userName, String pwd) throws Exception {

/*

* 第一次请求

* grab login form page first

* 获取登陆提交的表单信息，及修改其提交data数据（login，password）

*/

// get the response, which we will post to the action URL(rs.cookies())

Connection con = Jsoup.connect(LOGIN_URL); // 获取connection

con.header(USER_AGENT, USER_AGENT_VALUE); // 配置模拟浏览器

Response rs = con.execute(); // 获取响应

Document d1 = Jsoup.parse(rs.body()); // 转换为Dom树

System.out.println(d1);

List eleList = d1.select("form"); // 获取提交form表单，可以通过查看页面源码代码得知

// 获取cooking和表单属性

// lets make data map containing all the parameters and its values found in the form

Map datas = new HashMap();

// 01/24/2019 17:45 bluetata 更新 -------------------------------------------------------------- Start ----------

// GitHub多次改版更新，最新的提交request data为:

// authenticity_token ll0RJnG1f9XDAaN1DxnyTDzCs+YXweEZWel9kGkq8TvXH83HjCwPG048sJ/VVjDA94YmbF0qvUgcJx8/IKlP8Q==

// commit Sign+in

// login bluetata

// password password123

// utf8 ✓

for(int i = 0; i < eleList.size(); i++) {

for (Element e : eleList.get(i).getAllElements()) {

// 设置用户名

if (e.attr("name").equals("login")) {

e.attr("value", userName);

}

// 设置用户密码

if (e.attr("name").equals("password")) {

e.attr("value", pwd);

}

// 排除空值表单属性

if (e.attr("name").length() > 0) {

datas.put(e.attr("name"), e.attr("value"));

}

}

}

// 旧逻辑 delete 01/24/2019 17:49 bluetata --------------------------------------------start

// for (Element e : eleList.get(0).getAllElements()) {

// // 设置用户名

// if (e.attr("name").equals("login")) {

// e.attr("value", userName);

// }

// // 设置用户密码

// if (e.attr("name").equals("password")) {

// e.attr("value", pwd);

// }

// // 排除空值表单属性

// if (e.attr("name").length() > 0) {

// datas.put(e.attr("name"), e.attr("value"));

// }

// }

// 旧逻辑 delete 01/24/2019 17:49 bluetata --------------------------------------------end

// 01/24/2019 17:45 bluetata 更新 --------------------------------------------------------------- End -----------

/*

* 第二次请求，以post方式提交表单数据以及cookie信息

*/

Connection con2 = Jsoup.connect("https://github.com/session");

con2.header(USER_AGENT, USER_AGENT_VALUE);

// 设置cookie和post上面的map数据

Response login = con2.ignoreContentType(true).followRedirects(true).method(Method.POST).data(datas).cookies(rs.cookies()).execute();

// 打印，登陆成功后的信息

System.out.println(login.body());

// 登陆成功后的cookie信息，可以保存到本地，以后登陆时，只需一次登陆即可

Map map = login.cookies();

for (String s : map.keySet()) {

System.out.println(s + " : " + map.get(s));

}

}

}

　　最后，操作返回的html是github登录成功后的个人仓库相关更新信息，可以用来判断是否登录成功，不成功则停留在登录界面。

　　成功后打印的cookies信息：

　　user_session : xkXvNQyNzKFTrBMtbXdieZ29FtimemTz1943fAmo7w4xOSK

__Host-user_session_same_site : xkXvNQyNzKFTrBluetataXWvhdLmkYmTzblueqfAmo7w4xOSK

_gh_sess : eyJsYXN0X3dyaXRlIjoxNDk4MTEyODQ5NDQ1LCJmbGdie=I6eyJtimeNjYXJkIj1943Wx5dGljc19kpb24iLCJhbmFseXRpY3NfbG9jYXRpb24iXSwiZmxhc2hlcyI6eyJhbmFseXRpY3NfZGltZW5zaW9uIjp7Im5hbWUidietime1943lbnNpb241IiwidmFsdWUiOiJMb2dnZWQgSW4ifSwiYW5hbHl0aWNzX2xvY2F0aW9uIjoiL2Rhc2hib2FyZCJ9fSwic2Vzc2lvbl9pZCI6IjFkNGQ1MWE3NmM4MzU5MTUzbluetataxZGzgzIiwiY29udGV4dCI6Ii8ifQ%3D%3D--af5c70cdfbluec01be903dtata083ce2e53eb

logged_in : yes

dotcom_user : bluetata

　　● Jsoup学习讨论QQ群：50695115

　　● 博客中Jsoup爬虫代码示例及源码下载：

　　● 更多Jsoup相关文章请参考专栏：【Jsoup在行动】