c httpclient抓取网页(登录究竟是怎么回事？登录就是向你的浏览器写cookie)

　　c httpclient抓取网页(登录究竟是怎么回事？登录就是向你的浏览器写cookie)

　　介绍

　　HttpClient是Java语言下支持HTTP协议的客户端编程工具包。它实现了HTTP协议的所有方法，但不支持JS渲染。我们在做一些小工具的时候，可能需要登录一些网站来获取信息，那么HttpClient就是你的好帮手，废话不多说，进入实战。

　　登录的实际意义

　　在HTTP泛滥的今天，我们每天都要登录一些网站，那么登录有什么意义呢？首先，我们必须对cookies有一定的了解。Cookie 是本地存储的小文件，由服务器发送命令。浏览器在本地读写。

　　在访问某些站点时，浏览器会检查是否有所浏览站点的cookie信息。如果有，它会在发送访问请求时携带这些内容。服务器可以读取浏览器发送的请求中的cookie信息。. 能够在响应请求时写入cookie信息。cookie 信息收录键值。内容。到期。拥有网站。

　　说到这里的cookies，差不多就该结束了。那么登录有什么问题呢？登录意味着服务器将 cookie 写入您的浏览器。如果您在计算机上写入 cookie，那么伪造 cookie 的人将有机会登录该站点。所以服务器会在内存中保留一份相同信息的副本。这个过程称为对话。假设你点击网站上的退出按钮，服务器会清除内存中的cookies。同时，清除浏览器中的登录cookies。

　　知道了这一点，我们就可以开始了。

　　二 找到登录密钥cookie

　　这里我们可以使用wireshark来抓包分析。

　　打开知乎的首页，打开wireshark。开始监控端口。输入用户名和密码，然后单击登录。检查wireshark捕获的数据包。

　　截图如下：

　　第一张图是本地post提交数据。

　　第二张图是提交的信息，包括_xsrf和密码。记住_我，电子邮件。注意提交的信息中收录cookies，_xsrf可以从知乎的主页获取。

　　第三张图是服务器返回的信息。请注意，其状态为 200，表示成功。

　　第四章是服务器返回的数据。请注意，它具有三个 cookie 设置。并带有指示登录是否成功的消息。

　　通过上面的步骤我们可以知道什么？首先，发送登录请求时的cookie。以及帖子数据的格式。其次，我们可以获取登录的cookie信息（第四张图）。