怎么获取登录登录网站后的cookie?(一)(组图)
优采云 发布时间: 2021-07-30 19:13怎么获取登录登录网站后的cookie?(一)(组图)
有些网站需要用户登录才能显示相关信息。如果你想要采集这种网站,有以下几种方式:
1.编写发布模块,捕获post数据;
2. 一些采集器内置浏览器会得到这些信息,但往往不准确,可靠性低;
3.获取登录名网站cookie后,使用采集器模拟用户登录采集;
这里介绍第三种方法,比较简单,可靠性高。
一、登录网站后如何获取cookie?
方法一---最简单的方法是通过现代浏览器获取,以chrome为例:
1. F12 或右键勾选进入开发者模式界面;
2.点击网络,F5重新加载页面;
3.选择页面名称对应的html文件;
4.获取cookies;
方法二---也可以使用fiddler工具爬取; (如果你已经用浏览器获取了cookie,可以跳过这一步直接去)
fiddler 是客户端和服务器之间的 HTTP 代理,也是常用的 http 抓包工具之一。它可以记录客户端和服务器之间的所有 HTTP 请求。它还可以分析请求数据,设置断点,修改请求的数据,甚至修改服务器为指定的HTTP请求返回的数据。它非常强大。是网站调试的得力助手。
从fiddler官网下载:
下载安装完成后,请按照以下步骤操作:(此文章基于Fiddler 4版本)
1.首先在右侧显示的页面中选择Inspectors栏;
2.由于左边显示的页面已经有很多访问网站的信息了,我们先把它清除一下,以便接下来找到指定的网页;
可以使用快捷键ctrl+x或在页面左侧右键点击显示页面删除------>>所有会话;
3. 接下来登录网站,需要抓取cookies或者刷新登录的网页。您可以在左侧显示栏中轻松找到网站的Host(网站域名)+ URL。这个
比如这个是选中的,注意URL内容中带斜线/的信息;
4.在右侧显示栏中选择raw栏,即可看到获取到的cookie;
5.为了获取完整的cookie,我们点击右侧显示栏中间的在记事本中查看,打开记事本获取完整的cookie;
将二、获取的cookie填入优采云
最后将获取到的cookie和user-ent信息复制到采集器,然后打开detail extractor查看之前隐藏的内容;
优采云采集 填写cookies有3个入口:
我。创建新任务时,高级选项:
二。点击“Start | Timing采集”,在网络配置中填写相关信息;
三。细节提升器左侧列表中的网络配置:
注意:如果填写cookie后刷新页面无法显示采集的内容,可以尝试填写[cookie域名],例如采集百度就是填写