怎么获取登录登录网站后的cookie?(一)(组图)

优采云 发布时间: 2021-07-30 19:13

  怎么获取登录登录网站后的cookie?(一)(组图)

  有些网站需要用户登录才能显示相关信息。如果你想要采集这种网站,有以下几种方式:

  1.编写发布模块,捕获post数据;

  2. 一些采集器内置浏览器会得到这些信息,但往往不准确,可靠性低;

  3.获取登录名网站cookie后,使用采集器模拟用户登录采集;

  这里介绍第三种方法,比较简单,可靠性高。

  一、登录网站后如何获取cookie?

  方法一---最简单的方法是通过现代浏览器获取,以chrome为例:

  1. F12 或右键勾选进入开发者模式界面;

  2.点击网络,F5重新加载页面;

  3.选择页面名称对应的html文件;

  4.获取cookies;

  

  方法二---也可以使用fiddler工具爬取; (如果你已经用浏览器获取了cookie,可以跳过这一步直接去)

  fiddler 是客户端和服务器之间的 HTTP 代理,也是常用的 http 抓包工具之一。它可以记录客户端和服务器之间的所有 HTTP 请求。它还可以分析请求数据,设置断点,修改请求的数据,甚至修改服务器为指定的HTTP请求返回的数据。它非常强大。是网站调试的得力助手。

  从fiddler官网下载:

  下载安装完成后,请按照以下步骤操作:(此文章基于Fiddler 4版本)

  1.首先在右侧显示的页面中选择Inspectors栏;

  

  2.由于左边显示的页面已经有很多访问网站的信息了,我们先把它清除一下,以便接下来找到指定的网页;

  可以使用快捷键ctrl+x或在页面左侧右键点击显示页面删除------>>所有会话;

  

  3. 接下来登录网站,需要抓取cookies或者刷新登录的网页。您可以在左侧显示栏中轻松找到网站的Host(网站域名)+ URL。这个

  比如这个是选中的,注意URL内容中带斜线/的信息;

  

  4.在右侧显示栏中选择raw栏,即可看到获取到的cookie;

  

  5.为了获取完整的cookie,我们点击右侧显示栏中间的在记事本中查看,打开记事本获取完整的cookie;

  

  将二、获取的cookie填入优采云

  最后将获取到的cookie和user-ent信息复制到采集器,然后打开detail extractor查看之前隐藏的内容;

  优采云采集 填写cookies有3个入口:

  我。创建新任务时,高级选项:

  

  二。点击“Start | Timing采集”,在网络配置中填写相关信息;

  

  三。细节提升器左侧列表中的网络配置:

  

  注意:如果填写cookie后刷新页面无法显示采集的内容,可以尝试填写[cookie域名],例如采集百度就是填写

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线