Fiddler轻松探测文章真实地址,网站爬虫必备!

优采云 发布时间: 2023-03-18 11:27

  在当今信息爆炸的时代,网络上的文章数量庞大,但有时候我们会发现文章链接的地址并不是真实地址,这就给我们的分析带来了困惑。那么,怎样用Fiddler探测网站文章真实地址呢?本文将为你详细解答。

  一、什么是Fiddler

  Fiddler是一款免费的Web调试代理工具,它可以拦截HTTP请求和响应数据,并且提供了很多有用的功能来对这些数据进行分析和修改。作为一款常用的Web调试工具,Fiddler在网络安全、Web开发等领域都有广泛应用。

  二、安装和配置Fiddler

  首先要下载和安装Fiddler。在官网https://www.telerik.com/download/fiddler中下载适合自己系统版本的Fiddler,然后按照默认设置安装即可。

  

  安装完成后,打开Fiddler,在菜单栏中选择Tools->Options,在弹出的窗口中选择HTTPS选项卡,勾选Capture HTTPS CONNECTs和Decrypt HTTPS traffic两个选项,并点击Actions->Trust Root Certificate来信任证书。

  三、使用Fiddler探测网站文章真实地址

  1.打开需要探测真实地址的网页

  首先打开需要探测真实地址的网页,在本文中我们以百度新闻为例。

  2.启动Fiddler并开始捕获HTTP流量

  

  在打开网页后启动Fiddler,并在菜单栏中选择File->Capture Traffic或按下Ctrl+R键开始捕获HTTP流量。

  3.找到目标请求并查看请求详情

  在捕获到HTTP流量后,在左侧面板中找到目标请求(本文以百度新闻首页第一篇文章为例),右键点击该请求并选择Inspectors->Raw或者Headers查看该请求的详细信息。

  4.查看请求URL参数

  在请求详细信息中可以看到该请求发送的URL参数及其值,如下图所示:

  

  5.查找真实地址

  通过查看URL参数及其值,我们可以找到与文章相关联的参数。以百度新闻首页第一篇文章为例,我们可以找到与其相关联的参数为“tn=bdapibaiyue&t=recommendinfo”,接着我们可以将该参数复制下来,在浏览器地址栏中输入“http://news.baidu.com/ns?word=&tn=baiduimagedetail&ipn=dmc&ct=201326592&cl=2&lm=-1&fr=&fmq=1521243104691_R&pv=&ic=0&s=0&se=&sme=&tab=&width=&height=&face=&istype=&qc=&nc=&z=&step_word=&pn=0&rn=0&tngroupname=undefined&ie=utf-8&oq=&rsp=-1&_=1521243104692”加上该参数即可得到该文章真实地址。

  至此,我们已经成功使用Fiddler探测到了网站文章真实地址。

  四、总结

  通过本文介绍,相信大家对于如何使用Fiddler探测网站文章真实地址已经有了更深入的了解。使用Fiddler可以方便地捕获HTTP流量,并且提供了很多有用的功能来对这些数据进行分析和修改。同时也提醒大家,在使用Fiddler时一定要注意保护好自己电脑和网络安全。

  优采云(www.ucaiyun.com)提供SEO优化服务,帮助企业提升品牌影响力和营销效果。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线