网页抓取解密(一下加密的网页是80端口,加密怎么办呢?)

优采云 发布时间: 2021-09-28 16:32

  网页抓取解密(一下加密的网页是80端口,加密怎么办呢?)

  前言

  前不久写了一篇关于爬虫网站的帖子,主要介绍一些。工具方面,一个是优采云,一个是webcopy。还有其他常用的工具,比如国外的IDM。IDM也是一个非常流行的操作建议,非常方便。但近年来,爬虫大都兴起,导致IDM软件使用需求减少。还添加了优采云 和Webcopy 等软件。

  指示

  有网友推荐我用Webcopy之类的软件。他的主要方法主要分为几点,一是深度爬取一些网页,二是浏览网页。

  

  在此处插入图片说明

  第一个功能是扫描一个网页,可以扫描出哪些结构可以通过优采云的图形直接显示出来。

  点击扫描按钮,稍等片刻即可看到网站的所有内容。它可以在弹出框的左上角找到。如果未加密的网页是80端口,则加密后的URL显示为443。

  

  在此处插入图片说明

  很出名的一个网站,不多说,直接上图。可以设置网易的最大深度和扫描设置的最大网页数。. 左边绿色的是*敏*感*词*,右边的是深度,右下角是选择是否下载js、css、图片、视频等静态文件。

  

  在此处插入图片说明

  概括

  可以学习网站的*敏*感*词*,以及css和js的使用和学习。工具只是辅助,最重要的是掌握你所需要的。

  最后,在安利下,在微信公众号“Chasays”回复“webcopy”即可获得中英文2个版本。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线