网页抓取解密(一下加密的网页是80端口,加密怎么办呢?)
优采云 发布时间: 2021-09-28 16:32网页抓取解密(一下加密的网页是80端口,加密怎么办呢?)
前言
前不久写了一篇关于爬虫网站的帖子,主要介绍一些。工具方面,一个是优采云,一个是webcopy。还有其他常用的工具,比如国外的IDM。IDM也是一个非常流行的操作建议,非常方便。但近年来,爬虫大都兴起,导致IDM软件使用需求减少。还添加了优采云 和Webcopy 等软件。
指示
有网友推荐我用Webcopy之类的软件。他的主要方法主要分为几点,一是深度爬取一些网页,二是浏览网页。
在此处插入图片说明
第一个功能是扫描一个网页,可以扫描出哪些结构可以通过优采云的图形直接显示出来。
点击扫描按钮,稍等片刻即可看到网站的所有内容。它可以在弹出框的左上角找到。如果未加密的网页是80端口,则加密后的URL显示为443。
在此处插入图片说明
很出名的一个网站,不多说,直接上图。可以设置网易的最大深度和扫描设置的最大网页数。. 左边绿色的是*敏*感*词*,右边的是深度,右下角是选择是否下载js、css、图片、视频等静态文件。
在此处插入图片说明
概括
可以学习网站的*敏*感*词*,以及css和js的使用和学习。工具只是辅助,最重要的是掌握你所需要的。
最后,在安利下,在微信公众号“Chasays”回复“webcopy”即可获得中英文2个版本。