网页视频抓取工具 知乎(一下Webcopy加密的网页是80端口,加密怎么办?)
优采云 发布时间: 2021-10-18 19:09网页视频抓取工具 知乎(一下Webcopy加密的网页是80端口,加密怎么办?)
前言
前不久写了一篇关于爬虫网站的帖子,主要介绍一些。工具方面,一个是优采云,一个是webcopy。还有其他常用的工具,比如国外的IDM。IDM也是一个非常流行的操作建议,非常方便。然而,近年来,大部分爬虫已经崛起,导致对IDM软件的需求减少。还添加了优采云 和Webcopy 等软件。
指示
有网友推荐我用Webcopy之类的软件。他的主要方法主要分为几点,一是深度爬取一些网页,二是浏览网页。
第一个功能是扫描一个网页,可以扫描出哪些结构可以通过优采云的图形直接显示出来。
点击扫描按钮,稍等片刻即可看到网站的所有内容。它可以在弹出框的左上角找到。如果未加密的网页为80端口,则加密后的URL显示为443。
很出名的一个网站,不多说,直接上图。可以设置网易的最大深度和扫描设置的最大网页数。. 左边绿色的是*敏*感*词*,右边的是深度,右下角是选择是否下载js、css、图片、视频等静态文件。
点击复制后,弹出一个对话框。选择没问题。创建一个新目录。
爬取时间取决于你要爬取的网站的大小和网速。基本上,教程到此为止。
另外要提的是最后一步,抓取后可以打开保存页面上的html或htm文件。
概括
可以学习网站的*敏*感*词*,以及css和js的使用和学习。工具只是辅助,最重要的是掌握你所需要的。