网页视频抓取工具 知乎(一个爬虫采集视频教程教程)

　　网页视频抓取工具 知乎(一个爬虫采集视频教程教程)

　　采集视频有很多种。我遇到的爬虫可以分为以下几类

　　一、url直接暴露在网页中

　　这是比较老式的。很多年前，当人们心地善良的时候，现在爬虫满天飞，这种东西早就存在了。

　　二、 将视频链接放入请求结果中，并以异步形式返回

　　这个方法好一点。毕竟，要获得所需的界面需要手动操作。这种接口只需要分析和一个请求。

　　三、将视频链接放入请求结果中，请求参数动态加密

　　一开始就有反爬虫意识。虽然通过加密请求可以看到，但是爬取的时候还得进行解密操作。这种加密往往是在js层面做的，所以需要有一定的js技巧，然后通过js逆向，就可以找到对应的加密方式。

　　四、将视频链接放入请求结果中，结果会被加密

　　本例通过查找js解密文件，将密文解密为明文。

　　五、通过将视频切割成小视频，分割请求

　　这样，m3u8在请求的过程中一般都是这样划分视频的。然后您需要在分段下载视频后合成视频。这个过程比较繁琐，需要m3u8的形式。

　　六、加密 m3u8 请求和请求体

　　不管是什么方法，看视频还是支持正版，都需要不断尝试。如果你想要一个软件适应所有网站，会有点困难，所以还是一个一个学习学习比较好。明白没有什么是一次性的。

　　推荐爬虫学习交流的地方：348940535 爬虫路上，我们一路陪伴。

　　希望我的回答可以帮助到你。