网页视频抓取工具 知乎(网页视频抓取工具知乎首答(ess-zhuang-bi-gao-jing-meng/id586776958))

　　网页视频抓取工具 知乎(网页视频抓取工具知乎首答(ess-zhuang-bi-gao-jing-meng/id586776958))

　　网页视频抓取工具知乎首答-ess-zhuang-bi-gao-jing-meng/id586776958?mt=8链接地址是：;type=document&page=5

　　网页视频抓取你可以试试scrapy，

　　首先，你应该学习一下网页视频的录制方法。然后，找一个基于http的抓取工具，像百度视频全能王，先录制。然后存起来。最后，找一个录制软件。很多都可以，有文本录制，流式录制，视频录制。爬虫原理一样，都是匹配网页链接，是一个个urls，分页录制。找到目标网页的网址并解析获取，肯定有很多的url。找到目标网页的url，并且分页获取目标网页的全部url，就是有效页面url，列表页数据都是一样的。

　　然后就开始循环的爬取就行。一页几十条数据，一天也就是几十万的数据。如果有多个网页的页面，就多爬几层循环就行。

　　原理上每个网站都是通过url拿数据的，现在都是读写大数据平台，

　　没有。

　　百度搜索，搜索框某关键词，有全部的结果。不过，至少有个知乎。

　　以前也想问这个问题，无奈安卓端软件不开源，没法实现。后来发现可以开发一个网页视频抓取方案如下：1.1抓视频要开发一个app,配置好程序处理视频的几个逻辑（比如视频分段保存，分辨率选择以及缓存路径等），然后编写相应的程序（推荐用uibot）去抓取某个url，每个步骤可以选择性地实现。1.2*敏*感*词*。上传app到百度云，app会自动抓取百度云的视频，这一步也比较简单。1.3存储。放入wiki文件夹，在mobileapp中使用文件夹访问wiki,然后下载即可。