网页视频抓取浏览器(网页视频抓取浏览器播放页面，可视化多页面爬取*敏*感*词*)

　　网页视频抓取浏览器(网页视频抓取浏览器播放页面，可视化多页面爬取*敏*感*词*)

　　网页视频抓取浏览器播放页面，

　　可视化多页面爬取

　　*敏*感*词*(如aspx小规模可抓取的网页达到1-3万个)用cookie,memcache，

　　urllib+urllib2+requests+bs4+postman简单的解决几个大问题：异步解决接口异常问题（大部分的接口一般都是异步加载）抓取速度快方便自动化解决工具冲突（java抓包解决所有的问题）简单易用urllib2需要加上相应的http库解决不同的协议问题一般中间有一个链接默认选项是https=requests需要你指定代理。

　　提供基础的简单的解决方案，一个是请求方法，一个是url处理方法，一个是消息传递方法，一个是解析方法，一个是根据请求去生成model。

　　这里是一个下手之前的调研过程。方案提前说明，不是教科书上的，就是随便调研的一些技术点（结合自己项目的情况），欢迎大家补充，同时欢迎一起交流解决这些点，最终达到的目的是高效的抓取几乎所有的视频。如果有看过网易、优酷那些高质量视频的同学，可以说基本上视频已经搜不到了（英语好还会看一些欧美老外的），只能抓取中国人上传的，需要特别说明一下的是，如果不同的人经常上传的视频也有重复，那么就需要加大分析人群的工作量。

　　抓取视频从来不是件简单的事，但是抓取视频的反爬的方法是所有视频抓取中比较值得讲的点，毕竟没有成功的项目，让你接触一些特定视频网站的反爬；但是抓取视频最简单的方式，是开启一个js代理服务器，一个轮询服务器，然后ab级循环了，所以要对视频进行解析、解码等操作，最后得到视频，可以用urllib2提供的方法去抓取就行，一个是编写爬虫以及cookie采集。

　　基础工作清晰，技术点就集中到，你需要掌握java开发以及python的库，最好了解一下反爬取方法，这里涉及到https和反爬虫方法，json解析，混淆方法，不会java可以慢慢学。爬虫时不要出现在https下访问，因为有可能被反爬，有些种类也是要特殊处理的，爬虫传递的model也是比较容易被搞错的，爬虫的框架比如csv写法以及pojo处理，如果爬虫的爬取没有时间性限制，可以结合selenium来抓取视频，比如：语法等还是讲一下最基础的一些问题，java可以去使用javafx，python可以去使用requests、bs4、postman等库，重点了解一下cookie的urllib2，然后urllib2上加上urlencode。