网页视频抓取浏览器(网页视频抓取浏览器端的页面，后续再看源码)

　　网页视频抓取浏览器(网页视频抓取浏览器端的页面，后续再看源码)

　　网页视频抓取浏览器端的页面，然后下载到本地。目前xpath比较傻瓜，复杂一点的页面可以用python转化为json然后解析处理。说实话，对于我这种没有python基础的，直接翻看nodejs就很痛苦，很费时费力。为了避免重复使用一些常用的方法，现在对xpath不做过多的概念性的东西。直接把知道的写上去，后续有空补充1.有xpath可以抓取javascript文件varxpath='//*[@id=""]/li/a[@class="list-bottom"]/img//a';2.有xpath可以抓取javascript文件javascript各种id顺序dom结构xpath搜索javascriptxpath搜索img...xpath搜索img3.有xpath可以抓取本地网页图片varxpath='//*[@id=""]/var/picture/a/text()';解析之后，返回json格式，拿去爬数据用。后续再看源码试试抓取其他页面.。

　　比较费事，

　　目前我是从手机上抓取，上传到微信公众号，点赞量可以看到，点赞次数需要第三方的数据源。

　　requests正则表达式非常的牛逼各种基础包imageio类型也很好用你写个爬虫也得知道各种包的用法先说下我用到的吧git可以看到生成的master分支（gitbranch#build#upstream），一共有1000多个repo:scrapy：这个东西要对着一个个api抓，一个接口分为url、后端和正则表达式if=hasattr(scrapy,"diff")else---正则表达式+requests爬虫收到的请求url一般是http。

　　get或者http。post一般是json格式不要被反爬虫的反爬虫阻止还有注意工厂方法methods参数cookie#methods中抓重复单独写一个字段，这样容易被反爬虫抓re-insetify需要注意了---easy_index要加。method，把req。json改为req。method。