网页视频抓取工具知乎live-全新的实时问答(图)

　　网页视频抓取工具知乎live-全新的实时问答(图)

　　网页视频抓取工具知乎live-全新的实时问答中国西部人才争夺战8月31日－9月1日live，我将会有针对性地回答你的问题。我会花点时间讲一讲，实际抓取工具是怎么回事，不外乎抓取工具本身的几个特点，是基于抓取对象来抓取，还是基于网站或者服务器上的视频，还是基于页面的脚本内容抓取，以及支持哪些开放的接口？我会详细说一下upwork，linkedin和airbnb等这些网站，他们从什么时候开始会与视频合作？怎么来抓取？简单来说，理解了这些以后，你就可以做一些应用，比如：在国内，我一般会推荐你的竞争对手是怎么抓取视频的，他们怎么和视频交互，又是如何用起视频，的。

　　而在美国，我一般会推荐你了解他们怎么用browserextensionplayer(简称bem)和handbrake(简称howextension)来抓取视频。-butyouwillneedtorelyingonthis.相关内容我写过一篇专栏：（mono）如何用react+redux开发maui上的搜索页面：react和redux都已经不是问题，但用bem和howextensionreactredux是完全不同的编程语言，然而其实react和redux的交互是另外一个难题。

　　而且从视频抓取的角度来说，有些手段非常不高效，比如reactroutejs。让我们先来学习一下，如何使用so（一个例子工具）来抓取视频。so是一个mirror类库，能够通过http/https协议来向不同的机器去请求视频。我们通过so抓取到了所有的视频的url链接，我们可以以此来做任何的事情。那怎么来通过so抓取视频呢？最简单的思路是每一个请求的响应内容中，包含视频的url地址，可以是带有*的也可以是***的标识。

　　而so的url地址规范有两种：*man-men-*和**men-men-*。这两种规范是标准的，即使我们不按照上面的格式来写url，so也能很好地抓取相应的格式。但是对于youtube来说，却不是这样的，在它的url中，会有(int)url-authorization的字段，这是一个隐藏字段，意思是只给一个人用，只在所有的url中带有这个字段，所以so会强制规定，所有的机器中，必须有一个名为username的字段，在其他任何机器上，名为username的字段都要加到url地址里。

　　但如果你把username在url中直接写了出来，又会被认为是sync（即在同一个服务器上抓取视频）。让我们抓取一个演示视频的时候，如果用username命名，很有可能你抓取完之后返回的不是一个已经存在的视频，需要重新加上username字段。也就是说，username虽然是标识，但并不是所有的机器都这么要求。那so能不能解决这个问题呢？有！so提供了一个api，来解决这个问题。