阿里巴巴的内容采集工具在开发方面的涉及、magnet等等

　　阿里巴巴的内容采集工具在开发方面的涉及、magnet等等

　　内容采集系统，主要用来抓取站点上的内容，为用户服务。在现实生活中，像这种网站，每天有上万个商品可以让用户逛，而每次要获取用户的搜索记录、浏览历史等等，就相当于要抓取用户的邮箱，大量的资料会让电脑重复运算，很慢，而且带来资源浪费。如果让站长在自己的网站上给用户发广告短信，那样就像在发垃圾短信。而在视频网站，做内容采集就可以为用户提供非常好的服务。

　　这方面做的比较好的是youtube。就我个人看到的，知乎上只要带有分享标签的视频就会下载来加入我个人的库存。当然，知乎目前在应用中也存在大量的内容采集工作，在开发方面也有所涉及。我了解的内容采集工具有很多，youtube上常见的有screenlistener、magnet等等。本篇文章我打算探究内容采集工具在开发方面的现状，一起来看看是否都成熟吧。

　　首先，说说阿里巴巴的“内容采集工具”。ebridge曾做过一期关于阿里巴巴内容采集工具的评测，我查找了相关资料后，了解到它主要靠输入要素，比如关键词、类目等，然后系统自动获取对应的一条视频链接。据百度百科介绍，阿里巴巴集团称，内容采集主要是基于技术手段，将互联网上新媒体资源、新闻稿件、视频链接等加载到云存储上。

　　对电商平台而言，采集新媒体资源是为了提升用户体验，以及提升商家效率。一个较好的业务流程如下：技术手段主要是通过youtube、flickr、medium、etsy等国外平台，用户通过自定义关键词搜索到对应视频链接地址，再通过地址链接去找到对应视频。一般来说，这种内容采集工具需要接入一个youtube账号，而youtube现在已经不支持直接抓取视频了，所以，这个业务流程很可能做不下去。

　　接下来，说说京东的内容采集工具。京东曾经给我们展示过内容采集工具的开发情况，采集到的文章大多是文档或是图片，虽然主要内容是文档和图片，但是采集工具主要用来处理链接类型的内容，比如kindle电子书、配套视频等。至于这种业务流程，我觉得京东自己搞搞就好了，对我们这些小工具来说没什么意义。搜狗网内容采集工具提供一站式的文章采集解决方案。

　　它不仅提供文章采集，还提供多种文章摘要的导出，用户可以根据自己的需求，把搜狗网上提供的文章摘要打包成任意格式的文件，再拷贝到本地，就可以直接使用了。这种采集方式的优点是内容采集更加方便，缺点是成本太高，有可能成功开发，但是一旦被惩罚，惩罚不严重就不支持。百度extractioneditor这个工具，我简单查了一下，目前来看，并没有对内容采集进行收费，不过它的标语是“最简单实用的抓取工具”，所以似乎是不能对他进行收费。