智能文章采集技术的兴起已经形成新的盈利模式？

　　智能文章采集技术的兴起已经形成新的盈利模式？

　　智能文章采集技术的兴起已经形成新的盈利模式，要解决的第一个问题就是要去解决技术的问题，在文章采集技术里包括两大块：1、采集算法的多样性；2、特征工程的深入理解。下面我介绍一下对于这两大块分别如何去解决。第一：采集算法的多样性。因为现在大部分的平台都是实时的，内容也都是实时的，这就导致很多传统的算法已经不能适应新需求，比如说，网页抓取，现在又出现了网站内容采集等等。

　　而对于新出现的一些技术，比如说语义角度分析，可能也是对用户敏感的一块技术，但不是说现在的技术不能满足网站的要求，而是说和大的场景要求是不一样的，因为目前做社会化营销都是围绕着微信、微博、头条号进行，并且大家都知道传统的网页抓取方法已经基本上使用的不再多了，所以考虑到二次开发的需求，我认为其实是有必要开发一套全新的文章采集方法。

　　第二：特征工程的深入理解现在的文章采集可以认为是由字到词，再到句的搜索，而字的方面主要看一下两个方面，一个是文字图片，一个是文章的标题。这两个方面要从传统的文章采集的概念上去理解，要挖掘细微，把细微的抽象到全局里。有大量相关文章，但是最后发现大部分文章的技术都很相似，通过这些文章可以理解的关系也不相同，所以我把相关的一些文章进行对比，这些文章总结下来其实就是特征。

　　每一篇文章对应一个特征向量，这些特征和标题是有一定的关系，还有一些能量更高的特征，这里要对原始的文章特征矩阵进行矩阵运算，理解起来稍微复杂一些，可以先了解下bootstrapping。然后去训练一个word2vec的模型，对比各个词频从原始到训练好的模型，模型好的特征向量和之前的标签特征向量的tf-idf，如果有两种特征向量的rank到相同的一个百分比，那么这个文章就可以理解为是字与字之间的联系，如果训练中和训练后用来分词和过滤关键词对词工程的工作其实就比较简单了，要去理解传统的分词技术和类似词学习理论。

　　这里可以简单介绍一下词类比和asm。词类比理论：通过构建出关键词的多个特征向量组成新的词向量，其中最后的一个特征向量（数值上）最接近预测词向量的向量就是这个关键词的关键词。asm理论：（用asm（理论最容易理解）的方法来过滤字）问题问的比较笼统，这里也可以先从asm理论说起，因为这两个和对上，理解起来会更容易一些。

　　词类比：就是把每个词和整篇文章放到词库里边，然后排序，看词向量的各个向量相加，使用系数来选择最接近预测词的向量和我们需要把关键词抽象成的向量来理解。asm理论：其实就是把原始的关键词的词向量和asm。