伪原创相似度查询(Google是怎么判定原创与伪原创的？（上）)

　　伪原创相似度查询(Google是怎么判定原创与伪原创的？（上）)

　　我们在做站群的时候，无法避免*敏*感*词*的产生大量的内容。一般我们依赖采集+伪原创。谷歌对伪原创的判断比百度好。很多人都来过这里。根据我掌握的数据，我们来看看谷歌是如何判断原创和伪原创的。

　　首先，我们要先掌握几个概念：

　　1. 相似性

　　相似度是搜索引擎最常用的算法。最常用的算法是TF/IDF算法。这也是一种计算相关性的算法。TF-IDF的主要含义是说：如果一个词或词组在同一篇文章文章中出现频繁，而在其他文章中很少出现，则认为这个词或词组具有良好的分类能力强，适合分类。

　　TF词频（Term Frequency）是指给定词在文件中出现的次数。

　　IDF逆文档频率（Inverse DocumentFrequency）是指：如果收录条目的文档越少，IDF越大，说明条目具有较好的类别区分能力。

　　当一篇文章文章根据TF/IDF进行计算时，就形成了一个多维向量。这个向量就是这个文章的内容特征向量。当两个文章的特征向量趋于一致时，我们认为这两个文章的内容是相似的。如果他们同意，这意味着他们是重复的。

　　TF/IDF和向量算法的详细介绍请参考谷歌黑板的数学之美12-余弦定律和新闻分类

　　2.数据指纹

　　当搜索引擎通过相似度采集文章时，需要判断是否是重复的文章。经常使用数据指纹。数据指纹有很多算法。常见的如文章提出的标点符号，为了对比，你很难想象有两个不同的文章，标点符号是一致的。还有一个比较向量，就是TF词频（关键词密度）等等来判断。

　　这时候，你可以想象现在很多伪原创工具只是取代了关键词。你认为替换关键词后，标点指纹是一样的，甚至TF词的频率也不变。还有一段文章的重拍。这确实是标点符号一团糟，但向量和词频问题仍然存在。那么你可以想象这样的伪原创工具的价值。（可能对百度有用）

　　3.代码噪声

　　以上都是基于一个条件，即搜索引擎需要知道文章是什么，因为每个网站都有不同的模板和不同的代码，各种信息混杂在一起。如果能够找到文本是搜索引擎必须处理的第一件事。

　　一般谷歌会区分代码的布局和噪声比，哪些是导航，哪些是文本，可以忽略一些典型的代码。所以我们在做模板的时候一定要注意。这里有个纠结点，就是降低整个页面的杂音，方便搜索引擎确认文本，但是文本区域要适当晾干，增加搜索引擎识别重复性的难度。