采集器的自动识别算法(搜索引擎巨大的网络现状，让我们从信息匮乏信息多到无所适从)

　　采集器的自动识别算法(搜索引擎巨大的网络现状，让我们从信息匮乏信息多到无所适从)

　　互联网信息量巨大的现状，让我们从信息匮乏到信息太多而不知所措。一天中不断出现这么多信息，我们不断地扫描我们的各种屏幕。这些信息有价值吗？值得我们参观。作为编辑，我想看到有价值的原创文章。百度也是一样。百度如何判断原创文章？

　　一、为什么搜索引擎应该重视原创性？

　　1.1 采集

泛滥

　　来自百度的一项调查显示，从传统媒体报纸到娱乐网站花边新闻，从游戏指南到产品评论，甚至大学图书馆发布的提醒，80%以上的新闻和信息都是人工复制或机器采集

的。它还通知所有站点都在进行机器采集

。可以说，优质的原创内容是一片被浩瀚采集

海洋包围的小米。通过搜索引擎在海中搜索小米既困难又具有挑战性。

　　1.2提升搜索用户体验

　　数字化降低了传播成本，工具化降低了采集成本，机器采集的行为混淆了内容来源，降低了内容质量。在采集

过程中，无意或有意地出现了网页内容不完整不完整、格式混乱、垃圾增加等问题，严重影响了搜索结果的质量和用户体验。搜索引擎重视原创性的根本原因是为了提升用户体验。这里所说的原创是高质量的原创内容。

　　1.3 鼓励原创作者和文章

　　转载和采集

分流了优质原创网站的流量，不再有原作者姓名，这将直接影响优质原创站长和作者的收入。长此以往，会影响原创者的积极性，不利于创新，不利于新的优质内容的产生。鼓励优质原创，鼓励创新，给予原创网站和作者合理的流量，促进互联网内容的繁荣，应该是搜索引擎的一项重要任务。

　　二、采集

是狡猾的，很难辨认原作

　　2.1 采集

冒充原创并篡改关键信息

　　目前，大量网站在批量采集原创内容后，通过人工或机器手段篡改作者、发布时间、来源等关键信息，冒充原创。这种冒充原创需要被搜索引擎识别并进行相应调整。

　　2.2 内容*敏*感*词*，创建伪原创

　　使用自动文章*敏*感*词*之类的工具“创建”一篇文章，然后安装一个醒目的标题，现在成本很低，而且必须是原创的。但是，原创性必须具有社会共识的价值，而不是做出无理的垃圾，才能算得上有价值的优质原创内容。虽然内容独特，但不具备社会共识的价值。这种伪原创正是搜索引擎需要识别和打击的。

　　2.3 不同的网页使得提取结构化信息变得困难

　　不同站点的结构大不相同，html标签的含义和分布也不同。因此，提取标题、作者、时间等关键信息的难度也大不相同。提供全面、准确和及时的信息并不容易。在中国互联网目前的规模下，这并不容易。这部分需要搜索引擎和站长的配合才能运行得更顺畅。如果网站管理员将网页布局以更清晰的结构通知搜索引擎，将使搜索引擎能够有效地提取原创

和相关信息。

　　三、百度如何识别原创？

　　3.1 组建原创项目组打持久战

　　面对挑战，为了提升搜索引擎的用户体验，为了获得优质原创网站的收益，为了推动中国互联网的进步，我们吸引了大量的人形成一个原创的项目团队：技术、产品、运营、法务等，这不是临时组织，不是一个月两个月的项目。我们准备打持久战。

　　3.2原创

识别“起源”算法

　　互联网上有数百亿、数千亿的网页，从中发现原创内容可以说是大海捞针。我们独创的识别系统，在百度大数据云计算平台上开发，可以快速实现对所有中文互联网网页的重复聚合和链接点关系分析。

　　首先，根据内容的相似度聚合采集

和原创，将相似的网页聚合在一起，作为原创识别的候选集；

　　其次，对于原创

候选集，通过作者、发布时间、链接方向、用户评论、作者和站点的历史原创性、转发轨迹等数百个因素对原创

网页进行识别和判断；

　　最后通过价值分析系统判断原创内容的价值，进而适当指导最终排名。

　　目前，通过我们的实验和真实的在线数据，“起源”算法已经取得了一些进展，解决了新闻、信息等领域的大部分问题。当然，还有更多其他领域的原创问题等着《Origin》去解决，我们也有心去。

　　3.3 原创 Spark 项目

　　我们一直致力于原创内容的识别和排序算法调整，但在目前的互联网环境下，快速识别原创、解决原创问题确实是一个很大的挑战。计算数据的规模巨大，面临的采集方式更是层出不穷。不同站点的建立在方法和模板、内容提取复杂等问题上存在巨大差异。这些因素都会影响对原创

算法的识别，甚至导致判断错误。这时候就需要百度和站长共同维护互联网生态环境。站长推荐原创内容，搜索引擎在一定判断后优先对待原创内容，共同推动生态改善，鼓励原创。这就是“Original Spark Project”，旨在快速解决当前面临的严重问题。此外，站长推荐的原创内容将应用到“原创”算法中，帮助百度发现算法的不足，不断改进，使用更智能的识别算法自动识别原创内容。

　　目前，原星火项目也已初见成效。部分重点原创新闻网站原创内容首期在百度搜索结果中被赋予原创标签、作者展示等，也实现了排名和流量的合理提升。.

　　最后，原创性是一个生态问题，需要长期改进。我们将继续投入并与站长合作，共同推动互联网生态的进步；原创性是一个环境问题，需要每个人维护。站长应该多做原创，推荐更多原创。百度我们将继续努力改进排名算法，鼓励原创内容，为原创作者和原创网站提供合理的排名和流量。