原创文章自动采集(百度工程师：百度原创识别系统快速实现中文互联网网页的重复聚合和链接指向关系分析)

　　原创文章自动采集(百度工程师：百度原创识别系统快速实现中文互联网网页的重复聚合和链接指向关系分析)

　　据百度工程师介绍，基于百度大数据云计算平台开发的百度原创识别系统，可以快速实现对所有中文网页的重复聚合和链接点关系分析。首先，通过内容相似度聚合采集和原创，将相似的网页聚合在一起，作为原创标识的候选集；其次，对于原创的候选集，通过作者发布时间、链接方向、用户评论、作者和站点历史、原创情况、转发轨迹等数百个因素，得到用于识别和判断原创网页；最后，使用价值分析系统确定原创内容的价值，然后适当指导最终排名。同时，LEE表示，通过实验和网上真实数据，百度的原创识别“起源”算法取得了一定进展，解决了新闻、信息等领域的大部分问题。下面简单介绍一下原创文章算法的具体细节。

　　一、搜索引擎为什么要重视原创

　　1.1 采集 洪水

　　来自百度的一项调查显示，80%以上的新闻和信息都是通过人工或机器转发采集，从传统媒体报纸到娱乐网站花边新闻，从游戏指南到产品评论，甚至大学图书馆发送的提醒有网站做机器采集。可以说，优质的原创内容是被采集包围的海洋中的一粒小米。通过搜索引擎搜索海中的小米，既困难又具有挑战性。

　　1.2 提升搜索用户体验

　　数字化降低了传播成本，工具化降低了采集的成本，机器采集的行为混淆了内容来源，降低了内容质量。在采集的过程中，不经意或故意造成采集网页内容不完整、不完整、格式化或附有垃圾内容。这严重影响了搜索结果的质量和用户体验。搜索引擎重视原创的根本原因是为了提升用户体验。这里，原创是高质量的原创内容。

　　1.3 鼓励 原创 作者和 文章

　　转载和采集引流优质原创网站流量，不再有原创作者姓名，直接影响优质原创的收益@> 网站管理员和作者。长此以往，会影响原创的积极性，不利于创新，不利于产生新的优质内容。鼓励优质原创，鼓励创新，给原创网站和作者合理的流量，促进互联网内容的繁荣，应该是搜索引擎的一项重要任务。

　　二、采集很狡猾，很难辨认原创

　　2.1 采集冒充原创，篡改关键信息

　　目前，在大量网站批采集原创内容后，他们通过人工或机器方式篡改作者、发布时间、来源等关键信息，并伪装成成为原创。这种冒充原创需要被搜索引擎识别并进行相应调整。

　　2.2 内容*敏*感*词*，制造伪原创

　　使用自动文章*敏*感*词*等工具“创建”一篇文章文章，然后安装一个醒目的标题，现在成本很低，而且必须是原创的。但是，原创必须具有社会共识的价值，而不能只是制造一个完全不讲道理的垃圾，才算有价值、高质量的原创内容。虽然内容独特，但不具备社会共识的价值。这种伪原创正是搜索引擎需要识别和打击的。

　　2.3 不同的网页使得提取结构化信息变得困难

　　不同站点的结构大不相同，html标签的含义和分布也不同。因此，提取标题、作者、时间等关键信息的难度也大不相同。提供全面、准确和及时的信息并不容易。在中国互联网目前的规模下，这并不容易。这部分需要搜索引擎和站长的配合才能运行得更顺畅。如果站长使用更清晰的结构将网页的布局告知搜索引擎，将使搜索引擎能够高效地提取原创相关信息。

　　原创 是一个环境问题，需要大家共同维护。站长应该多做原创，多推荐原创。百度将继续努力改进排序算法，鼓励原创的内容，为原创作者和原创网站提供合理的排名和流量。