原创文章自动采集(搜索引擎巨大的网络现状，让我们从信息匮乏信息多到无所适从)

　　原创文章自动采集(搜索引擎巨大的网络现状，让我们从信息匮乏信息多到无所适从)

　　互联网信息量巨大的现状，让我们从信息匮乏变成信息太多不知所措。一天中不断出现这么多信息，我们不断地扫描我们的各种屏幕。这些信息有价值吗？ , 值得一游。作为编辑，希望看到有价值的原创，百度也是一样。百度如何判断原创文章？

　　一、为什么搜索引擎要重视原创

　　1.1采集 洪水

　　来自百度的一项调查显示，80%以上的新闻和信息都是通过人工或机器转发采集，从传统媒体报纸到娱乐网站花边新闻，从游戏指南到对于产品评论，甚至大学图书馆发送的提醒，都有网站在制作机器采集。可以说，优质的原创内容是被采集包围的海洋中的一粒小米。通过搜索引擎搜索海中的小米，既困难又具有挑战性。

　　1.2提升搜索用户体验

　　数字化降低传播成本，工具化降低采集成本，机器采集混淆内容来源，降低内容质量。在采集的过程中，不经意或故意造成采集网页内容不完整、不完整、格式化或附有垃圾内容。这严重影响了搜索结果的质量和用户体验。搜索引擎重视原创的根本原因是为了提升用户体验。在这里，原创 是高质量的 原创 内容。

　　1.3 鼓励作者和文章

　　转载采集，分流了优质原创网站的流量，不再有原创作者姓名，直接影响优质网站原创 站长和作者收入。长此以往，会影响原创的积极性，不利于创新，不利于产生新的优质内容。鼓励高质量的原创，鼓励创新，给原创网站和作者合理的流量，促进互联网内容的繁荣，应该是搜索引擎的一项重要任务。

　　二、采集很狡猾，识别原创很难

　　2.1采集冒充原创，篡改关键信息

　　目前，在大量网站批量采集原创内容后，他们通过人工或机器的方式篡改作者、发布时间、来源等关键信息，假装是 原创 。这种冒充原创需要被搜索引擎识别并进行相应调整。

　　2.2内容*敏*感*词*，制造伪原创

　　使用自动文章*敏*感*词*等工具，“创建”一篇文章文章，然后安装一个醒目的标题。现在成本很低，必须是原装的。但是，原创必须具有社会共识的价值，而不是制作一个完全没有道理的垃圾，才算有价值、优质的原创内容。虽然内容独特，但不具备社会共识的价值。这种伪原创正是搜索引擎需要识别和打击的。

　　2.3 个不同的网页，难以提取结构化信息

　　不同的站点结构差异比较大，html标签的含义和分布也不同。因此，提取标题、作者、时间等关键信息的难度也比较大。提供全面、准确和及时的信息并不容易。在中国互联网目前的规模下，这并不容易。这部分需要搜索引擎和站长的配合才能运行得更顺畅。如果站长使用更清晰的结构将网页的布局告知搜索引擎，将使搜索引擎能够高效地提取原创相关信息。

　　三、百度识别原创路怎么走？

　　3.1成立原创项目组打持久战

　　面对挑战，为了提升搜索引擎的用户体验，为了让优质原创人原创网站得到应有的收益，为了推动中国互联网的进步，我们招募了大量人员组成原创项目组：技术、产品、运营、法务等。这不是临时组织，不是一个月和两个月的项目。我们准备打持久战。

　　3.2原创识别“起源”算法

　　互联网上有数百亿、数千亿的网页，原创的内容海阔天空。我们在百度大数据云计算平台上开发的原创识别系统，可以快速实现对所有中文互联网网页的重复聚合和链接点关系分析。

　　首先通过内容相似度聚合采集和原创，将相似的网页聚合在一起作为原创识别的候选集；

　　其次，原创候选集通过作者、发布时间、链接方向、用户评论、作者和站点历史原创情况、转发轨迹等数百个因素进行识别和判断。 原创网页；

　　最后利用价值分析系统判断原创内容的价值，然后适当指导最终排名。

　　目前，通过我们的实验和在线真实数据，“起源”算法已经取得了一些进展，解决了新闻、信息等领域的大部分问题。当然，还有更多原创其他领域的问题等着“Origin”解决，我们决心去。

　　3.3原创星火计划

　　我们一直致力于原创内容识别和排序算法的调整，但是在目前的互联网环境下，快速识别原创解决原创问题确实面临很大的挑战，计算规模数据海量，采集的方式层出不穷。不同站点的方式和模板存在巨大差异，内容提取复杂。这些因素都会影响原创算法的识别，甚至导致判断错误。这时候就需要百度和站长共同维护互联网生态环境。站长推荐原创的内容，搜索引擎会在一定的判断后优先处理原创的内容，共同促进生态的改善和鼓励原创，这就是“原创 Spark Project”，旨在快速解决当前的严重问题。另外，站长对原创内容的推荐将应用到“起源”算法中，帮助百度发现算法的不足，持续改进，自动识别原创的内容，识别更智能算法。

　　目前，原创 Spark Project也取得了初步成果。第一期对部分原创重点新闻网站的原创内容在百度搜索结果中给予原创标注、作者展示等，并在排名和交通。

　　最后，原创是一个需要长期改善的生态问题。我们将继续投入并与站长共同推动互联网生态的进步； 原创是一个需要大家共同维护的环境问题。我们应该做更多的原创，推荐更多的原创。百度将继续努力改进排序算法，鼓励原创内容，为原创作者和原创网站提供合理的内容排序和流量。