【原创文章】原创那点事发布日期:2018-11-06浏览次数:319
优采云 发布时间: 2020-08-12 06:38一、搜索引擎为何要注重原创 1.1 采集泛滥化 来自百度的一项调查显示,超过80%的新闻和资讯等都在被人工转载或机器采集,从传统媒体的报纸到娱乐网站花边消息、从游戏攻略到产品评测,甚至高校图书馆发的催还通知都有站点在做机器采集。可以说,优质原创内容是被包围在采集的汪洋大海中之一粟,搜索引擎在海中淘粟,是既艰辛又具有挑战性的事情。 1.2 提高搜索用户体验 数 字化增加了传播成
一、搜索引擎为何要注重原创
1.1 采集泛滥化
来自百度的一项调查显示,超过80%的新闻和资讯等都在被人工转载或机器采集,从传统媒体的报纸到娱乐网站花边消息、从游戏攻略到产品评测,甚至高校图书馆发的催还通知都有站点在做机器采集。可以说,优质原创内容是被包围在采集的汪洋大海中之一粟,搜索引擎在海中淘粟,是既艰辛又具有挑战性的事情。
1.2 提高搜索用户体验
数 字化增加了传播成本,工具化增加了采集成本,机器采集行为混淆内容来源增加内容质量。采集过程中,出于无意或有意,导致采集网页内容残缺不全,格式错乱或 附加垃圾等问题层出不穷,这早已严重影响了搜索结果的质量和用户体验。搜索引擎注重原创的根本缘由是为了提升用户体验,这里讲的原创为优质原创内容。
1.3 鼓励原创作者和文章
转 载和采集,分流了优质原创站点的流量,不再具属原创作者的名称,会直接影响到优质原创站长和作者的利润。长期看会影响原创者的积极性,不利于创新,不利于 新的优质内容形成。鼓励优质原创,鼓励创新,给予原创站点和作者合理的流量,从而促使互联网内容的繁荣,理应是搜索引擎的一个重要任务。
二、采集很狡猾,识别原创太艰辛
2.1 采集冒充原创,篡改关键信息
当前,大量的网站批量采集原创内容后,用人工或机器的方式,篡改作者、发布时间和来源等关键信息,冒充原创。此类假扮原创是须要搜索引擎辨识下来给以适当调整的。
2.2 内容*敏*感*词*,制造伪原创
利用手动文章*敏*感*词*等工具,“独创”一篇文章,然后安一个吸引眼珠的title,现在的成本也低得太,而且一定具有独创性。然而,原创是要具有社会共识价值的,而不是胡乱制造一篇根本不通的垃圾才能算做有价值的优质原创内容。内容其实奇特,但是不具社会共识价值,此类伪原创是搜索引擎须要重点辨识下来并给以严打的。
2.3 网页差异化,结构化信息提取困难
不同的站点结构化差别比较大,html标 签的涵义和分布也不同,因此提取关键信息如标题、作者和时间的难易程度差异也比较大。做到既提得全,又提得准,还要最及时,在当前的英文互联网规模下实属 不易,这部份将须要搜索引擎与站长配合好才能更顺畅的运行,站长们假如用更清晰的结构告知搜索引擎网页的布局,将使搜索引擎高效地提取原创相关的信息。
三、百度辨识原创之路怎么走?
3.1 成立原创项目组,打持久战
面对挑战,为了提升搜索引擎用户体验、为了让优质原创者原创网站得到应有的利润、为了促进英文互联网的前进,我们选派大量人员组成原创项目组:技术、产品、运营、法务等等,这不是临时组织不是1个月2个月的项目,我们做好了打持久战的打算。
3.2 原创辨识“起源”算法
互 联网动辄上百亿、上千亿的网页,从中挖掘原创内容,可以说是大海捞针,千头万绪。我们的原创辨识系统,在百度大数据的云计算平台上举办,能够快速实现对全 部英文互联网网页的重复聚合和链接指向关系剖析。首先,通过内容相像程度来聚合采集和原创,将相像网页聚合在一起作为原创辨识的候选集合;其次,对原创候 选集合,通过作者、发布时间、链接指向、用户评论、作者和站点的历史原创情况、转发轨迹等上百种诱因来辨识判定出原创网页;最后,通过价值剖析系统判定该原创内容的价值高低因而适当的指导最终排序。
目前,通过我们的实验以及真实线上数据,“起源”算法早已取得了一定的进展,在新闻、资讯等领域解决了绝大部分问题。当然,其他领域还有更多的原创问题等待“起源”去解决,我们坚定的走着。
3.3 原创星火计划
我 们仍然致力于原创内容的辨识和排序算法调整,但在当前互联网环境下,快速辨识原创解决原创问题确实面临着很大的挑战,计算数据规模庞大,面对的采集方式层 出不穷,不同站点的建站方法和模版差别巨大,内容提取复杂等等问题。这些诱因就会影响原创算法辨识,甚至造成判定出错。这时候就须要百度和站长共同努力来 维护互联网的生态环境,站长推荐原创内容,搜索引擎通过一定的判定后优待原创内容,共同推动生态的改善,鼓励原创,这就是“原创星火计划”,旨在快速解决 当前面临的严重问题。另外,站长对原创内容的推荐,将应用于“起源”算法,进而帮助百度发觉算法的不足,不断改进,用愈发智能的辨识算法手动辨识原创内 容。
目前,原创星火计划也取得了初步的疗效,一期对部份重点原创新闻站点的原创内容在百度搜索结果中给与了原创标记、作者展示等等,并且在排序及流量上也取得了合理的提高。
最后,原创是生态问题,需要常年的改善,我们将持续投入,与站长牵手推进互联网生态的进步;原创是环境问题,需要你们来共同维护,站长们多做原创,多推荐原创,百度将持续努力改进排序算法,鼓励原创内容,为原创作者、原创站点提供合理的排序和流量。