搜索引擎“猜”透人心，NLP届的半壁江山

　　

搜索引擎“猜”透人心，NLP届的半壁江山

　　

　　聪明的东西

　　作者|

　　编辑|

　　如果您在上搜索“如何在没有道路的山上停车”，那么会告诉您什么？

　　如果是两年前，该网页可能会教您如何停车或如何在山上停车，因为它检测到关键字“ ”和“ ”而忽略了看似微不足道的小词“ no”。

　　但是现在，它可以在页面上最显眼的位置，直接向您提供您最关心的问题：如何在没有车道的山坡上停车。因为它不仅学会找到这些关键词，而且学会理解这些词之间的联系。

　　

　　在搜索引擎“猜测”人们心中的背后，是的BERT模型逐渐开始理解人类语言。

　　今年10月，在“”活动中介绍了AI领域的数千个新应用程序，包括BERT模型的新开发：它已应用于上几乎所有英语查询，以及范围应用范围也扩展到了70种语言，去年的这个时候，在英语查询中使用BERT的比例还没有超过10％。

　　使用率提高了十倍，发现的语言数量已增加到70多种...自2018年问世以来，硬技术赋予BERT``超人''语言理解能力， NLP会话（自然语言处理，以下简称NLP）具有什么样的“地震状态”？

　　今天，让与您一起走过BERT在过去两年中的先进之路，并了解NLP行业目前的一半。

　　一、出生并上升，是BERT发展的历史

　　伯特最杰出的“荣耀时刻”是在2018年：它主导了机器理解测试，席卷了其他10项NLP测试，并实现了“在各个方面都超越人类”的成就。

　　这是业界公认的机器阅读理解顶级测试，主要检查EM和F1这两个指标。

　　

　　EM是指模型答案与标准答案之间的匹配程度； F1表示模型的召回率和准确性。在这两个项目上，BERT的得分分别为8 7. 433和9 3. 160，超过了人类的8 2. 3和9 1. 2。许多研究人员认为这是自然语言领域的一项重大成就。 ，将改变NLP研究的方式。

　　为什么BERT这么好？

　　然后我们首先要看一下模型如何“学习语言”。

　　模型与人类相同。在说和读之前，它还需要记住单词并学习语法，但是与其通过上下文理解单词的含义，不如将单词转换为可以计算的向量或矩阵，然后通过神经。网络计算功能权重学习“语法”以“理解”人类语言。

　　BERT于2018年出生。全名是。从其名称的角度来看，BERT是基于模型的双向编码器。

　　该模型起源于机器翻译领域，放弃了递归神经网络（RNN）中的递归网络结构方法，使用注意力机制构造每个单词的特征，并通过分析交互来获取每个单词的信息字之间的特征权重。

　　基于注意力的模型不仅关注单个单词，而且关注单词之间的关系，这比简单提取单词向量更“容易接受”。

　　

　　在解决了“记住单词”的问题之后，下一步就是学习语法。

　　BERT名称中嵌入的双向代码是其答案。

　　如下图所示，GPT模型从左到右使用，即通过分析上述内容获得了下一个单词的特征权重，但以下内容无法验证前一个单词的含义，并且ELMo使用两个经过独立训练的方向结果进行级联以生成下游任务特征。

　　

　　▲BERT与GPT和ELMo的比较

　　但是BERT不仅可以同时执行双向预测，还可以通过上下文进行全方位预测。

　　在BERT出现之前，NLP大楼上方有两个乌云：标记数据集不足和结果准确性低。

　　前者BERT是通过在无标签数据集中进行无监督学习来解决的；后者，则通过加深层数和双向编码来完善BERT。

　　他出生时就有重大事件的“记录”。两年的实际战斗经历了无数风吹雨打。当今的BERT不仅是学术界的一个里程碑，而且在广阔的实际应用领域中还有许多工作要做。

　　二、两年来，BERT的先进历史

　　要在网络搜索中称呼风吹雨打，的真正能力当然比BERT更重要。它用于搜索引擎优化，反垃圾邮件和著名的网页排名算法...每个小模块都有其自己的作用。乔布斯是搜索的“最强大的大脑”。

　　

　　BERT不到一岁，即2019年10月15日，他正式加入搜索的算法头脑，在美国接受了10％的英语查询。

　　“深层网络”和“双通道” BERT不仅可以“猜测*敏*感*词*”，而且还可以识别错误。

　　根据的统计信息，每十次搜索中都会有一个拼写错误。如下图所示，用户想要搜索但输入错误，但是BERT可以绕过此错误并直接识别用户的意图并提供餐厅的位置。

　　

　　两个月后，BERT开始用70多种语言进行搜索任务。

　　一年后，BERT在搜索中使用了将近100％。凭借其出色的理解能力，它取代了上一代的查询工具，成为搜索大脑的王牌。

　　这种“高分高能量”性能的背后是BERT模型的无声改​​进。

　　2019年12月，通过更有效地分配模型容量并简化隐藏层中的参数和冗余检查，BERT减少了计算量，同时提高了性能并将其升级到更轻的重量。

　　2020年3月，受 （GAN）的启发，BERT改进了预训练方法并减少了模型训练的时间，从而可以通过较少的计算获得相同的文本识别效果，并得出模型。

　　2020年8月，BERT中引入了多语言嵌入式模型，以实现不同语言之间的相互翻译，从而使用户可以在更大范围内搜索有效信息。

　　2020年10月，BERT致力于减少模型本身的“偏见”，使用模型评估指标来调整预训练模型中的参数，以减少搜索过程中可能发生的性别歧视。

　　从10％到100％，天生具有满分的BERT并没有为自己的桂冠而休息。相反，它不断地适应时代的需求，一次又一次地更新自身，并使用更少的培训时间和更少的计算来获得更好的结果。为了获得卓越的性能。

　　今年10月，宣布了BERT在搜索领域的表现。除了扩大应用范围和适用语言之外，BERT还将的学术搜索准确性提高了7％。

　　还表示，将来，它将使用BERT模型继续完善搜索算法，扩大搜索范围，并提高搜索的准确性。

　　三、 BERT揭开序幕，一百种思想流派争夺

　　BERT的贡献远不止是提高搜索性能或获得“机器超越人类”的称号，而是作为一种高度通用的通用模型，为将来的NLP会议打开了光明的研究道路。

　　

　　▲网络

　　以BERT为分界线，NLP字段可分为动态表示模型时代（n）和深度动态表示模型时代（）。在以前的时代，缺少带注释的数据集和单向编码器限制了模型的可用性。可扩展性；在后一个时代，根据BERT开发的方法，“分支”已成为NLP类的一半。

　　改进BERT的方法有数千种，大致可以分为两个方向：一种是垂直方向，通过改进图层的结构或调整参数，可以使用更轻量级的模型，例如前面提到的模型。 ， 可以获得;这是垂直方向。通过在BERT模型中扩展其他算法模型，可以扩展BERT模型的功能，例如受GAN影响而诞生的模型。

　　当BERT逐渐发挥影响力并实现应用程序着陆时，NLP类的新秀也会轮流出现。

　　2019年出现的GPT-3和2020年出现的GPT-3是打破围城的两名将军。

　　在BERT的基础上，添加了一种自动回归的预训练方法，获得了一个能够很好地理解语义和生成语义的模型，弥补了BERT模型在长文本阅读和文本生成方面的不足。

　　GPT-3更具侵略性。作为其第三代深度语言学习模型，它具有1,705亿个参数，是上一代模型GPT-2的100倍。经过5000亿个单词的预训练，无需进行微调即可在多个NLP基准测试中获得最高分数。

　　

　　同时，GPT-3还解决了BERT模型的两个问题：对标记数据的依赖和对训练数据集的过度拟合，旨在成为更通用的NLP模型。

　　GPT-3基于更大的数据集和更多参数，不仅可以搜索网络，还可以自动回答问题，聊天，写小说，写分数甚至编程。

　　在当前的调试阶段，GPT-3还暴露出许多问题，包括仇恨言论，错误信息等，因此即使使用了NLP行业中最强大的反响，它目前也无法像其前身一样降落BERT。应用为人类带来价值。

　　结论：在NLP的新时代，BERT并不缺

　　自然语言处理（NLP）领域中有许多细分：文本分类，机器翻译，阅读理解，机器人聊天...每个子主题都对应于人工智能在现实生活中的实际应用：网络搜索，自动推荐，智能客户服务...

　　如何使人工智能真正地进入我们的生活，首先要解决的问题是如何使机器真正地了解我们想要的东西。

　　BERT使我们迈出了一大步。基于自我监督学习来处理未标记的数据，然后通过双向编码理解其含义，BERT打破了以前需要对训练数据进行标记的“魔咒”，并充分利用了大量未标记的数据。是NLP会议中的一个里程碑式的创新。

　　从诞生，发展到一系列语言模型的推导，已经两岁的BERT花费时间证明了其巨大的潜力。也许在将来，它将被集成到新的应用程序中，并给我们带来意想不到的AI革命。

　　参考资料：

　　特别声明：上述内容（包括图片或视频，如果有的话）由自媒体平台“网易”的用户上传和发布。该平台仅提供信息存储服务。