搜索引擎主题模型优化(面向opendomain的聊天机器人)

　　搜索引擎主题模型优化(面向opendomain的聊天机器人)

　　面向开放领域的聊天机器人在学术界和工业界都是一个具有挑战性的课题。目前，有两种典型的方法：一种是基于检索的模型，另一种是基于seq2seq的生成模型。前者的答复是可控的，但不能处理长尾问题，而后者难以保证一致性和合理性

　　本期推荐的纸质笔记来自paperweekly社区用户@britin。结合检索模型和生成模型各自的优点，提出了一种新的融合模型alime-chat

　　Ali Xiaomi首先使用检索模型从QA知识库中找到候选答案集，然后使用细心的seq2seq模型对候选答案进行排序。如果第一个候选人的得分超过某个阈值，则将其作为最终答案输出，否则，将使用生成的模型生成答案

　　作者简介：britin，中国科学院物理硕士，主修自然语言处理和计算机视觉

　　■ 论文| alime chat：一个基于序列到序列和重库的聊天机器人引擎

　　■ 链接|

　　■ 作者| britin

　　论文动机

　　目前，大量的商业聊天机器人正在涌现。这种自然语言对话方式可以帮助用户回答问题，比传统僵化的用户界面更加友好。通常，聊天机器人由两部分组成：IR模块和生成模块。对于用户的问题，IR模块从QA知识库中检索相应的答案，生成模块使用预先训练过的seq2seq模型生成最终答案

　　然而，现有系统面临的问题是，对于一些长问题或复杂问题，无法在QA知识库中检索到匹配项，生成模块常常生成不匹配或无意义的答案

　　本文提出的方法将IR和生成模块聚合在一起，并使用seq2seq模型对搜索结果进行评估，从而达到优化效果

　　模型介绍

　　整个方案如图所示：

　　

　　首先利用IR模型从知识库中检索K个候选QA对，然后利用重库模型的评分机制计算每个候选答案和问题的匹配度。如果得分最高者大于预设阈值，则视为答案。如果小于阈值，则由生成模型生成答案

　　从词的层面对整个系统进行了分析

　　1.QA知识库

　　本文从在线真实用户服务日志中提取问答对作为QA知识库。过滤掉不收录相关关键词的QA，最后得到9164834对Q&A

　　2.IR模块

　　使用倒排索引方法将每个单词影射成一组收录该单词的问题，这些单词的同义词也会被索引。然后使用BM25算法计算搜索问题与输入问题之间的相似度，并从最相似的问题中提取答案

　　3.generation模型

　　生成的模型是一个attention seq2seq结构，如图所示：

　　

　　Gru用于根据问题生成答案，以计算生成单词的概率：

　　

　　添加上下文向量，由获得的α组成，α表示当前步骤的输入字与前一步骤的生成字之间的匹配度，匹配度由对齐模型计算

　　应注意，当每个QA的长度不同时，使用铲斗和填充机构。此外，使用softmax对词汇表中的单词进行随机抽样，而不是对整个词汇表进行随机抽样，以加快训练过程。波束搜索*敏*感*词*用于一次保持Top-k输出，以取代一次贪婪搜索一个输出

　　4.rerank模块

　　使用的模型与上述相同。根据输入问题对候选答案进行评分，平均概率用作评分函数：

　　

　　实验结果

　　本文对结果进行了详细的评价。首先，评估了重行模块的平均概率。然后对IR、generation、IR+rerank和IR+rerank+generation系统的性能进行了评估。系统和基线聊天机器人在a/b在线测试。最后，比较了该系统与已启动的聊天机器人之间的差异

　　不同重库模型的影响：

　　

　　不同模块组合的结果：

　　

　　结果与基线比较：

　　

　　文章评估

　　本文提出了一种将IR和生成模块相结合的注意seq2seq模型，以便对原创结果进行重新排序和优化。阿里已经把这件事交给了阿里小米

　　整个系统相对简单，满足业务需求。但是，由于功能设计过于简单，因此不排除依赖数据堆叠的系统。毕竟，阿里拥有大量的真实用户数据，因此算法的价值水平相对一般。如果没有适当的数据，可能很难达到预期的效果