个性化商品搜索相关研究梳理

　　个性化商品搜索相关研究梳理

　　中单词的表示

　　. 从

　　的语言模型中生成

　　的概率即可定义为

　　通过优化该概率，从而优化

　　的表示。

　　2）其次，利用查询中的关键词，来学习查询的表示。本文通过在平均词嵌入的基础上加入非线性映射，得到查询向量：

　　3）模型的第三部分在于建模用户的购买意图，并以此来预测购买的商品。作者认为用户的购买意图

　　由查询意图

　　和用户偏好

　　两部分组成，并假设

　　，

　　不相关，通过二者的凸组合得到购买意图

　　此时用户购买商品的概率即为

　　将上述三个模块组合，通过极大化被观察到的用户-查询-商品三元组的似然，学习到三者的分布式表示，即最终的优化目标为：

　　2. Attentive Long Short-Term Preference Modeling for Personalized Product Search (TOIS 2019)

　　本文作者指出，在建模用户偏好时，需要同时考虑长期偏好以及短期偏好。前者指用户固有的，且相对稳定的购买偏好，如喜欢的颜色，合适的尺寸等，一般受个人背景潜移默化的影响。而后者指的是用户在较短时间内且变化频繁的偏好，受偶然事件的影响，如季节变化等。这二者都会影响用户当前的购买意图。为了同时建模这两类偏好，作者提出了 Attentive Long Short-Term Preference model(ALSTP). ALSTP通过两种注意力网络，分别学习长期，短期偏好及其与查询之间的相关性，使得模型能够正确的建模用户当前的购买意图。

　　总的来说，模型可以分为三个部分：短期偏好建模(ASTPM)，长期偏好建模(ALTPM)以及用户购买意图建模（QRI）。

　　1）首先是短期偏好建模，ASTPM通过近期购买的 m 件商品来表征短期偏好。具体来说，将用户最近购买的 m 件商品的表示

　　作为GRU模块的输入，并以其隐层

　　表示用户的短期偏好。然而这 m 件商品对于当前的查询来说并不是同样重要的，因此作者引入注意力机制，分别计算前 m 次查询与当前查询的相关性，得到最终的短期偏好

　　。

　　2）其次是长期偏好建模，长期偏好相对稳定，更新缓慢。ALTPM通过早期购买的一组商品来初始化长期偏好，并通过随后购买的商品对其更新。令

　　表示长期偏好，用最初购买的 m 件商品的表示来初始化，然后每购买 m 件商品就对其更新：

　　，其中

　　表示短期购买的 m件商品在GRU模块中最后一个隐藏状态。同时，针对长期偏好的不同方面，引入注意力机制得到长期偏好表示

　　。

　　3）最后是用户购买意图建模，将查询

　　，短期偏好

　　，长期偏好

　　拼接并输入至DNNs，得到购买意图

　　，则每个商品的得分即可由

　　计算，其中

　　为距离度量函数。

　　3. A Zero Attention Model for Personalized Product Search (CIKM 2019)

　　本文作者观察到个性化并不总是具有积极的影响。只有在个体偏好与群体偏好显著不同时，个性化模型才会优于非个性化模型。尽管引入个性化机制可以提供更多有关用户偏好的信息，但这也不可避免的引入了噪声，有时反而会损害检索质量。因此，确定何时以及怎样个性化是非常重要的。

　　作者通过大量预实验发现，个性化在商品搜索中的重要程度往往取决于查询及其与用户的购买历史之间的交互。为此，作者提出zero attention model (ZAM), 通过在用户的历史购买序列上应用注意力机制并允许注意力网络关注额外的零向量，成功的做到了不同程度的个性化。

　　具体来说，令

　　表示零向量，则用户

　　

　　即可表示为

　　其中

　　是查询

　　对零向量的注意力系数。

　　令

　　表示由

　　构成的向量，则上式可变形为

　　其中

　　是由用户历史购买的所有商品的表示组成的矩阵。从上式可以看出，这实际上是关于

　　的sigmoid函数。也就是说引入零向量实际上就是通过引入激活函数，动态的控制用户购买历史在当前搜索中的影响。此时，只有当用户历史购买商品与查询相关时也即用户对与当前查询相关的商品表现出显著的兴趣时，用户表示

　　才能起到作用。否则搜索将由查询向量

　　主导。从而使得ZAM能够在不同的搜索场景中进行不同程度的个性化。

　　4. A Transformer-based Embedding Model for Personalized Product Search (SIGIR 2020)

　　本文作者提出，尽管ZAM通过在注意力机制中引入零向量，实现了动态控制个性化的程度。但由于用户购买意图

　　仍建模为

　　。因此在ZAM中，个性化最多与查询相同重要。为此，作者提出TEM，通过Transformer结构来编码查询和历史购买商品，从而做到从无个性化到完全由个性化影响的动态调整。模型的整体结构如下所示：

　　具体来说，令

　　表示用户

　　的历史购买商品序列，通过将序列

　　输入到

　　层Transformer编码器中，用户的购买意图即可由查询

　　在第

　　层的输出向量表示，即令

　　Transformer编码器使得

　　计算了查询

　　以及历史购买商品序列之间的交互。并且通过学习编码器中的参数，进一步提升了个性化程度的调整范围，做到了从无个性化到完全由个性化影响的动态调整。

　　5. Explainable Product Search with a Dynamic Relation Embedding Model (TOIS 2019)

　　作者提出，搜索引擎和用户在认知商品的相关性方面存在一定差距。如果不对搜索结果加以解释，用户可能无法理解为什么搜索引擎会搜索出这些商品，导致搜索引擎实际效果不好。为此，作者提出Dynamic Relation Embedding Model (DREM). 通过联合建模不同用户和商品的知识以及静态和动态的关系来构建知识图谱。并以此来聚合多关系的产品信息，从而进行个性化搜索。最终在知识图谱上进行逻辑推断产生解释。

　　为了使DREM可以进行商品搜索，作者设计了一条特殊的边

　　来建模用户和商品间的关系。但很显然，这种关系是动态的。用户的购买意图在不同的搜索会话中是不同的，没有搜索上下文，就无法确定用户与商品之间的关系。为此，作者分别进行静态和动态的关系建模。并在建模动态关系时，以用户提交的查询文本作为搜索上下文进行建模。

　　DREM通过在知识图谱中寻找从

　　到

　　的路径，来解释搜索结果。但由于数据稀疏，这样的路径可能不存在，为此作者提出Soft Matching Algorithm (SMA)，通过Dijkstra算法以及计算匹配概率，找到最优的解释路径。

　　6. Structural Relationship Representation Learning with Graph Embedding for Personalized Product Search (CIKM 2020)

　　作者认为之前的一些工作没有利用到用户搜索场景下的结构信息。为此，作者提出一种新的方法：Graph embedding based Structural Relationship Representation Learning (GraphSRRL)，利用‘conjunctive graph patterns’进行图嵌入学习，从而学习到用户-查询-商品交互中的结构信息以及用户（查询，商品）之间的相似性。

　　作者定义了三类conjunctive graph patterns：

　　1）用户

　　在提出相同的查询

　　下购买相同的商品

　　

　　2）用户

　　在提出查询

　　下购买了商品

　　3）用户

　　分别提出查询

　　并购买了相同的商品

　　模型整体分为两个模块：图嵌入模块以及个性化搜索模块。在图嵌入模块中，通过定义映射算子和交叉算子，利用这三类特征来学习交互中的结构关系以及用户，查询，商品的embedding.而个性化搜索模块则利用学习好的嵌入表示作为输入进行个性化搜索。

　　7. IHGNN: Interactive Hypergraph Neural Network for Personalized Product Search (WWW 2022)

　　与GraphSRRL类似，作者认为现有的工作没有充分利用到隐藏在历史交互中的协同信号。并且作者认为GraphSRRL仅利用到自己设计的三类conjunctive graph patterns，这是远远不够的。为此，作者提出一个新的模型：Interactive HyperGraph Neural Network (IHGNN)。基于历史交互构建超图，并以此来编码协同信号，从而改进个性化搜索的效果。

　　如图所示，IHGNN共包括四个模块：

　　1）超图构建模块：基于user-product-query历史交互构建超图

　　，其中节点集

　　包含全部的商品，用户及查询，超边集

　　包含全部的

　　三元关系。

　　2）Embedding 生成模块：初始化节点的表示。

　　3）聚合模块：利用邻接点信息来优化embedding。由于构建的是超图，因此信息分两步传递。对于任一个节点，先将其邻接点的信息传递到相关的超边中，再利用超边的信息改进该节点的表示。值得一提的是，作者认为传统的线性聚合方式是不充分的。在个性化搜索中，邻居节点之间的交互是一个非常强的信号。比如一位用户提出查询“女士包”，并购买了“爱马仕”牌的包，通过query与product之间的交互，可以生成出一段对建模用户偏好非常有用的语义：“女士奢侈品牌”。为此，作者提出需要建模邻居节点之间的高阶特征交互。

　　具体来说，给定任一节点

　　，对于任一与它相接的超边

　　，先将邻接点

　　的信息传递到

　　中：

　　再将超边的信息传递给

　　:

　　4) 预测模块：利用学习到的embedding进行预测。GraphSRRL利用自己设计的conjunctive graph patterns进行学习，如用户

　　在提出相同的查询

　　下购买相同的商品

　　,则

　　应该具有类似的偏好。对于这样的特征，IHGNN也能提取：在embedding aggregation下，

　　的信息会同时传递给

　　，促使

　　相似。除此以外，IHGNN还能提取更多的结构信息，实验也表明IHGNN效果优于GraphSRRL.

　　8. Learning a Fine-Grained Review-based Transformer Model for Personalized Product Search (SIGIR 2021)

　　作者提出，现有的大多数个性化商品搜索模型都遵循着在语义空间表示和匹配用户购买意图以及商品的范式。在这种情况下，商品的得分仅能通过用户和商品级别的相似性来解释，而无法考虑细粒度的匹配，比如用户和商品的评论间的关系。因此，这些模型无法充分捕捉用户评论中体现的用户偏好以及商品评论中体现的商品特征之间的匹配关系。除此以外，尽管之前的一些工作尝试构建动态的用户表示，但是商品的表示一般都是静态的。在这种情况下，所有相关的商品评论都被认为同等重要，但这在面对不同的用户时显然是不合理的。

　　为此，作者提出了review-based transformer model（RTM）来解决上述问题。通过Transformer结构来编码查询，用户评论，商品评论组成的序列。此时RTM可以在用户和商品之间进行评论级别的匹配，而一个商品取得高分就可以通过一些有用的评论受到更高的关注来解释。

　　具体来说，令 q表示用户提交的查询，

　　，

　　分别表示