搜索引擎优化论文(机器学习排序算法中几个经典的模型-LambdaMART机)

　　搜索引擎优化论文(机器学习排序算法中几个经典的模型-LambdaMART机)

　　在本周的课程中，我们讨论了机器学习排序算法的几个经典模型。周一我们分享了排名支持向量机（RankSVM），这个算法的好处是模型是线性的，易于理解。周三我们谈到了梯度提升决策树，它长期以来一直被用作许多商业搜索引擎中的排名算法。

　　今天，我们分享这部分的最后一个经典模型：LambdaMART。这是微软在必应长期使用的模型，在机器学习排名领域也有不错的口碑。

　　LambdaMART 的历史

　　LambdaMART的提议可以说是“三步走”。

　　这里有一个中心人物，Christopher JC Burges。早年从牛津大学物理专业毕业后，博格斯获得了博*敏*感*词*。布兰代斯大学物理学博士。在来到贝尔实验室之前，他在麻省理工学院做了一个简短的博士后研究。停留14年。2000年，他来到微软研究院，从事机器学习和人工智能研究，直到2016年退休。可以说，博格斯领导的团队发明了微软搜索引擎必应的算法。

　　LambdaMART 的第一步来自一个名为 RankNet [1] 的想法。该模型发表在 ICML 2005 年，并在 10 年后获得了 ICML 的时间测试奖。这也是深度学习流行之前将神经网络用于*敏*感*词*商业应用的经典案例。

　　在 RankNet 之后，Boggs 的团队很快意识到 RankNet 并没有直接优化搜索的评估指标。因此，他们基于一个令人惊讶的发现[2]，提出了一种重要的 LambdaRank 方法。LambdaRank的进步在于算法开始与搜索的评价指标，即NDCG挂钩，可以大大提高算法的准确率。

　　在 LambdaRank 之后，Boggs 的团队也认可了使用“Gradient Boosting”的想法，尤其是当时雅虎流行的“Gradient Boosting Decision Tree”（GBDT）来训练排序算法，因此他们结合了 LambdaRank 的想法和 GBDT，开发了更具表现力的 LambdaMART[3]。LambdaMART 在雅虎排名学习大赛中获得最佳成绩。

　　RankNet的思想核心

　　要了解 LambdaMART，我们首先要从 RankNet 开始。其实有了排序支持向量机RankSVM的理论基础，RankNet就很容易理解了。RankNet 是一种与排序 SVM 非常相似的成对排序模型。也就是说，RankNet 试图正确地学习每对文档的顺序。那么，如何定义这个所谓的对文件的顺序呢？