采集自动组合(华为诺亚开源了一个贝叶斯优化的库，求解表达式未知函数的极值问题 )

　　采集自动组合(华为诺亚开源了一个贝叶斯优化的库，求解表达式未知函数的极值问题

)

　　华为Noah开源了一个贝叶斯优化库，收录三个部分：Hebo、T-LBO、CompBO。

　　贝叶斯优化可以说是一种黑盒优化算法，用于求解表达式未知函数的极值问题。由于其强大的样本有效性，近年来得到了广泛的应用。研究人员可以用更少的迭代次数获得更好的结果，因此可用于机器学习模型算法的参数调整。

　　近日，华为Noah开源了一个新的贝叶斯优化库，可用于低维和高维领域的贝叶斯优化，主要包括：

　　项目地址：

　　何波

　　Hebo算法是华为诺亚方舟决策与推理（DMnR）实验室开发的贝叶斯优化库。该算法击败英伟达、IBM、Jetbrain等，以93.519分获得NeurIPS 2020人工智能国际峰会黑盒优化大赛冠军。

　　HEBO是与前5名竞争者差异最大的算法，以非常大的优势获胜。以下为比赛结果截图：

　　完整名单：

　　T-LBO 算法

　　算法来自论文《High-Dimensional Bayesian Optimization with Variational Autoencoders and Deep Metric Learning》，全42页，研究员来自华为诺亚方舟实验室。

　　论文地址：

　　研究人员提出了一种基于深度度量学习的方法，使用变分自编码器 (VAE) 在高维结构化空间中执行贝叶斯优化。通过扩展监督深度度量学习的思想，他们解决了高维 VAE 贝叶斯优化中一个长期存在的问题，即如何将判别隐式空间实现为归纳偏置。重要的是，研究人员仅使用先前工作中 1% 的标记数据就实现了这种归纳偏差，证明了所提出方法的面向样本的效率。

　　在实验中，研究人员在现实世界的高维黑盒优化问题（包括属性引导分子生成）上展示了 SOTA 结果。他们希望本文中的结果可以作为实现高效和高维贝叶斯优化的指导原则。

　　使用组合优化器进行贝叶斯优化 (CompBO)

　　这是一篇发表在机器学习研究期刊JMLR 2021上的论文，题目是“Are We Forgetting about Compositional Optimisers in Bayesian Optimisation?”，共78页。研究员来自华为英国研发中心。

　　贝叶斯优化为全局优化提供了一种面向样本的高效方法。在这个框架中，获取函数的最大化是决定性能的关键因素。但是，由于采集函数往往是非凸的，因此不容易优化，使其最大化变得复杂。

　　这篇华为论文对采集函数最大化的方法进行了全面的实证研究。此外，通过为流行的采集函数推导出一种新的但数学上等效的组合形式，研究人员将采集函数的最大化任务重新定义为组合优化问题，可以获得大量该领域的文献从中受益。他们特别强调了采集函数最大化组合方法在3,958个独立实验中的经验优势，其中包括组合优化任务和贝叶斯任务。

　　鉴于采集函数最大化方法的通用性，研究人员认为组合优化器的使用可以在当前贝叶斯优化应用的所有领域实现性能提升。