原创智能优化,原创度检查,一键采集,文章组合(PAI-AutoML调参服务2.0版本在PAI各区域服务全量上线)
优采云 发布时间: 2022-04-20 02:25原创智能优化,原创度检查,一键采集,文章组合(PAI-AutoML调参服务2.0版本在PAI各区域服务全量上线)
PAI-AutoML 参数调整服务是让用户通过算法自由调整算法参数。自 2018 年 8 月 PAI-AutoML1.0 版本发布以来,该功能已帮助众多中小型 PAI 用户提高模型的准确性,并获得了良好的反馈。
PAI-AutoML1.0版本介绍文章:为了进一步提升该服务的能力,PAI今天发布了AutoML调参服务2.0版本,目前全网开放PAI 全方位在线服务的领域。
AutoML2.0 版本中将收录以下功能:
典型用户场景
一家公司的主营业务是广告DSP平台。对于一家广告 DSP 公司来说,CTR 估算的准确性是收入的生命线。CTR估计算法是机器学习领域的一种二分类算法,目的是通过用户画像判断投放给用户的广告是否会被点击。
如果二分类算法在 PAI 平台上使用 GBDT 或 RF 算法,则需要进行大量的参数调整,且每个参数的定义域较宽。手动手动调整很难锁定最优参数组合。如下图所示,仅对于树的数量,有[1,10,000]的10,000个参数可能性。
使用 PAI-AutoML 工具,只需要设置每个参数的大概范围,就可以通过参数调优算法自动找到最优的参数组合:
收入方面,假设用户日广告量为1000万次,使用AutoML前的CTR预估准确率为0.7%,即1000万条广告将获得7万次点击。如果通过 AutoML 参数调整功能将 CTR 估计准确率提高到 0.8%,则可以帮助平台每天增加 10,000 次点击。假设每点击一则广告平台收入为1元,则平台日新增收入将增加1万元,年直接经济效益将超过100万元。
盒子外面
目前PAI-AutoML功能已经全面上线,进入PAI-STUDIO页面即可,地址:
新建项目,在首页模板中找到“Recommendation based on object features”模板:
点击控制面板中的 AutoML 功能开始试用:
详细说明
在 2.0 版本中,参数调优算法的类型从 4 种增加到 7 种。每种算法的详细信息如下:
算法名称说明
高斯(高斯算法)
高斯过程是一种非参数贝叶斯模型。高斯过程作为一种经典算法,在超参数优化领域得到了广泛的应用。它通过不断观察超参数配置的性能来拟合代理模型,然后通过模型的预测能力来加强决策,使其在有限的试验次数中更有目的地选择合适的超参数结果。
样本(采样算法)
该算法是PAI团队和达摩院自主研发的算法。对于海量数据的实验,实际上只需要一部分数据就可以对一组超参数得到的最终结果进行估计。采样算法利用了这一特性,结合PBT算法的思想,在增加选择的超参数数量的同时逐渐提高采样率,不仅可以实现更广泛的探索,还可以实现更快的加速
进化优化器
该算法是PAI团队基于PBT理论自主研发的算法。EvolutionaryOptimizer 算法将参数调整问题视为一个多轮迭代问题,逐步探索最优解。其中,“探索样本数”表示每次迭代的样本数,“探索次数”表示迭代次数,“收敛系数”控制每次迭代的步长。在迭代过程中,EvolutionaryOptimizer 会在每一轮后丢弃不满意的探索样本,并在探索样本集中扩展更多效果更好的探索样本,形成下一轮计算探索样本集。以这种方式迭代,直到完成迭代轮数。
PBT(基于人群的培训)
PBT是一类基于种群概念的进化算法。它将超参数配置视为种群,将搜索过程视为动态环境,在不断迭代中优胜劣汰,最终获得更好的性能结果。这种算法概念简单,能适应不同的数据结构,在深度学习模型的训练中取得了不错的效果。
网格搜索
网格搜索调参方法将参与调参的各个参数按比例分成等份,随机组合切割后的参数生成参数个数候选集进行计算比较。
随机搜索
随机搜索参数调整方法,在各个参数空间中随机采样组合形成参数候选集,对候选集进行计算比较
用户定义
用户自定义参数组合
原创链接