AccSMBO:一种基于超参梯度和元学习的SMBO加速算法

	AccSMBO:一种基于超参梯度和元学习的SMBO加速算法
	程大宁 1; 张汉平 2; 夏粉 2; 李士刚 3; 袁良 4; 张云泉 4
	2020
发表期刊	计算机研究与发展
ISSN	1000-1239
卷号	57 期号:12 页码:2596
摘要	为了利用最佳超参高概率范围和超参梯度,提出了加速的序列模型优化算法(sequential modelbased optimization algorithms,SMBO)---AccSMBO算法.AccSMBO使用了具有良好抗噪能力的基于梯度的多核高斯过程回归方法,利用元学习数据集的meta-acquisition函数.AccSMBO自然对应的并行算法则使用了基于元学习数据集的并行算法资源调度方案.基于梯度的多核高斯过程回归可以避免超参梯度噪音对拟合高斯过程的影响,加快构建较好超参-效果模型的速度.meta-acquisition函数通过读取元学习数据集,总结最佳超参高概率范围,加快最优超参搜索.在AccSMBO自然对应的并行算法中,并行资源调度方法使更多的并行计算资源用于计算最佳超参高概率范围中的超参,更快探索最佳超参高概率范围.上述3个技术充分利用超参梯度和最佳超参高概率范围加速SMBO算法.在实验中,相比于基于传统的SMBO算法实现的SMAC(sequential model-based algorithm configuration)算法、基于梯度下降的HOAG(hyperparameter optimization with approximate gradient)算法和常用的随机搜索算法,AccSMBO使用最少的资源找到了效果最好的超参.
关键词	AutoML SMBO black box optimization hypergradient metalearning parallel resource allocation AutoML技术 SMBO算法黑箱调优算法超参梯度元学习并行资源调度
语种	英语
文献类型	期刊论文
条目标识符	http://119.78.100.204/handle/2XEOYT63/37931
专题	中国科学院计算技术研究所期刊论文_中文
作者单位	1.中国科学院大学 2.智铀科技有限公司 3.苏黎世理工大学 4.中国科学院计算技术研究所
推荐引用方式 GB/T 7714	程大宁,张汉平,夏粉,等. AccSMBO:一种基于超参梯度和元学习的SMBO加速算法[J]. 计算机研究与发展,2020,57(12):2596.
APA	程大宁,张汉平,夏粉,李士刚,袁良,&张云泉.(2020).AccSMBO:一种基于超参梯度和元学习的SMBO加速算法.计算机研究与发展,57(12),2596.
MLA	程大宁,et al."AccSMBO:一种基于超参梯度和元学习的SMBO加速算法".计算机研究与发展 57.12(2020):2596.