基于贝叶斯优化和组合模型的XGBoost改进方法
骆海瑞1
刘军平1
黄祥国2
彭涛1
朱强1
胡新荣1
何儒汉1
1.湖北省服装信息化工程技术研究中心 武汉 430200;纺织服装智能化湖北省工程研究中心 武汉 430200;武汉纺织大学计算机与人工智能学院 武汉 4302002.湖北技术交易所 武汉 430200
摘要：回归预测中,模型和超参数对预测结果有着极大影响.合适的模型能够决定预测的效果,同时模型的超参数直接控制了训练的方式,采用合适的超参数能够进一步提升算法的精确度.为了提升回归预测精度和鲁棒性,提出了一种基于贝叶斯优化和组合模型的回归优化方法.首先利用贝叶斯优化快速的全局搜索能力,以交叉验证平均得分为目标函数值,对XGBoost算法和LightGBM算法进行调优,选择较好的超参数值建立BO_XGBoost和BO_LightGBM模型,接着利用序列最小规划算法确定BO_XGBoost和BO_LightGBM的模型权重并进行模型组合.在UCI公共数据集上进行的实验结果表明,该方法能够有效提高预测精度和鲁棒性.
关键词：贝叶斯优化组合预测回归分析XGBoostLightGBM序列二次规划
分类号：O141.4(数理逻辑、数学基础)
资助基金：国家自然科学基金(52176110)湖北省教育厅科学研究计划重点项目(D20191708)湖北省高校知识产权推进工程资助(GXYS2018009)
论文发表日期：2024-07-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：6( 1921-1926 )
英文信息