针对不平衡数据分类的改进GBDT算法
李长洪1
郑凯2
林博宇1
1.华南师范大学计算机学院 广州 5106312.华南师范大学网络中心 广州 510631
摘要：许多传统的分类算法在处理不平衡数据时,训练出的分类器对多数类别样本预测准确率较高,而对少数类别样本的预测准确率较低.针对这一问题,提出一种改进的梯度提升决策树(GBDT)算法用于处理不平衡数据的二分类问题.数据层面,用自适应综合过采样(Adaptive Synthetic Sampling)技术增加少数类的样本数量.算法层面,将焦点损失函数(Focal Loss)引入到GBDT二分类算法中,增加模型对少数类样本的关注度.并且通过平衡化GBDT内部迭代时的每一次随机子采样,使基分类器的性能更稳定.在10组KEEL不平衡数据集上进行对比实验,实验结果验证了改进的可行性.并且用提出的改进算法与SMOTEBoost、RUSBoost、CUSBoost这三种流行的不平衡数据分类算法进行比较,实验结果表明所提改进算法在其中7组数据集上F1-measure值取得最高,其中6组数据集上G-mean值取得最高,验证了所提改进算法在处理不平衡数据的二分类问题时具有较好的效果.
关键词：不平衡数据梯度提升决策树自适应综合过采样焦点损失函数随机子采样
分类号：TP181(自动化基础理论)
资助基金：中国高校产学研创新基金(2020ITA05033)
论文发表日期：2024-07-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 1932-1937,1943 )
英文信息