一种基于MapReduce的C4.5决策树并行化算法
潘俊辉
王辉
张强
王浩畅
东北石油大学计算机与信息技术学院 大庆 163318
摘要：C4.5决策树是一种用于分类规则提取的有效算法,该算法在对中、小规模数据集进行处理时已取得不错的效果,但将其直接应用到大规模数据集上受到多方面的限制,而MapReduce框架对算法进行分布式实现是非常方便的.由此论文将MapReduce与C4.5决策树相结合,提出了一种基于MapReduce的C4.5决策树并行化算法(MRCTA),该算法通过保留C4.5决策树自身的优点,在决策树的节点的构造中首先利用MapReduce对其分裂属性进行并行计算,然后利用所得的最优分裂属性对数据采用分布式分割完成树子节点的生成,同时为了避免产生过度学习现象在构造中将树深和节点覆盖样本的个数和类别比例作为算法终止的条件.最后通过实验对算法的有效性和效率进行了比较和分析.
关键词：决策树分布式算法并行计算MapReduce
分类号：TP301.6(计算技术、计算机技术)
资助基金：大庆市科技局指导性科技项目(zd-2023-38)国家自然科学基金(61702093)
论文发表日期：2025-02-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：5( 327-331 )
英文信息