基于典型数据集的数据预处理方法对比分析
李颜平1
吴刚2
1.南开大学 统计与数据科学学院, 天津3000712.东北大学 计算机科学与工程学院,沈阳110004
摘要：针对多种数据预处理方式及其组合如何提升模型拟合效果这一问题,基于UCI Machine Learning Repository典型数据集,分别利用20种变量处理方式和4种变量选择方法对数据预处理,并对模型拟合效果对比分析,分别考查了多种数据预处理方式及其组合对常见分类模型和回归模型的影响.通过对实验结果的分析讨论,提出一种启发式算法,根据数据特征、模型特点以及研究问题种类等信息推荐数据预处理方法.在更广泛的数据集上的实验结果表明,该算法所推荐的数据预处理方法可以一定程度上提升模型拟合效果,节省手工选取数据预处理方法的开销.
关键词：数据预处理正态化归一化哑变量方差分析卡方检验互信息Copula熵
分类号：TP306(计算技术、计算机技术)
资助基金：国家重点研发计划(2019YFB1405300)
论文发表日期：2022-03-25
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：8( 185-192 )
英文信息