并行MapReduce模型下的一种改进型KNN分类算法
韦泽鲲
夏靖波
付凯
申建
陈珍
1.空军工程大学信息与导航学院,西安,7100772.空军工程大学信息与导航学院,西安,7100773.空军工程大学信息与导航学院,西安,7100774.空军工程大学信息与导航学院,西安,7100775.空军工程大学信息与导航学院,西安,710077
摘要：大数据时代带来数据处理模式的变革,依托Hadoop分布式编程框架处理大数据问题是当前该领域的研究热点之一.为解决海量数据挖掘中的分类问题,提出基于一种双度量中心索引KNN分类算法.该算法在针对存在类别域的交叉或重叠较多的大数据,先对训练集进行中心点的确定,通过计算分类集与训练集中心点的欧式距离,确定最相似的3个类别,然后以余弦距离为度量,通过索引选择找出K个近邻点,经过MapReduce编程框架对KNN并行计算加以实现.最后在UCI数据库进行比较验证,结果表明提出的并行化改进算法在准确率略有提高的基础上,运算效率得到了极大提高.
关键词：大数据Hadoop数据挖掘双度量中心索引MapReduce
分类号：TN391(半导体技术)
资助基金：陕西省科技计划自然基金重点项目(2012JZ8005)
论文发表日期：2017-01-01
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 92-98 )
英文信息