海量数据下基于Hadoop的分布式FP-Growth算法
朱颢东
薛校博
李红婵
孟颍辉
1.郑州轻工业学院 计算机与通信工程学院,河南 郑州,4500012.郑州轻工业学院 计算机与通信工程学院,河南 郑州,4500013.郑州轻工业学院 计算机与通信工程学院,河南 郑州,4500014.郑州轻工业学院 计算机与通信工程学院,河南 郑州,450001
摘要：针对大数据环境下的关联挖掘问题,采取两次扫描数据库,将事务添加到相互独立的数据分区的方式,对传统FP-Growth算法进行分布式改造,进而提出了基于Hadoop框架的分布式FP-Growth算法以实现海量数据的频繁模式FP挖掘.仿真结果表明,在数据处理量逐渐增大的过程中,该算法相比较传统算法其运行时间和内存消耗的优势愈加明显,当数据处理量达到70万条时,该算法比传统算法节省约2/3的运行时间,而内存消耗仅为传统算法的1/5.说明该算法在处理海量数据时,能够显著提高FP的挖掘效率并降低内存的消耗量.
关键词：FP-Growth算法Hadoop数据分区分布式计算
分类号：TP301(计算技术、计算机技术)
资助基金：国家自然科学基金(61501405)河南省科技计划(152102210149)河南省科技计划(152102210357)郑州轻工业学院校级青年骨干教师培养对象资助计划(XGGJS02)
论文发表日期：2018-09-01
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：7( 97-102,108 )
英文信息