Hadoop平台下实现关联规则挖掘的优化算法
潘俊辉
张强
王辉
王浩畅
1.东北石油大学 大庆 1633182.东北石油大学 大庆 1633183.东北石油大学 大庆 1633184.东北石油大学 大庆 163318
摘要：目前如何从互联网上的海量数据中挖掘出有用的信息已经成为一个重要的研究方向,随着云计算的出现,分布式关联规则挖掘算法将能够更有效地解决当前的问题.论文针对关联规则挖掘的Apriori算法效率低的缺点,同时根据Hadoop平台对矩阵进行处理时所具有的优点,提出了一种Hadoop平台下的基于压缩矩阵的关联规则优化算法.该算法首先使用MapReduce计算模型对事务数据库进行分块,然后使用基于压缩矩阵的优化算法进行挖掘,最后对挖掘的结果进行合并操作,得到频繁项集.通过实验可得优化后的算法比传统算法在运算时间上有极大的提高.
关键词：Hadoop关联规则AprioriMapReduce
分类号：TP301.6(计算技术、计算机技术)
资助基金：国家自然科学基金(2020QNL-02)国家自然科学基金(61702093)
论文发表日期：2020-10-20
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：5( 2411-2414,2424 )
英文信息