一种基于负载代价的MapReduce等值连接优化算法
郑钤
向军
1.湖北民族学院信息工程学院,湖北恩施,4450002.湖北民族学院信息工程学院,湖北恩施,445000
摘要：MapReduce并行计算模型在大规模分布式数据处理中应用广泛,但该模型不能很好地支持连接操作,特别是面对倾斜数据时,原有的分区算法容易造成处理节点间的负载不均衡.针对这一问题,提出一种基于key代价的负载均衡等值连接算法,对Map端中间结果进行采样,根据采样结果计算每一key值的负载代价,并在此基础上,设计一种动态划分函数,对不同的key值按照负载代价均匀划分到各个计算节点,实现了负载均衡.实验结果表明,在同构集群下,提出的算法在负载均衡方面具有较好的效果.
关键词：MapReduce负载均衡等值连接key代价
分类号：TP311(计算技术、计算机技术)
资助基金：国家自然科学基金(61362012)
论文发表日期：2018-01-01
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：6( 342-347 )
英文信息