Hadoop作业执行时间在线计算方法
沈记全1
易月婵1
张霄宏2
1.河南理工大学计算机科学与技术学院,河南焦作,4540002.河南理工大学计算机科学与技术学院,河南焦作454000;中国科学院深圳先进技术研究院,广东深圳518055
摘要：在Hadoop MapReduce环境中,如果能预知作业的执行时间,就可在资源分配、任务调度以及负载均衡过程中作出更合理的决策,改善系统性能.在分析Hadoop MapReduce作业执行模式后,提出了一种作业执行时间在线预测方法.该方法在结合历史信息的基础上,可根据作业在不同阶段的执行进度在线预测执行时间.该方法已在Hadoop-0.20.2中实现,并在一个包含19个节点的Linux集群中进行了验证.实验结果表明,在最好情况下,根据该方法预测的执行时间和真实执行时间的误差约2％.
关键词：作业执行时间在线预测方法分布式计算并行处理MapReduce
分类号：TP315(计算技术、计算机技术)
资助基金：国家自然科学基金(51274088)
论文发表日期：2014-01-01
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：5( 776-780 )
英文信息