异构环境下Hadoop推测执行算法

doi:10.3969/j.issn.1006-2475.2015.08.016

计算机与现代化

异构环境下Hadoop推测执行算法

长沙理工大学经济与管理学院，湖南长沙410114

收稿日期:2015-03-10 出版日期:2015-08-08 发布日期:2015-08-19
作者简介:祁鹏年(1992-),男,青海海东人,长沙理工大学经济与管理学院本科生,CCF学生会员，研究方向:数据挖掘,嵌入式开发,Hadoop性能调优; 朱晋(1970-),男,湖南长沙人,副教授,本科,研究方向:信息技术,电子商务,ERP; 郝君慧(1993-),女,河北张家口人,本科生,研究方向:管理信息系统; 许丰平(1994-),男,福建泉州人,本科生,研究方向:数据挖掘,管理信息系统。

Hadoop Speculation Execution Algorithm in Heterogeneous Environments

School of Economics and Management, Changsha University of Science & Technology, Changsha 410114, China

Received:2015-03-10 Online:2015-08-08 Published:2015-08-19

摘要/Abstract

摘要： 研究和分析Hadoop推测执行算法在异构环境下性能较差的问题，在深入研究源码的基础上提出改进算法。该算法根据系统负载情况自动调节后备任务的执行，实现系统负载均衡。采用Zaharia提出的历史平均剩余完成时间来估计剩余时间，并使用剩余时间值大于20%的方法来判断掉队者，进而得到更精确的掉队者队列。该算法在一定程度上提高了异构环境中推测执行的性能。


关键词: Hadoop, 性能优化, 推测执行算法

Abstract: This article researches and analyzes the poor performance of the Hadoop speculation execution algorithm in heterogeneous environments, and puts forward a new improvement algorithm after researching source code deeply. The new algorithm can adjust the execution of backup task automatically to make it balanced according to system load condition, and get more precise stragglers queues using the way of putting the residual time value greater than 0.2 in task queue to judge the stragglers, based on the historical average completion time proposed by Zaharia. The new algorithm to a certain extent improves the performance of speculation execution in the heterogeneous environments.


Key words: Hadoop, performance optimization, speculation execution algorithm

中图分类号:

TP393.02

祁鹏年,朱晋,郝君慧,许丰平. 异构环境下Hadoop推测执行算法[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2015.08.016.

QI Peng-nian, ZHU Jin, HAO Jun-hui, XU Feng-ping. Hadoop Speculation Execution Algorithm in Heterogeneous Environments[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2015.08.016.

参考文献

［1］ Apache Software Foundation. Hadoop 0.20.2 API［DB/OL］. http://hadoop.apache.org/common/docs, 2015-03-01.
［2］ Tom White. Hadoop权威指南［M］. 周敏奇,王晓玲,译. 2版. 北京:清华大学出版社， 2011.
［3］陈国良. 并行计算［M］. 北京:高等教育出版社， 2003.
［4］陆嘉恒. Hadoop实战Hadoop Action［M］. 北京:机械工业出版社， 2011.
［5］ Anderson T E, Culler D E, Patternson D A. A case for NOW［J］. IEEE Micro, 1995,15(1):54-64.
［6］李鑫. Hadoop框架的扩展和性能调优［D］. 西安:西安建筑科技大学， 2012.
［7］ Chuck Lam. Hadoop in Ation［M］. Manning Publications, 2010.
［8］曹英. 大数据环境下Hadoop性能优化的研究［D］. 大连:大连海事大学， 2013.
［9］赵书兰. 典型的Hadoop云计算［M］. 北京:电子工业出版社， 2013.
［10］韩晶. 大数据服务若干关键技术研究［D］. 北京:北京邮电大学, 2013.
［11］张密密. MapReduce模型在Hadoop实现中的性能分析及改进优化［D］. 成都:电子科技大学, 2010.
［12］沈案. 异构分布式系统中基于DVS的节能调度算法研究与实现［D］. 长沙:湖南大学, 2013.
［13］冯艳红. 实时多任务集成调度算法的研究［D］. 保定:华北电力大学, 2005.
［14］王峰. Hadoop集群作业的调度算法［J］. 程序员, 2009(12):119-121.
［15］周锋,李旭伟. 一种改进的MapReduce并行编程模型［J］. 科协论坛(下半月), 2009(2):65-66.
［16］孙广中,肖锋,熊曦. MapReduce模型的调度及容错机制研究［J］. 微电子学与计算机, 2007,24(9):178-180.
［17］曹廷. 一个异构多核调度算法及其实现［D］. 西安:西安电子科技大学, 2011.
［18］余利华. 分布式数据存储和处理的若干技术研究［D］. 杭州:浙江大学, 2008.
［19］王意洁,孙伟东,周松,等. 云计算环境下的分布存储关键技术［J］. 软件学报, 2012,23(4):962-986.
［20］李建江,崔健,王聃,等. MapReduce并行编程模型研究综述［J］. 电子学报, 2011,39(11):2635-2642.

[1]	张军, 苏文浩 . 基于LZO的Hadoop文件归档优化方法[J]. 计算机与现代化, 2023, 0(06): 1-6.
[2]	许贤慧, 王淑营, 曾文驱. 面向工程数据检索的ElasticSearch索引优化策略[J]. 计算机与现代化, 2022, 0(02): 79-84.
[3]	刘露, 申国伟, 郭春, 崔允贺, 蒋朝惠, 伍大勇. 一种基于深度强化学习的Spark Streaming参数优化方法[J]. 计算机与现代化, 2021, 0(10): 49-56.
[4]	苏林萍，安然，李为，崔文超，张晓良. 基于Hadoop的电力运维审计系统的设计[J]. 计算机与现代化, 2020, 0(01): 49-.
[5]	周天绮. 基于移动通信大数据的城市人口空间分布统计[J]. 计算机与现代化, 2018, 0(05): 45-.
[6]	温贺平1,鲍晶晶2,柯居鑫1,刘树威1. 基于Hadoop的Lorenz超混沌加密算法设计[J]. 计算机与现代化, 2018, 0(03): 108-.
[7]	楚嘉琦1,2,刘从军1,2. 微信公众服务平台在电子政务中的应用[J]. 计算机与现代化, 2018, 0(02): 33-.
[8]	朱珊，艾丽华. 基于Hadoop的大规模图像存储与检索[J]. 计算机与现代化, 2017, 0(6): 61-66+83.
[9]	李程，柴小丽，谢彬，唐鹏. 一种Hadoop YARN的资源调度机制[J]. 计算机与现代化, 2017, 0(11): 29-34.
[10]	张进，冯钧，陆佳民. 基于Hadoop的空间关键字索引方法[J]. 计算机与现代化, 2017, 0(11): 76-83.
[11]	冯钧，徐维纲，冯读庆，陆佳民，徐欢. 面向海量水利数据的索引方法研究[J]. 计算机与现代化, 2017, 0(10): 29-35,41.
[12]	李娜，陈正鸣，吕嘉，刘春芳. HDFS访问中间件的事务设计与实现[J]. 计算机与现代化, 2017, 0(1): 46-50.
[13]	张延年. 基于RBF神经网络的无线信道退避算法优化设计[J]. 计算机与现代化, 2016, 0(12): 16-21.
[14]	孙立华1，胡牧1，孟庆强1，钱亚康1，王松2. 配网线损大数据高性能计算解决方案[J]. 计算机与现代化, 2016, 0(12): 42-46,50.
[15]	徐欢1,冯钧1,张鹏程1,唐志贤2,刘艺1,陈志飞1,张立霞1. 基于Hadoop的分布式CIF四叉树索引方法[J]. 计算机与现代化, 2016, 0(11): 12-19,24.

异构环境下Hadoop推测执行算法

Hadoop Speculation Execution Algorithm in Heterogeneous Environments

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价