HDAS：异构集群上Hadoop＋框架中的动态亲和性调度

	HDAS：异构集群上Hadoop＋框架中的动态亲和性调度
	何文婷; 崔慧敏; 冯晓兵
	2016
发表期刊	高技术通讯
ISSN	1002-0470
卷号	26.0 期号:004 页码:333
摘要	针对现有异构集群的编程框架着重于异构资源的利用，没有充分考虑共享资源竞争导致作业完成时间延长的情况，基于Hadoop＋框架和异构任务模型，提出并实现了异构动态亲和性调度（HDAS）算法，该算法利用Hadoop的心跳机制监测各结点上的资源使用情况和实时负载，对系统中的异构资源用不同的策略计算与任务的亲和性，进行任务分派，使系统的资源利用更充分，从而降低共享资源竞争导致的任务延迟，提高系统的整体吞吐率，且提交到系统中的应用都会在启动后一定时间内被执行。对25种混合负载的试验表明，Hadoop＋框架使用HDAS相对于Hadoop的实现可获得平均21．9x的加速比，明显优于基于异构任务模型的调度策略（17．9x），并使其中21个负载的任务平均延迟不超过6％，在任务对系统资源需求多样性丰富的混合负载上优化效果明显。
关键词	MapReduce 异构 Hadoop＋亲和性调度
语种	英语
文献类型	期刊论文
条目标识符	http://119.78.100.204/handle/2XEOYT63/27535
专题	中国科学院计算技术研究所期刊论文_中文
作者单位	中国科学院计算技术研究所
第一作者单位	中国科学院计算技术研究所
推荐引用方式 GB/T 7714	何文婷,崔慧敏,冯晓兵. HDAS：异构集群上Hadoop＋框架中的动态亲和性调度[J]. 高技术通讯,2016,26.0(004):333.
APA	何文婷,崔慧敏,&冯晓兵.(2016).HDAS：异构集群上Hadoop＋框架中的动态亲和性调度.高技术通讯,26.0(004),333.
MLA	何文婷,et al."HDAS：异构集群上Hadoop＋框架中的动态亲和性调度".高技术通讯 26.0.004(2016):333.