MALK：一种高效处理大规模键值的MapReduce框架

	MALK：一种高效处理大规模键值的MapReduce框架
	郑亚松; 王达; 叶笑春; 崔慧敏; 徐远超; 范东睿
	2014
发表期刊	计算机研究与发展
ISSN	1000-1239
卷号	51.0 期号:012 页码:2711
摘要	内存申请是引发共享存储系统上MapReduce性能下降的主要瓶颈之一,特别是对于需要处理大量键值的应用尤为严重.为了解决此问题,提出了一种内存开销低、能高效处理大规模键值的MapReduce并行计算框架——MALK（high-efficient MapReduce for applications having large amount of keys）.MALK对于离散的大规模键值采用连续的存储管理方法,避免了大量小块内存的申请;通过更细粒度地处理Map阶段的任务和流水化Reduce阶段的任务,来减少系统运行过程中同时活跃的数据量,从而将应用程序对内存的需求控制在一个较小的范围内;并提出一种Hash表的复用机制,通过复用Hash表的存储空间来避免流水过程中Hash表内存的重复申请;MALK还综合考虑了任务的粒度和数量对任务管理开销和整体性能的影响,把Reduce阶段的任务数量设成对系统性能最优的值.实验结果表明：相对于Phoenix＋＋,MALK的性能最高可提升3.8倍（平均2.8倍）;在Map和Reduce阶段,MALK最多可节省95.2%和87.8%的存储空间;MALK在Reduce阶段还取得了更好的负载均衡,降低了L2和LLC Cache的缺失率.
关键词	MapReduce 面向具有大规模键值应用的MapReduce 大规模键值共享存储多核系统内存申请
语种	英语
文献类型	期刊论文
条目标识符	http://119.78.100.204/handle/2XEOYT63/29951
专题	中国科学院计算技术研究所期刊论文_中文
作者单位	中国科学院计算技术研究所
第一作者单位	中国科学院计算技术研究所
推荐引用方式 GB/T 7714	郑亚松,王达,叶笑春,等. MALK：一种高效处理大规模键值的MapReduce框架[J]. 计算机研究与发展,2014,51.0(012):2711.
APA	郑亚松,王达,叶笑春,崔慧敏,徐远超,&范东睿.(2014).MALK：一种高效处理大规模键值的MapReduce框架.计算机研究与发展,51.0(012),2711.
MLA	郑亚松,et al."MALK：一种高效处理大规模键值的MapReduce框架".计算机研究与发展 51.0.012(2014):2711.