基于事件驱动的MapReduce类流量产生方法与网络评测

	基于事件驱动的MapReduce类流量产生方法与网络评测
	邵恩; 孙凝晖; 郭嘉梁; 元国军; 王展; 曹政
	2018
发表期刊	计算机学报
ISSN	0254-4164
卷号	41.0 期号:010 页码:2265
摘要	大规模网络结构设计是构建大规模分布式系统和E级高性能计算集群的核心技术之一，底层网络设计者需要结合顶层应用通信流量特征，进行网络结构选型与优化.不当的应用通信模型会引起网络结构设计与实际需求的背离，进而导致系统通信和整体性能的下降.传统基于“黑盒”数据分析的流量建模方法存在业务建模粒度粗和应用数据规模扩展性差等缺陷.该研究引入模拟业务内部逻辑的“事件驱动”思想，提出一种针对主流计算模式MapReduce进行流量建模与流量产生方法.与真实应用流量的对比评测显示，该方法能够准确体现MapReduce计算业务所产生网络流量的特征.基于正确的流量模型，该文对四种主流数据中心网络进行了性能模拟分析.结果表明：相较负载随机均匀分布流量，同一种网络在负载MapReduce特性流量时性能将下降超过30%，因此特性流量能更加明显地展现网络拥塞与瓶颈问题.仿真实验所得到的有关网络性能瓶颈、拓扑可扩展性以及网络性价比的结论，为大规模数据中心网络选型和性能优化提供了新的依据.
关键词	分布式系统 MapReduce 数据中心网络事件驱动大规模网络模拟
语种	英语
文献类型	期刊论文
条目标识符	http://119.78.100.204/handle/2XEOYT63/31872
专题	中国科学院计算技术研究所期刊论文_中文
作者单位	中国科学院计算技术研究所
第一作者单位	中国科学院计算技术研究所
推荐引用方式 GB/T 7714	邵恩,孙凝晖,郭嘉梁,等. 基于事件驱动的MapReduce类流量产生方法与网络评测[J]. 计算机学报,2018,41.0(010):2265.
APA	邵恩,孙凝晖,郭嘉梁,元国军,王展,&曹政.(2018).基于事件驱动的MapReduce类流量产生方法与网络评测.计算机学报,41.0(010),2265.
MLA	邵恩,et al."基于事件驱动的MapReduce类流量产生方法与网络评测".计算机学报 41.0.010(2018):2265.