Institute of Computing Technology, Chinese Academy IR
| 面向大数据处理的基于Spark的异质内存编程框架 | |
| 王晨曦1; 吕方; 崔慧敏; 曹婷; John Zigman; 庄良吉; 冯晓兵 | |
| 2018 | |
| 发表期刊 | 计算机研究与发展
 |
| ISSN | 1000-1239 |
| 卷号 | 55.0期号:002页码:246 |
| 摘要 | 随着大数据应用的发展,需要处理的数据量急剧增长,企业为了保证数据的及时处理并快速响应客户,正在广泛部署以Apache Spark为代表的内存计算系统.然而TB级别的内存不但造成了服务器成本的上升,也促进了功耗的增长.由于DRAM的功耗、容量密度受限于工艺瓶颈,无法满足内存计算快速增长的内存需求,因此研发人员将目光逐渐移向了新型的非易失性内存(non-volatile memory,NVM).由DRAM和NVM共同构成的异质内存,具有低成本、低功耗、高容量密度等特点,但由于NVM读写性能较差,如何合理布局数据到异质内存是一个关键的研究问题.系统分析了Spark应用的访存特征,并结合OpenJDK的内存使用特点,提出了一套管理数据在DRAM和NVM之间布局的编程框架.应用开发者通过对本文提供接口的简单调用,便可将数据合理布局在异质内存之中.仅需20%~25%的DRAM和大量的NVM,便可以达到使用等量的DRAM时90%左右的性能.该框架可以通过有效利用异质内存来满足内存计算不断增长的计算规模.同时,“性能价格”比仅用DRAM时提高了数倍 |
| 关键词 | 内存计算 Spark 异质内存 非易失性内存 编程框架 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/26501 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.大连大学 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 王晨曦,吕方,崔慧敏,等. 面向大数据处理的基于Spark的异质内存编程框架[J]. 计算机研究与发展,2018,55.0(002):246. |
| APA | 王晨曦.,吕方.,崔慧敏.,曹婷.,John Zigman.,...&冯晓兵.(2018).面向大数据处理的基于Spark的异质内存编程框架.计算机研究与发展,55.0(002),246. |
| MLA | 王晨曦,et al."面向大数据处理的基于Spark的异质内存编程框架".计算机研究与发展 55.0.002(2018):246. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [王晨曦]的文章 |
| [吕方]的文章 |
| [崔慧敏]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [王晨曦]的文章 |
| [吕方]的文章 |
| [崔慧敏]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [王晨曦]的文章 |
| [吕方]的文章 |
| [崔慧敏]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论