Institute of Computing Technology, Chinese Academy IR
| 轻量级大数据运算系统Helius | |
| 丁梦苏; 陈世敏 | |
| 2017 | |
| 发表期刊 | 计算机应用
 |
| ISSN | 1001-9081 |
| 卷号 | 37.0期号:002页码:305 |
| 摘要 | 针对Spark数据集不可变，以及Java虚拟机（JVM）依赖环境引起的代码执行、内存管理、数据序列4E／反序列化等开销过多的不足，采用C／C＋＋语言，设计并实现了一种轻量级的大数据运算系统——Helius。Helius支持Spark的基本操作，同时允许数据集整体修改；同时，Helius利用C／C＋4-优化内存管理和网络传输，并采用statelessworker机制简化分布式计算平台的容错恢复过程。实验结果显示：5次迭代中，Helius运行PageRank算法的时间仅为Spark的25．12％～53．14％，运行11PCHQ6的时间仅为Spark的57．37％；在PageRank迭代1次的基础上，运行在Helius系统下时，master节点IP接收和发送数据量约为运行于Spark系统的40％和15％，而且200s的运行过程中，Helius占用的总内存约为Spark的25％。实验结果与分析表明，与Spark相比，Helius具有节约内存、不需要序列化和反序列化、减少网络交互以及容错简单等优点。 |
| 关键词 | 内存计算 大数据运算 分布式计算 有向无环图调度 容错恢复 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/29794 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 中国科学院计算技术研究所 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 丁梦苏,陈世敏. 轻量级大数据运算系统Helius[J]. 计算机应用,2017,37.0(002):305. |
| APA | 丁梦苏,&陈世敏.(2017).轻量级大数据运算系统Helius.计算机应用,37.0(002),305. |
| MLA | 丁梦苏,et al."轻量级大数据运算系统Helius".计算机应用 37.0.002(2017):305. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [丁梦苏]的文章 |
| [陈世敏]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [丁梦苏]的文章 |
| [陈世敏]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [丁梦苏]的文章 |
| [陈世敏]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论