Institute of Computing Technology, Chinese Academy IR
| 一种正交分解大数据处理系统设计方法及实现 | |
| 向小佳1; 赵晓芳1; 刘洋1; 龚关俊1; 张晗2 | |
| 2017 | |
| 发表期刊 | 计算机研究与发展
 |
| ISSN | 1000-1239 |
| 卷号 | 54.0期号:005页码:1097 |
| 摘要 | MapReduce等计算框架的出现开启了大数据处理新纪元,以Hadoop,Spark为代表的大数据处理系统具有大吞吐率、跨平台、高可扩展的优势,并得到广泛应用.然而,为避免与具体的操作系统、硬件平台绑定,这些系统的设计与优化集中在计算模型、调度算法等方面,无法充分利用底层平台的优势.提出了一种基于正交分解的大数据处理系统设计与优化方法,将系统分解为松耦合的多个功能正交的模块,使存储、处理功能分离出来,交给能够利用底层平台操作系统甚至硬件资源的存储、执行引擎,原大数据系统退化为调度平台;进而,提出基于锁无关机制的存储底层优化策略和基于指令超级优化的执行引擎底层优化策略.以此为指导,以Hadoop作为兼容和改进的对象,实现了原型大数据处理系统Arion.Arion既能保持Hadoop的跨平台、高可扩展的优势,又能消除任务执行的瓶颈,其本地化的设计与优化手段对非Hadoop平台同样有效.通过在原型系统上的实验证明,Arion能够提升大数据处理任务的执行效率,最高达7.7%. |
| 关键词 | 大数据处理系统 计算框架 本地化 锁无关 超级优化 执行引擎 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/37206 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.北方工业大学 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 向小佳,赵晓芳,刘洋,等. 一种正交分解大数据处理系统设计方法及实现[J]. 计算机研究与发展,2017,54.0(005):1097. |
| APA | 向小佳,赵晓芳,刘洋,龚关俊,&张晗.(2017).一种正交分解大数据处理系统设计方法及实现.计算机研究与发展,54.0(005),1097. |
| MLA | 向小佳,et al."一种正交分解大数据处理系统设计方法及实现".计算机研究与发展 54.0.005(2017):1097. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [向小佳]的文章 |
| [赵晓芳]的文章 |
| [刘洋]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [向小佳]的文章 |
| [赵晓芳]的文章 |
| [刘洋]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [向小佳]的文章 |
| [赵晓芳]的文章 |
| [刘洋]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论