Institute of Computing Technology, Chinese Academy IR
| 面向大数据分析的分布式文件系统关键技术 | |
| 周江1; 王伟平2; 孟丹2; 马灿2; 古晓艳1; 蒋杰3 | |
| 2014 | |
| 发表期刊 | 计算机研究与发展
 |
| ISSN | 1000-1239 |
| 卷号 | 51.0期号:002页码:382 |
| 摘要 | 大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段．信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点．传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求．设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover．该系统采用基于目录划分和一致性Hash映射的名字空间管理方法，解决了元数据扩展性问题；通过改进的两阶段提交协议，保证了多元数据服务器下分布式元数据操作的一致性；提出了基于共享存储池的高可用机制，通过热备和全局状态恢复机制提高了元数据的可靠性．评测结果表明，Clover的元数据处理能力随服务器的数量线性增长，增加单个服务器的元数据操作性能平均提升了5．13％～159．32％．由于名字空间管理和分布式事务的开销，多元数据服务器会导致复杂操作的性能下降，但是这种下降的幅度很小（小于10％）．与HDFS相比，Clover的文件读写带宽与之接近，并能够保证在元数据服务器失效后文件系统快速恢复，适合于构建高可扩展和高可用的存储系统． |
| 关键词 | 大数据 海量数据存储 分布式文件系统 元数据可扩展性 高可用性 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/36392 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.中国科学院信息工程研究所 3.腾讯科技有限公司 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 周江,王伟平,孟丹,等. 面向大数据分析的分布式文件系统关键技术[J]. 计算机研究与发展,2014,51.0(002):382. |
| APA | 周江,王伟平,孟丹,马灿,古晓艳,&蒋杰.(2014).面向大数据分析的分布式文件系统关键技术.计算机研究与发展,51.0(002),382. |
| MLA | 周江,et al."面向大数据分析的分布式文件系统关键技术".计算机研究与发展 51.0.002(2014):382. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [周江]的文章 |
| [王伟平]的文章 |
| [孟丹]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [周江]的文章 |
| [王伟平]的文章 |
| [孟丹]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [周江]的文章 |
| [王伟平]的文章 |
| [孟丹]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论