Institute of Computing Technology, Chinese Academy IR
| 基于集群系统的空间数据并行处理策略研究 | |
| 刘旭辉; 韩冀中; 贺劲; 韩承德 | |
| 2009 | |
| 发表期刊 | 高技术通讯
 |
| ISSN | 1002-0470 |
| 卷号 | 19.0期号:010页码:991 |
| 摘要 | 为了解决单节点的WebGIS系统存储能力和计算能力受限的问题，提出了一种利用分布式文件系统（DFS）和MapReduce分布式计算框架在集群环境中并行处理空间数据的方法。还特别针对分布式文件系统，结合WebGIS的应用模式，提出了小文件优化策略。该策略的核心思想是通过将小文件合并为大文件来有效降低文件的数目。试验结果表明，在使用了小文件优化策略后，分布式文件系统中的节点平均内存占用率从55．78％降至18．36％，文件的存储和读取性能分别提高了63．3倍和2．0倍。其次，基于经过优化后的分布式文件系统和MapReduce计算框架，设计并且实现了HDWebGIS原型系统，试验结果表明，使用了小文件优化策略后，HDWebGIS系统性能比优化前提升了78．11％。 |
| 关键词 | 网络地理信息系统（WebGIS） 集群 分布式文件系统（DFS） MapReduce 小文 件优化 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/35368 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 中国科学院计算技术研究所 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 刘旭辉,韩冀中,贺劲,等. 基于集群系统的空间数据并行处理策略研究[J]. 高技术通讯,2009,19.0(010):991. |
| APA | 刘旭辉,韩冀中,贺劲,&韩承德.(2009).基于集群系统的空间数据并行处理策略研究.高技术通讯,19.0(010),991. |
| MLA | 刘旭辉,et al."基于集群系统的空间数据并行处理策略研究".高技术通讯 19.0.010(2009):991. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [刘旭辉]的文章 |
| [韩冀中]的文章 |
| [贺劲]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [刘旭辉]的文章 |
| [韩冀中]的文章 |
| [贺劲]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [刘旭辉]的文章 |
| [韩冀中]的文章 |
| [贺劲]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论