Institute of Computing Technology, Chinese Academy IR
| 流水行云:支持可扩展的并行分布式流处理系统 | |
张鹏; 刘庆云; 谭建龙 ; 李焱; 杜华明
| |
| 2015 | |
| 发表期刊 | 电子学报
 |
| ISSN | 0372-2112 |
| 卷号 | 43.0期号:004页码:639 |
| 摘要 | 数据流处理系统,无论是集中式还是分布式,都需要克服单点瓶颈问题.不仅如此,如果数据流处理系统是静态配置的,那么还会出现处理节点供给不足或者过剩的情况,为此本文提出了一种支持可扩展的并行分布式数据流处理系统—流水行云,该系统根据有状态算子将查询拓扑划分为并行处理的子查询,并且通过有状态算子的分发器和收集器实现了数据流的保序,同时最大化减少并行处理的通信开销,不仅如此,结合负载均衡和重配置的可扩展技术使得该系统能够根据输入负载动态调整处理节点的负载和个数.60个节点组成的集群的实验证明了该系统的可扩展能力. |
| 关键词 | 流处理系统 可扩展 有状态算子 负载均衡 重配置 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/30578 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院信息工程研究所 2.国家计算机网络应急技术处理协调中心 3.中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 张鹏,刘庆云,谭建龙,等. 流水行云:支持可扩展的并行分布式流处理系统[J]. 电子学报,2015,43.0(004):639. |
| APA | 张鹏,刘庆云,谭建龙,李焱,&杜华明.(2015).流水行云:支持可扩展的并行分布式流处理系统.电子学报,43.0(004),639. |
| MLA | 张鹏,et al."流水行云:支持可扩展的并行分布式流处理系统".电子学报 43.0.004(2015):639. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [张鹏]的文章 |
| [刘庆云]的文章 |
| [谭建龙]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [张鹏]的文章 |
| [刘庆云]的文章 |
| [谭建龙]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [张鹏]的文章 |
| [刘庆云]的文章 |
| [谭建龙]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论