Institute of Computing Technology, Chinese Academy IR
| 面向大规模感知数据的实时数据流处理方法及关键技术 | |
| 亓开元1; 韩燕波1; 赵卓峰1; 马强2 | |
| 2013 | |
| 发表期刊 | 计算机集成制造系统
 |
| ISSN | 1006-5911 |
| 卷号 | 19期号:3页码:641 |
| 摘要 | 为了在大规模历史感知数据基础上实现针对高速传感数据流的实时计算,提出一种面向大规模历史数据的数据流处理方法RTMR,通过中间结果缓存、流水化和本地化改进了MapReduce的数据流处理能力。在此基础上,为了适应性地构造RTMR集群,利用模型分析方法根据应用特征和集群环境配置节点类型和拓扑结构。为实现集群的负载均衡,通过计算负载状态转换关系分组空闲节点和过载节点,将NP难的动态负载均衡问题快速分解为规模较小的子问题,并且综合执行时间和数据移动代价作为子问题的优化目标,提高应对负载倾斜的反应速度。实验表明,上述方法和技术能够保障大规模历史数据上数据流处理的可伸缩性。 |
| 关键词 | 数据流处理 大规模数据处理 MapReduce方法 适应性架构 负载均衡 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/37620 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.北方工业大学 2.中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 亓开元,韩燕波,赵卓峰,等. 面向大规模感知数据的实时数据流处理方法及关键技术[J]. 计算机集成制造系统,2013,19(3):641. |
| APA | 亓开元,韩燕波,赵卓峰,&马强.(2013).面向大规模感知数据的实时数据流处理方法及关键技术.计算机集成制造系统,19(3),641. |
| MLA | 亓开元,et al."面向大规模感知数据的实时数据流处理方法及关键技术".计算机集成制造系统 19.3(2013):641. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [亓开元]的文章 |
| [韩燕波]的文章 |
| [赵卓峰]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [亓开元]的文章 |
| [韩燕波]的文章 |
| [赵卓峰]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [亓开元]的文章 |
| [韩燕波]的文章 |
| [赵卓峰]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论