Institute of Computing Technology, Chinese Academy IR
| 针对高速数据流的大规模数据实时处理方法 | |
亓开元; 赵卓峰; 房俊 ; 马强
| |
| 2012 | |
| 发表期刊 | 计算机学报
 |
| ISSN | 0254-4164 |
| 卷号 | 35.0期号:003页码:477 |
| 摘要 | 以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性. |
| 关键词 | 数据流处理 大规模数据处理 MapReduce 物联网 大数据 云计算 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/37822 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 中国科学院计算技术研究所 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 亓开元,赵卓峰,房俊,等. 针对高速数据流的大规模数据实时处理方法[J]. 计算机学报,2012,35.0(003):477. |
| APA | 亓开元,赵卓峰,房俊,&马强.(2012).针对高速数据流的大规模数据实时处理方法.计算机学报,35.0(003),477. |
| MLA | 亓开元,et al."针对高速数据流的大规模数据实时处理方法".计算机学报 35.0.003(2012):477. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [亓开元]的文章 |
| [赵卓峰]的文章 |
| [房俊]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [亓开元]的文章 |
| [赵卓峰]的文章 |
| [房俊]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [亓开元]的文章 |
| [赵卓峰]的文章 |
| [房俊]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论