Institute of Computing Technology, Chinese Academy IR
| 易变数据流的系统资源配置方法 | |
| 王春凯; 庄福振; 史忠植 | |
| 2019 | |
| 发表期刊 | 智能系统学报
 |
| ISSN | 1673-4785 |
| 卷号 | 14.0期号:006页码:1278 |
| 摘要 | 大规模数据流管理系统往往由上层的关系查询系统和下层的流处理系统组成。当用户提交查询请求时,往往需要根据数据流的流速和分布情况动态配置系统参数。然而,由于数据流的易变性,频繁改变参数配置会降低系统性能。针对该问题,提出了OrientStream+框架。设定以用户自定义查询延迟阈值为间隔片段的微批量数据流传输机制;并利用多级别管道缓存,对相同配置的数据流进行批量处理;然后按照数据流的时间戳计算出精准查询结果;引入基于异常检测的增量学习模型,用于提高OrientStream+的预测精度。最后,在Storm上实现了该资源配置框架,并进行了大量的实验。实验结果表明,OrientStream+框架可进一步降低系统的处理延迟并提高系统的吞吐率。 |
| 关键词 | 大规模数据流管理系统 易变数据流 增量学习 模型预测 参数配置 微批处理 系统性能 异常检测 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/32785 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国再保险(集团股份有限公司博士后科研工作站 2.中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 王春凯,庄福振,史忠植. 易变数据流的系统资源配置方法[J]. 智能系统学报,2019,14.0(006):1278. |
| APA | 王春凯,庄福振,&史忠植.(2019).易变数据流的系统资源配置方法.智能系统学报,14.0(006),1278. |
| MLA | 王春凯,et al."易变数据流的系统资源配置方法".智能系统学报 14.0.006(2019):1278. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [王春凯]的文章 |
| [庄福振]的文章 |
| [史忠植]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [王春凯]的文章 |
| [庄福振]的文章 |
| [史忠植]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [王春凯]的文章 |
| [庄福振]的文章 |
| [史忠植]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论