Institute of Computing Technology, Chinese Academy IR
大数据分析与高速数据更新 | |
陈世敏 | |
2015 | |
发表期刊 | 计算机研究与发展 |
ISSN | 1000-1239 |
卷号 | 52.0期号:002页码:333 |
摘要 | 大数据对于数据管理系统平台的主要挑战可以归纳为volume(数据量大)、velocity(数据的产生、获取和更新速度快)和variety(数据种类繁多)3个方面.针对大数据分析系统,尝试解读velocity的重要性和探讨如何应对velocity的挑战.首先比较事物处理、数据流、与数据分析系统对velocity的不同要求.然后从数据更新与大数据分析系统相互关系的角度出发,讨论两项近期的研究工作:1)MaSM,在数据仓库系统中支持在线数据更新;2)LogKV,在日志处理系统中支持高速流入的日志数据和高效的基于时间窗1:2的连接操作.通过分析比较发现,存储数据更新只是最基本的要求,更重要的是应该把大数据的从更新到分析作为数据的整个生命周期,进行综合考虑和优化,根据大数据分析的特点,优化高速数据更新的数据组织和数据分布方式,从而保证甚至提高数据分析运算的效率. |
关键词 | 数据更新 大数据分析 数据仓库 日志处理系统 数据组织与分布算法 |
语种 | 英语 |
文献类型 | 期刊论文 |
条目标识符 | http://119.78.100.204/handle/2XEOYT63/30709 |
专题 | 中国科学院计算技术研究所期刊论文_中文 |
作者单位 | 中国科学院计算技术研究所 |
第一作者单位 | 中国科学院计算技术研究所 |
推荐引用方式 GB/T 7714 | 陈世敏. 大数据分析与高速数据更新[J]. 计算机研究与发展,2015,52.0(002):333. |
APA | 陈世敏.(2015).大数据分析与高速数据更新.计算机研究与发展,52.0(002),333. |
MLA | 陈世敏."大数据分析与高速数据更新".计算机研究与发展 52.0.002(2015):333. |
条目包含的文件 | 条目无相关文件。 |
个性服务 |
推荐该条目 |
保存到收藏夹 |
查看访问统计 |
导出为Endnote文件 |
谷歌学术 |
谷歌学术中相似的文章 |
[陈世敏]的文章 |
百度学术 |
百度学术中相似的文章 |
[陈世敏]的文章 |
必应学术 |
必应学术中相似的文章 |
[陈世敏]的文章 |
相关权益政策 |
暂无数据 |
收藏/分享 |
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。
修改评论