Institute of Computing Technology, Chinese Academy IR
| 基于统计方法的Hive数据仓库查询优化实现 | |
| 王有为1; 王伟平2; 孟丹2 | |
| 2015 | |
| 发表期刊 | 计算机研究与发展
 |
| ISSN | 1000-1239 |
| 卷号 | 52.0期号:006页码:1452 |
| 摘要 | Map/Reduce是海量离线数据分析中广泛应用的并行编程模型。Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题。均衡计算模型（computation balanced model,CBM）,其核心思想是通过数据分布特征指导查询计划优化。相应研究贡献包括2部分,首先针对应用极广的GroupBy查询和Join查询建立了运行估价模型,确定了不同场景下查询计划的优化选择分支;其次基于Hive ETL机制设计了一种统计信息收集方法,解决了统计海量数据分布特征的问题。实验数据表明,通过CBM优化的GroupBy查询耗时节省了8%～45%,Join查询耗时节省了12%～46%;集群CPU负载均衡指标优化了60%～80%,I/O负载均衡指标优化了60%～90%。实验结果证实了基于CBM模型优化的查询计划生成器能显著均衡化Hive查询运行时的集群负载,并优化了查询处理效率。 |
| 关键词 | 海量数据离线处理 分布式数据仓库 负载均衡 统计信息收集 查询优化 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/29578 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.中国科学院信息工程研究所 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 王有为,王伟平,孟丹. 基于统计方法的Hive数据仓库查询优化实现[J]. 计算机研究与发展,2015,52.0(006):1452. |
| APA | 王有为,王伟平,&孟丹.(2015).基于统计方法的Hive数据仓库查询优化实现.计算机研究与发展,52.0(006),1452. |
| MLA | 王有为,et al."基于统计方法的Hive数据仓库查询优化实现".计算机研究与发展 52.0.006(2015):1452. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [王有为]的文章 |
| [王伟平]的文章 |
| [孟丹]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [王有为]的文章 |
| [王伟平]的文章 |
| [孟丹]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [王有为]的文章 |
| [王伟平]的文章 |
| [孟丹]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论