Institute of Computing Technology, Chinese Academy IR
| 基于代价估计的Hive多维索引分割策略选择算法 | |
| 刘越1; 李锦涛1; 虎嵩林2 | |
| 2016 | |
| 发表期刊 | 计算机研究与发展
 |
| ISSN | 1000-1239 |
| 卷号 | 53.0期号:004页码:798 |
| 摘要 | 在能源互联网、智慧城市等新兴领域,智能终端采集的庞大数据往往需要多维分析,传统企业寻求借助互联网技术（如Hadoop和Hive）应对大数据问题.但是Hive当前的多维索引能力较弱,无法满足传统企业的需求.针对这一问题,提出了一种基于分布式网格文件的多维索引技术——DGFIndex,来提升Hive的多维查询处理能力.但是在创建DGFIndex时,需要用户指定各个索引维度的分割粒度,而分割粒度的大小与查询性能息息相关.在用户对数据与查询特征不熟悉时,很难选择较优的分割策略.为了解决这一问题,通过建立新的MapReduce代价模型,并使用两阶段模拟退火算法为DGFIndex搜索较优的分割策略,从而提升查询性能,减少查询集合的总耗时.实验结果表明：DGFIndex可以提升Hive多维查询性能50%～114%,对于固定的查询集合,与人工选定分割策略比较,基于代价估计的分割策略选择算法可以为DGFIndex快速选定较优的分割策略,并可以使整个查询集合的处理时间比人工方法最多减少30%. |
| 关键词 | Hive MapReduce 多维索引 代价模型 模拟退火 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/37384 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.中国科学院信息工程研究所 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 刘越,李锦涛,虎嵩林. 基于代价估计的Hive多维索引分割策略选择算法[J]. 计算机研究与发展,2016,53.0(004):798. |
| APA | 刘越,李锦涛,&虎嵩林.(2016).基于代价估计的Hive多维索引分割策略选择算法.计算机研究与发展,53.0(004),798. |
| MLA | 刘越,et al."基于代价估计的Hive多维索引分割策略选择算法".计算机研究与发展 53.0.004(2016):798. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [刘越]的文章 |
| [李锦涛]的文章 |
| [虎嵩林]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [刘越]的文章 |
| [李锦涛]的文章 |
| [虎嵩林]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [刘越]的文章 |
| [李锦涛]的文章 |
| [虎嵩林]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论