Institute of Computing Technology, Chinese Academy IR
| 大规模数据密集型系统中的去重查询优化 | |
宋怀明1; 安明远1; 王洋1; 袁春阳2; 孙凝晖1
| |
| 2010 | |
| 发表期刊 | 计算机研究与发展
 |
| ISSN | 1000-1239 |
| 卷号 | 000期号:004页码:581 |
| 摘要 | 针对shared—nothing结构下大规模数据密集型系统去重查询的挑战，提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化：即自适应的散列和直方图相结合的数据分布策略，以及异步式并行查询中间件．前者在数据写入时保证数据均衡，并在数据量发生倾斜时自动调整数据的分布；后者充分发掘了去重查询处理中的粗粒度流水级并行，并消除了多节点同步等待的开销，尽早地返回结果．在生产系统DBroker上的测试表明，数据分布策略极大地改善相关属性的去重查询性能，而异步式并行查询引擎能够充分发掘并行性，对不相关属性的去重查询具有显著的性能提升． |
| 关键词 | 去重查询 数据划分 大规模数据密集型系统 异步查询 并行查询引擎 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/36686 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.国家计算机网络应急技术处理协调中心 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 宋怀明,安明远,王洋,等. 大规模数据密集型系统中的去重查询优化[J]. 计算机研究与发展,2010,000(004):581. |
| APA | 宋怀明,安明远,王洋,袁春阳,&孙凝晖.(2010).大规模数据密集型系统中的去重查询优化.计算机研究与发展,000(004),581. |
| MLA | 宋怀明,et al."大规模数据密集型系统中的去重查询优化".计算机研究与发展 000.004(2010):581. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [宋怀明]的文章 |
| [安明远]的文章 |
| [王洋]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [宋怀明]的文章 |
| [安明远]的文章 |
| [王洋]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [宋怀明]的文章 |
| [安明远]的文章 |
| [王洋]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论