Institute of Computing Technology, Chinese Academy IR
| 高能物理大数据挑战与海量事例特征索引技术研究 | |
| 程耀东1; 张潇2; 王培建2; 查礼3; 侯迪2; 齐勇2; 马灿4 | |
| 2017 | |
| 发表期刊 | 计算机研究与发展
 |
| ISSN | 1000-1239 |
| 卷号 | 54.0期号:002页码:258 |
| 摘要 | 新一代高能物理实验装置的建成与运行,产生了PB乃至EB量级的数据,这对数据采集、存储、传输与共享、分析与处理等数据管理技术提出了巨大挑战.事例是高能物理实验的基本数据单元,一次大型实验即可产生万亿级的事例.传统高能物理数据处理以ROOT文件为基本存储和处理单位,每个ROOT文件可以包含数千至数亿个事例.这种基于文件的处理方式虽然降低了高能物理数据管理系统的开发难度,但物理分析仅对极少量的稀有事例感兴趣,这导致了数据传输量大、I？O瓶颈以及数据处理效率低等问题.提出一种面向事例的高能物理数据管理方法,重点研究海量事例特征高效索引技术.在这种方法中,将物理学家感兴趣的事例的特征量抽取出来建立专门的索引,存储在NoSQL数据库中.为便于物理分析处理,事例的原始数据仍然存放在ROOT文件中.最后,通过系统验证和分析表明,基于事例特征索引进行事例筛选是可行的,优化后的HBase系统可以满足事例索引的需求. |
| 关键词 | 高能物理 数据管理 事例索引 HBase 查询优化 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/29229 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院高能物理研究所 2.西安交通大学 3.中国科学院计算技术研究所 4.中国科学院信息工程研究所 |
| 推荐引用方式 GB/T 7714 | 程耀东,张潇,王培建,等. 高能物理大数据挑战与海量事例特征索引技术研究[J]. 计算机研究与发展,2017,54.0(002):258. |
| APA | 程耀东.,张潇.,王培建.,查礼.,侯迪.,...&马灿.(2017).高能物理大数据挑战与海量事例特征索引技术研究.计算机研究与发展,54.0(002),258. |
| MLA | 程耀东,et al."高能物理大数据挑战与海量事例特征索引技术研究".计算机研究与发展 54.0.002(2017):258. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [程耀东]的文章 |
| [张潇]的文章 |
| [王培建]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [程耀东]的文章 |
| [张潇]的文章 |
| [王培建]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [程耀东]的文章 |
| [张潇]的文章 |
| [王培建]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论