收藏本站
《计算机工程》 2015年06期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于HBase的高能物理数据存储及分析平台

雷晓凤  李强  孙功星  
【摘要】:高能物理对撞机产生数百亿计的物理事例,而物理分析则是从中选取几千个有意义的事例,该分析过程是一个典型的大数据处理及数据挖掘应用。由此,设计高效的数据结构、存储及访问机制,快速挑选出有意义的物理事例十分重要。介绍事例的数据结构、存储和处理技术,分析高能物理数据的特点,提出一种以HBase,ROOT,BEAN及Map Reduce为基础的新型高能物理数据存储及处理技术系统。利用HBase存储数据、Map Reduce实现并行处理,选择ROOT和BEAN作为高能物理分析框架,并给出具体设计与实现方案。测试结果表明,与传统高能物理数据存储系统相比,该系统具有更快的数据处理速度,当预筛选服务生效时能够更加有效地利用I/O和CPU资源。

手机知网App
【参考文献】
中国期刊全文数据库 前1条
1 谢桂兰;罗省贤;;基于Hadoop MapReduce模型的应用研究[J];微型机与应用;2010年08期
【共引文献】
中国期刊全文数据库 前10条
1 李亮;;全台网环境下的云视频素材转码系统的设计[J];电视技术;2013年10期
2 邹青春;;基于云计算环境的考试数据挖掘算法研究[J];信息安全与技术;2013年07期
3 苏韦;李景文;刘华尧;张海英;欧阳云;;基于MapReduce的时空数据模型设计方法[J];测绘与空间地理信息;2013年07期
4 王苏卫;;基于Hadoop和Hive的电信行业数据仓库研究[J];电子技术与软件工程;2013年11期
5 谢峰;;基于Hadoop的云存储平台设计研究[J];电子技术与软件工程;2013年16期
6 侯青;徐家喜;吉力;;基于Hadoop的校园教育资源管理系统[J];电脑知识与技术;2014年01期
7 杨关建;华泽玺;杨彬;;Hadoop平台在智能变电站中的应用研究[J];电源技术应用;2014年03期
8 陈浩;;一种QL脚本的解析模块的分析研究[J];电脑知识与技术;2014年19期
9 李铖瀚;何利力;刘淳猛;;烟草企业基于Hadoop的数据处理研究[J];工业控制计算机;2015年02期
10 崔莉霞;;基于Hadoop的并行聚类算法的研究[J];计算机光盘软件与应用;2014年23期
中国重要会议论文全文数据库 前1条
1 刘世洪;陈涛;郑火国;胡海燕;王烁;马涛;;农业产销匹配:云环境下的信息推荐平台[A];中国畜牧兽医学会信息技术分会2014年学术研讨会论文集[C];2014年
中国博士学位论文全文数据库 前1条
1 陈思泽;~6LLi(p,γ)~7Be低能反应截面的实验研究[D];中国科学院研究生院(近代物理研究所);2014年
中国硕士学位论文全文数据库 前10条
1 徐风;移动公司云计算平台原型的构建与测试[D];中南大学;2010年
2 廖玉兰;基于分布式的决策树方法研究[D];电子科技大学;2011年
3 王毅;基于Hadoop的Slope One及其改进算法实现[D];西南交通大学;2011年
4 李海波;基于MapReduce框架的分布式网络爬行器研究[D];哈尔滨工程大学;2011年
5 李倩;基于MapReduce模型的eMTM三维人体模型生成引擎[D];东华大学;2012年
6 李元洪;基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现[D];南京理工大学;2012年
7 李辉;基于云计算环境的web结构挖掘算法研究[D];浙江理工大学;2012年
8 刘范范;MapReduce与量子进化算法的研究及应用[D];安徽大学;2012年
9 乔鸿欣;基于MapReduce的KNN分类算法的研究与实现[D];北京交通大学;2012年
10 汪晶晶;基于MapReduce的天文数据处理方法与应用研究[D];昆明理工大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 朱晓丽;赵志刚;;一种基于HBase的海量图片存储技术[J];信息系统工程;2013年08期
2 王立峰;;HBase数据库中大对象存储方案的研究[J];电脑知识与技术;2014年23期
3 ;[J];;年期
4 ;[J];;年期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国硕士学位论文全文数据库 前6条
1 康毅;HBase大对象存储方案的设计与实现[D];南京大学;2013年
2 邹敏昊;基于Lucene的HBase全文检索功能的设计与实现[D];南京大学;2013年
3 罗燕新;基于HBASE的列存储压缩算法的研究与实现[D];华南理工大学;2011年
4 潘博;基于Hbase、MemcacheQ技术的民政数据管理系统设计与实现[D];吉林大学;2014年
5 陈志鹏;基于Hbase的并行聚类算法研究及应用[D];北京邮电大学;2014年
6 赵磊;基于HBase的本体存储与查询的研究[D];华东交通大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026