收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于HBase的交通流数据实时存储系统

陆婷  房俊  乔彦克  
【摘要】:交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题。针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统。该系统采用分布式存储架构,通过前端的预处理操作对数据进行规范化整理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中。实验结果表明:该系统与基于Oracle的实时存储系统相比,其存储性能提升了3~5倍;与原生的HBase方法相比,其存储性能提升了2~3倍,并且具有良好的扩展性能。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王方;李华;杜金玲;;无检测器道路交通流数据质量检测方法[J];计算机工程;2014年03期
2 孙亚;朱鲤;;ITS检测器交通流数据质量控制系统研究[J];测控技术;2008年07期
3 耿彦峰;赵慧;;单源交通流数据质量控制算法设计与程序实现[J];计算机工程与应用;2009年06期
4 ;[J];;年期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
11 ;[J];;年期
12 ;[J];;年期
13 ;[J];;年期
14 ;[J];;年期
15 ;[J];;年期
16 ;[J];;年期
17 ;[J];;年期
18 ;[J];;年期
19 ;[J];;年期
20 ;[J];;年期
中国重要会议论文全文数据库 前3条
1 胡伟超;刘君丛;浩哲;肖鹏飞;;实时交通流数据缺失修复方法对比研究[A];第八届中国智能交通年会论文集[C];2013年
2 张亚平;裴玉龙;周刚;;交通流数据采集、处理及其在通行能力分析中的应用研究[A];土木工程与高新技术——中国土木工程学会第十届年会论文集[C];2002年
3 赵慧;于雷;陈旭梅;耿彦斌;;ITS实时交通流数据质量控制方法研究与案例分析[A];第一届中国智能交通年会论文集[C];2005年
中国博士学位论文全文数据库 前1条
1 丁男;基于WSN的实时动态交通流数据获取相关技术研究[D];大连理工大学;2011年
中国硕士学位论文全文数据库 前5条
1 金逸文;城市快速路交通流数据修复方法研究[D];上海交通大学;2008年
2 吴芳;交通流数据清洗的关键理论及方法研究[D];山东理工大学;2009年
3 张旭;面向交通运行状态评价的多源异质交通流数据融合技术方法研究[D];北京交通大学;2008年
4 胡淼;基于Paramics平台的交通仿真设计[D];北京交通大学;2011年
5 高嵩;哈同高速公路哈佳段交通事故的诱发与控制[D];长安大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978