收藏本站
《西部交通科技》 2019年10期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于Hadoop的交通物流数据仓库构建技术研究

赵继新  
【摘要】:随着社会经济的高速发展,交通物流行业对交通数据存储、管理和分析的要求越来越高。文章在对比Hadoop与MPP等技术的基础上,基于对MapReduce并行计算、HDFS分布式文件系统、数仓工具Hive和Sqoop采集组件等架构的分析,研究了Hadoop交通物流数据仓库的构建技术,建设了交通物流数据仓库,实现了海量交通物流数据文件的元数据管理、分布式存储和交通物流数据查询。经测试验证:利用交通物流数据仓库进行大型交通物流数据文件的存储和操作时,能有效提高数据吞吐率及其读写效率。
【作者单位】广西交通职业技术学院管理系
【分类号】:TP311.13;U116

知网文化
【参考文献】
中国期刊全文数据库 前5条
1 吕鹏飞;;交通管理数据仓库设计与实现[J];信息与电脑(理论版);2015年02期
2 侯健卫;杨波;李栓林;刘浩熙;鲁瑞;;基于MPP和Hadoop的低价值密度结构数据联合处理方法的设计与实现[J];中国新通信;2015年01期
3 廖锋;成静静;;大数据环境下Hadoop分布式系统的研究与设计[J];广东通信技术;2013年10期
4 王元春;员建厦;王岳盟;;面向对象的数据仓库设计[J];计算机与网络;2011年07期
5 张秀国,徐晓红;基于UML的数据仓库构造方法的研究[J];计算机工程与设计;2002年11期
中国硕士学位论文全文数据库 前3条
1 袁亚欣;基于Hadoop交通信息并行处理云平台的设计与实现[D];电子科技大学;2015年
2 程豪;基于Hadoop的交通大数据计算应用研究[D];长安大学;2014年
3 魏炎炎;异构Hadoop平台性能分析及其调度算法优化研究[D];合肥工业大学;2013年
【共引文献】
中国期刊全文数据库 前8条
1 李蕾;;浅析计算机科学与技术的未来发展方向[J];中国新技术新产品;2015年18期
2 任乐乐;何灵敏;;一种改进的主从节点选举算法用于实现集群负载均衡[J];中国计量学院学报;2015年03期
3 王宏君;蔺娜;鬲玲;陈金梁;敬石开;;工程知识管理系统模型研究[J];航天制造技术;2015年03期
4 庞美严;张何;;数据仓库在智能车辆监控系统中的应用[J];科技视界;2015年08期
5 潘毅;成静静;;Hadoop在电信运营商经营分析系统中应用的研究[J];数据通信;2014年06期
6 王秀娟;曹宝香;;基于面向对象原型法的N层数据仓库设计[J];计算机技术与发展;2009年01期
7 邢攸达;王宇;潘明霞;;港口生产数据仓库设计与实现[J];计算机辅助工程;2007年04期
8 张劲松;莫东霖;;基于面向对象技术的物业管理系统研究与开发[J];情报杂志;2006年07期
中国硕士学位论文全文数据库 前10条
1 刘星辰;基于Hadoop的分布式网络爬虫的研究与实现[D];西安理工大学;2019年
2 路珊;基于高速大数据的多义路径识别系统研究与实现[D];北方工业大学;2019年
3 苏旭博;基于HBase的交通大数据查询优化研究[D];兰州交通大学;2018年
4 韩星;基于Storm平台的城市道路交通拥堵识别研究[D];西华师范大学;2018年
5 王晴;基于数据挖掘技术的运输车辆预警分析研究[D];云南大学;2018年
6 宋晓悦;基于Spark的城市轨道交通客流分析平台研究[D];北京交通大学;2017年
7 彭晨伟;基于行车大数据的商圈建设研究与分析[D];武汉邮电科学研究院;2017年
8 曾宪宇;基于大数据技术的车辆监控系统的优化与实现[D];吉林大学;2016年
9 常轶群;基于OpenStack的UOS计费系统的设计与实现[D];哈尔滨工业大学;2016年
10 杨洪磊;大数据环境下农业数字资源存储与分析技术研究[D];中国农业科学院;2016年
【二级参考文献】
中国期刊全文数据库 前10条
1 董纪英;燕志伟;梁正玉;;SQLite、MySQL、PostgreSQL关系型数据库管理系统比较[J];电脑编程技巧与维护;2014年14期
2 李书攀;;一种关系型数据库自动划分方法的设计[J];计算机光盘软件与应用;2014年09期
3 高洪;杨庆平;黄震江;;基于Hadoop平台的大数据分析关键技术标准化探讨[J];信息技术与标准化;2013年05期
4 刘炜;夏翠娟;张春景;;大数据与关联数据:正在到来的数据技术革命[J];现代图书情报技术;2013年04期
5 李政;李继兵;丁伟;;基于大数据的电信运营商业务模式研究[J];移动通信;2013年05期
6 邬贺铨;;大数据时代的机遇与挑战[J];求是;2013年04期
7 童晓渝;张云勇;房秉毅;雷磊;;大数据时代电信运营商的机遇[J];信息通信技术;2013年01期
8 成静静;喻朝新;;基于云计算的大数据统一分析平台研究与设计[J];广东通信技术;2013年01期
9 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期
10 成静静;;基于Hadoop的分布式云计算/云存储方案的研究与设计[J];数据通信;2012年05期
中国硕士学位论文全文数据库 前4条
1 程豪;基于Hadoop的交通大数据计算应用研究[D];长安大学;2014年
2 陈艳金;MapReduce模型在Hadoop平台下实现作业调度算法的研究和改进[D];华南理工大学;2011年
3 张密密;MapReduce模型在Hadoop实现中的性能分析及改进优化[D];电子科技大学;2010年
4 陈全;异构环境下Map-Reduce调度算法的研究[D];上海交通大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 段宗涛;李莹;郑西彬;康军;程豪;;基于Hadoop平台的实时多路径交通流分配算法[J];中国公路学报;2014年09期
2 段宗涛;陈欣欣;康军;温兴超;尉青青;;基于Hadoop的出租车服务策略[J];计算机系统应用;2017年01期
3 汪治华;刘星原;;基于Hadoop的交通信息物理系统大数据架构平台[J];数字通信世界;2017年10期
4 龙伟;陈志;万亚平;;基于Hadoop的高速公路联网收费稽查系统[J];西部交通科技;2014年08期
5 郭淑琴;薛益赵;徐步汇;;一种基于Hadoop的分布式地图匹配算法[J];浙江工业大学学报;2015年03期
6 鲁伟;;基于Hadoop交通视频大数据分析组件的设计与应用[J];中国交通信息化;2017年03期
7 杨臣君;张欣;杨卓东;;基于Hadoop的交通数据分析系统[J];电子科技;2017年04期
8 徐红海;;智慧高速交通大数据应用探讨[J];中国交通信息化;2016年03期
9 张丽岩;马健;李克平;孙焰;;基于云计算的卡尔曼滤波速度诱导模型研究[J];公路工程;2013年06期
10 申兆慕;张健钦;王胜开;赵明;;基于Hadoop的交通大数据的可视化Web GIS平台的设计与实现[J];北京建筑大学学报;2018年03期
中国重要会议论文全文数据库 前2条
1 生昕格;;基于hadoop的交通云数据处理平台设计[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年
2 徐文斌;;大数据时代的交管综合应用云平台[A];第八届中国智能交通年会论文集[C];2013年
中国重要报纸全文数据库 前2条
1 记者 林圳勇;福建绘出现代交通物流体系“路线图”[N];中国水运报;2014年
2 记者 林雪娜;双方就港口交通物流等达成合作共识[N];广西日报;2010年
中国硕士学位论文全文数据库 前10条
1 周伦;基于Hadoop平台及轨迹挖掘的打车服务应用系统设计与实现[D];北京邮电大学;2018年
2 史豫坤;基于Hadoop的共享单车停放点选址方法的研究[D];安徽理工大学;2018年
3 谭京京;基于Hadoop的桥梁监测数据孤立点挖掘研究[D];重庆交通大学;2016年
4 李振;基于Hadoop平台的公交客流分析与预测研究[D];东北师范大学;2015年
5 高仲峰;基于Hadoop平台的桥梁结构健康监测系统的应用[D];西安科技大学;2012年
6 吴友宝;Hadoop平台下基于路网加权分层和关联规则的最短路径算法研究[D];华南理工大学;2016年
7 方炜;基于Hadoop的面向海量交通流数据分析与利用[D];杭州电子科技大学;2016年
8 冯帆;基于Hadoop技术的出租车GPS数据分析系统[D];西安电子科技大学;2016年
9 颜廷帅;基于Hadoop的车联网作业调度优化问题研究[D];哈尔滨工程大学;2015年
10 周常胜;Hadoop环境下基于SVR的短时交通流预测[D];大连理工大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026