收藏本站
《广东通信技术》 2013年10期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

大数据环境下Hadoop分布式系统的研究与设计

廖锋  成静静  
【摘要】:随着互联网应用的飞速发展和信息的社会化数据呈爆发式的增长,传统的关系数据库在处理分析如此海量的数据时出现性能和可扩展性的瓶颈,通过介绍目前大数据时代面临的挑战,分析了大数据对IT系统的挑战以及针对大数据业务特点的应对策略。目前大数据技术目前还没形成统一标准,但业界已经广泛使用Hadoop分布式系统作为其大数据处理平台,对大数据环境下Hadoop分布式系统进行了详尽的研究与设计,包括分布式文件系统、并行计算模型、分布式数据库、分布式锁服务等各个功能模块,大数据环境下的Hadoop分布式系统将更有效支撑未来电信运营商业务的发展。
【作者单位】中国移动通信集团广东有限公司;广东省电信规划设计院;
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前8条
1 成静静;喻朝新;;基于云计算的大数据统一分析平台研究与设计[J];广东通信技术;2013年01期
2 高洪;杨庆平;黄震江;;基于Hadoop平台的大数据分析关键技术标准化探讨[J];信息技术与标准化;2013年05期
3 覃雄派;王会举;杜小勇;王珊;;大数据分析——RDBMS与MapReduce的竞争与共生[J];软件学报;2012年01期
4 赵春雷;乔治·纳汉;;“大数据”时代的计算机信息处理技术[J];世界科学;2012年02期
5 童晓渝;张云勇;房秉毅;雷磊;;大数据时代电信运营商的机遇[J];信息通信技术;2013年01期
6 郑启龙;房明;汪胜;王向前;吴晓伟;王昊;;基于MapReduce模型的并行科学计算[J];微电子学与计算机;2009年08期
7 顾芳;刘旭峰;左超;;大数据背景下运营商移动互联网发展策略研究[J];邮电设计技术;2012年08期
8 李政;李继兵;丁伟;;基于大数据的电信运营商业务模式研究[J];移动通信;2013年05期
【共引文献】
中国期刊全文数据库 前10条
1 杜玉辉;蒋姣丽;;大数据背景:高速公路收费系统数据的现状、分析与展望[J];电脑知识与技术;2012年15期
2 杨喆;陈锋;;使用MapReduce编程模型进行大规模FCD并行处理[J];电子技术;2010年09期
3 黄晓斌;钟辉新;;大数据时代企业竞争情报研究的创新与发展[J];图书与情报;2012年06期
4 袁磊;赵俊三;李红波;;物联网空间数据仓库框架体系及关键技术分析[J];地理信息世界;2013年01期
5 成静静;喻朝新;;基于云计算的大数据统一分析平台研究与设计[J];广东通信技术;2013年01期
6 胡涛;;基于MapReduce模型遗传算法的一种改进与实现[J];电子设计工程;2013年05期
7 陈云海;黄兰秋;;大数据处理对电子商务的影响研究[J];电信科学;2013年03期
8 康波;刘胜强;;基于大数据分析的互联网业务用户体验管理[J];电信科学;2013年03期
9 马建光;姜巍;;大数据的概念、特征及其应用[J];国防科技;2013年02期
10 傅中力;张煌;李坡;;大数据时代的国家安全与军事战略选择[J];国防科技;2013年02期
中国重要会议论文全文数据库 前2条
1 赵伟;陈承收;李立军;;基于MapReduce云计算模型的碰撞检测算法[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年
2 生昕格;;基于hadoop的交通云数据处理平台设计[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年
中国博士学位论文全文数据库 前2条
1 黄兰秋;基于云计算的企业竞争情报服务模式研究[D];南开大学;2012年
2 何文娜;大数据时代基于物联网和云计算的地质信息化研究[D];吉林大学;2013年
中国硕士学位论文全文数据库 前10条
1 李远方;基于云计算的Web结构挖掘算法研究[D];云南大学;2011年
2 朱敏;基于MapReduce的并行决策树分类算法研究与实现[D];江西师范大学;2011年
3 张文峰;基于MapReduce模型的分布式计算平台的原理与设计[D];华中科技大学;2010年
4 盘隆;基于MapReduce的分布式编程框架的设计与实现[D];哈尔滨工业大学;2011年
5 何荣波;MapReduce模型在Hadoop中的性能优化及改进[D];北京化工大学;2011年
6 陈承收;基于云模型与GPU缓存技术的快速碰撞检测算法研究[D];长春工业大学;2011年
7 杨喆;大规模浮动车数据处理的研究与实现[D];中国科学技术大学;2010年
8 付庆午;MapReduce作业的Data-Aware调度策略研究[D];吉林大学;2012年
9 李辉;基于云计算环境的web结构挖掘算法研究[D];浙江理工大学;2012年
10 刘范范;MapReduce与量子进化算法的研究及应用[D];安徽大学;2012年
【二级参考文献】
中国期刊全文数据库 前10条
1 黎宏剑;刘恒;黄广文;卜立;;基于Hadoop的海量电信数据云计算平台研究[J];电信科学;2012年08期
2 王珊;王会举;覃雄派;周烜;;架构大数据:挑战、现状与展望[J];计算机学报;2011年10期
3 易鲜红,朱成;用Delphi5开发多层应用系统处理大数据集的方法研究[J];计算机应用研究;2001年12期
4 王桂强;陆朝俊;;基于并行技术的大数据量统计分析探讨[J];计算机应用与软件;2011年03期
5 宋杰;;挖掘数据信息商业潜力 西班牙电信和Verizon成立大数据部门[J];通信世界;2012年43期
6 童晓渝;张云勇;房秉毅;李素粉;;电信运营商实施云计算的策略建议[J];信息通信技术;2012年01期
7 覃雄派;王会举;杜小勇;王珊;;大数据分析——RDBMS与MapReduce的竞争与共生[J];软件学报;2012年01期
8 成静静;;基于Hadoop的分布式云计算/云存储方案的研究与设计[J];数据通信;2012年05期
9 赵春雷;乔治·纳汉;;“大数据”时代的计算机信息处理技术[J];世界科学;2012年02期
10 郑启龙;王昊;吴晓伟;房明;;HPMR:多核集群上的高性能计算支撑平台[J];微电子学与计算机;2008年09期
【相似文献】
中国期刊全文数据库 前10条
1 武志文;分布式系统在保险业的应用[J];中国金融电脑;1994年08期
2 John A.Stankovic;Walter H.Kohler;鄢勇;金灿明;;当前分布式系统软件研究述评[J];计算机科学;1986年06期
3 金信苗;基于角色的访问控制模型在LDAP服务中的研究与设计[J];微电子学与计算机;2005年06期
4 汪千松,李骥;基于Oracle9i的复制技术及应用[J];计算机工程与设计;2005年07期
5 何旻中;;分布式环境下SQL Server的编程[J];微型电脑应用;2006年11期
6 杨希;;基于XML的分布式PACS系统的研究与设计[J];软件导刊;2008年01期
7 黄勇;赵靖;;一种基于分布式数据库的关联规则挖掘新算法[J];计算机技术与发展;2011年02期
8 何月顺,丁秋林;分布式“一卡通”系统数据复制技术应用研究[J];计算机系统应用;2005年07期
9 李伟,刘仁义,刘南;基于多智能体混合协同交流模型的协同GIS研究与设计[J];上海交通大学学报;2005年08期
10 周鹏;鱼滨;;基于P2P分布式数据库实时更新[J];计算机技术与发展;2007年05期
中国重要会议论文全文数据库 前10条
1 王燕;徐振朋;曹刘娟;;一种具有最小阻塞消息发送时间的检查点策略[A];第四届中国测试学术会议论文集[C];2006年
2 高杨菊梅;田平;邵红全;;基于JAVA的移动代码系统的实现技术[A];促进企业信息化进程——第九届中国Java技术及应用交流大会文集[C];2006年
3 冯锡炜;贾传荧;杨家轩;;JMS技术在分布式系统中的应用与实现[A];促进企业信息化进程——第十届中国Java技术及应用大会文集[C];2007年
4 周书民;赵明;孙亚民;;基于本地时钟选择的时钟同步算法[A];中国系统仿真学会第五次全国会员代表大会暨2006年全国学术年会论文集[C];2006年
5 任伶;林新华;伍民友;李明禄;陆鑫达;陈英;;上海网格自适应网格引擎[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
6 邓贵仕;;新一代决策支持系统(DSS)的开发[A];系统工程与可持续发展战略——中国系统工程学会第十届年会论文集[C];1998年
7 孟军;张航黎;张建英;郭禾;;分布式数据流的渐增式聚集维护算法[A];2006年全国开放式分布与并行计算学术会议论文集(二)[C];2006年
8 伊大成;;PLAN微机网络上分布式数据库安全性探讨[A];第三次全国计算机安全技术交流会论文集[C];1988年
9 贾楠;吴裕树;;分布式数据库管理系统中的安全管理设计[A];OA’99办公自动化全国学术研讨暨展示会论文集[C];1999年
10 王晓鹏;苏亮;韩伟红;周斌;;大型分布式系统部署一致性的研究与实现[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
中国重要报纸全文数据库 前10条
1 本报记者 刘洪宇;Hadoop的中国前途[N];中国计算机报;2009年
2 王珂;你想的才是你要的[N];中国电脑教育报;2002年
3 ;三层数据库模型在教务管理中的应用[N];科技日报;2006年
4 高亮;Google VS 微软:低科技之争[N];中国计算机报;2006年
5 ;BI的理性瘦身[N];网络世界;2007年
6 本报记者 刘箐箐;Informatica:大数据带来大机遇[N];计算机世界;2011年
7 ;浅谈数据库新技术[N];中国计算机报;2003年
8 刘丽华 周丹 金水高 胡凯;面向管理的HIS信息集成设计[N];计算机世界;2006年
9 ;飞康远程办公与异地灾备解决方案[N];计算机世界;2007年
10 张峰;存储安全 亲密无间[N];网络世界;2006年
中国博士学位论文全文数据库 前10条
1 郑红;分布式系统形式化建模技术研究[D];中国科学院研究生院(软件研究所);2003年
2 陈晓江;分布式系统软件体系结构建模与开发方法研究[D];西北大学;2010年
3 何盼;面向可靠性优化设计的分布式系统资源分配研究[D];重庆大学;2012年
4 赵英;基于异步网络环境的自适应时钟同步[D];北京化工大学;2004年
5 李美安;普适分布式互斥算法及应用[D];电子科技大学;2007年
6 叶飞跃;关联规则及其元规则挖掘技术研究[D];南京航空航天大学;2006年
7 王德俊;面向服务的分布式系统动态更新研究[D];上海交通大学;2010年
8 刘学军;数据流聚集查询和频繁模式挖掘的研究[D];东南大学;2006年
9 兰舟;分布式系统中的调度算法研究[D];电子科技大学;2009年
10 罗威;分布式实时容错调度算法研究[D];华中科技大学;2008年
中国硕士学位论文全文数据库 前10条
1 贺庆和;高校金融一卡通系统的研究与设计[D];华东师范大学;2009年
2 张迪;基于网格计算的人脸识别研究[D];重庆大学;2007年
3 战峰;校园金融一卡通管理系统的设计与实现[D];山东科技大学;2004年
4 孟楠;分布式内存数据库系统设计实现与应用[D];南京理工大学;2005年
5 李莉丽;实时分布系统容错调度算法的设计与实现[D];电子科技大学;2005年
6 李力;分布式民航气象信息服务系统的设计与实现[D];四川大学;2005年
7 毕伟;分布式互斥算法的研究与改进[D];河海大学;2006年
8 刘艳辉;数据交换平台的分布式应用研究[D];中国航天第二研究院;2009年
9 曲绍云;分布式异构系统中任务调度问题的研究[D];青岛大学;2005年
10 孙海鸣;基于反射的移动Agent平台中的互操作框架研究[D];河海大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026