收藏本站
《微电子学与计算机》 2007年09期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

MapReduce模型的调度及容错机制研究

孙广中  肖锋  熊曦  
【摘要】:MapReduce是一种并行编程模型,可以用来处理和生成大量数据集。它的调度以及容错机制是模型的重要一部分。通过对MapReduce模型的执行过程进行分析,提取得到其上面的调度以及容错模型。并将P2P模型中常用的调度思想使用于MapReduce调度模型上,对原来的调度机制和容错机制做一定的修改。

【引证文献】
中国期刊全文数据库 前10条
1 胡光民;周亮;柯立新;;基于Hadoop的网络日志分析系统研究[J];电脑知识与技术;2010年22期
2 李鑫;张鹏;;Hadoop集群公平调度算法的改进与实现[J];电脑知识与技术;2012年01期
3 王锴;施水才;王涛;吕学强;;基于MapReduce的术语权重计算方法研究[J];电信科学;2011年11期
4 曾理;王以群;;Hadoop集群和单机数据处理的耗时对比实验[J];硅谷;2009年19期
5 李成华;张新访;金海;向文;;MapReduce:新型的分布式并行计算编程模型[J];计算机工程与科学;2011年03期
6 汪竹;梅林;李磊;赵太银;胡光岷;;适应大规模数据处理的动态服务私有云系统[J];计算机应用;2012年04期
7 杨海军;;云计算环境下人工蜂群作业调度算法设计[J];数学的实践与认识;2012年10期
8 李远方;邓世昆;闻玉彪;韩月阳;;Hadoop-MapReduce下的PageRank矩阵分块算法[J];计算机技术与发展;2011年08期
9 李远方;贾时银;邓世昆;韩月阳;;基于树结构的MapReduce模型[J];计算机技术与发展;2011年08期
10 多雪松;张晶;高强;;基于Hadoop的海量数据管理系统[J];微计算机信息;2010年13期
中国硕士学位论文全文数据库 前10条
1 吴贵鑫;云计算中的MapReduce并行编程模式研究[D];河南理工大学;2010年
2 施岩;云计算研究及Hadoop应用程序的开发与测试[D];北京邮电大学;2011年
3 李波;基于Hadoop的海量图象数据管理[D];华东师范大学;2011年
4 陈艳金;MapReduce模型在Hadoop平台下实现作业调度算法的研究和改进[D];华南理工大学;2011年
5 杨永刚;云计算下关联分类技术的研究与实现[D];电子科技大学;2011年
6 孔舟;分布式虚拟化计算平台高可靠任务拆分系统的设计与实现[D];电子科技大学;2011年
7 陈璐;基于云计算的海量数据存储技术的研究及应用[D];武汉科技大学;2011年
8 刘娜;基于MapReduce的数据挖掘算法在全国人口系统中的应用[D];首都经济贸易大学;2011年
9 李远方;基于云计算的Web结构挖掘算法研究[D];云南大学;2011年
10 曹挹芬;分布式文件存储与检索平台的设计与实现[D];湖南大学;2009年
【同被引文献】
中国期刊全文数据库 前10条
1 张俐;;基于ibatis和设计模式的数据持久层的应用[J];安徽大学学报(自然科学版);2010年03期
2 王晓光;王永滨;杨晓刚;;基于用户总体满意度的遗传任务调度算法[J];中国传媒大学学报(自然科学版);2010年03期
3 董晓霞;吕廷杰;;云计算研究综述及未来发展[J];北京邮电大学学报(社会科学版);2010年05期
4 贲进;张永生;童晓冲;;GeoTIFF格式分析及其扩充应用技术探讨[J];测绘技术装备;2005年02期
5 郭乐天;;在悖论中寻找突破——温州数字报纸收费及其运营模式[J];传媒;2007年06期
6 苟凯;;解开数字报发展谜题 现代报业数字化战略背景下的数字报纸发展探索[J];中国传媒科技;2008年07期
7 陈涛;;云计算理论及技术研究[J];重庆交通大学学报(社会科学版);2009年04期
8 马学彬;温涛;郭权;王刚;;一种基于遗传算法的网格任务调度算法[J];东北大学学报(自然科学版);2007年07期
9 陆建江,徐宝文;区间数据的并行模糊聚类算法[J];东南大学学报(自然科学版);2003年04期
10 文巨峰;朱美琳;邢汉承;;面向商务智能应用的分布式数据挖掘系统设计[J];东南大学学报(自然科学版);2005年06期
中国重要会议论文全文数据库 前1条
1 秦宇强;冯秀芳;余雪丽;;网格计算中保证QoS的Agent技术[A];全国ISNBM学术交流会暨电脑开发与应用创刊20周年庆祝大会论文集[C];2005年
中国重要报纸全文数据库 前1条
1 中国科学院计算所 李国杰;[N];计算机世界;2001年
中国博士学位论文全文数据库 前6条
1 佘春东;数据挖掘算法分析及其并行模式研究[D];电子科技大学;2004年
2 许孝元;分类关联规则归纳算法及应用研究[D];华南理工大学;2005年
3 雍小嘉;采用知识发现技术判断方剂功效的方法研究[D];成都中医药大学;2006年
4 周忠眉;中医方剂数据挖掘模式和算法研究[D];浙江大学;2006年
5 罗威;分布式实时容错调度算法研究[D];华中科技大学;2008年
6 王健;容错系统中实时任务调度和负载均衡算法研究[D];浙江大学;2009年
中国硕士学位论文全文数据库 前10条
1 贾文娟;基于hive分布式计算与数据挖掘的关联性营销的设计与实现[D];北京交通大学;2011年
2 任豪栋;基于Web日志挖掘的原型系统研究与实现[D];西华大学;2011年
3 施岩;云计算研究及Hadoop应用程序的开发与测试[D];北京邮电大学;2011年
4 骆明月;基于Map-Reduce分布式日志信息处理研究与实现[D];北京邮电大学;2011年
5 姜文;基于Hadoop平台的数据分析和应用[D];北京邮电大学;2011年
6 张洪娜;云计算平台中数据存储与文件管理的研究[D];广东工业大学;2011年
7 张晓强;MapReduce在Web日志挖掘中的应用[D];电子科技大学;2011年
8 张文峰;基于MapReduce模型的分布式计算平台的原理与设计[D];华中科技大学;2010年
9 程苗;云计算技术在web日志挖掘中的应用研究[D];中国科学技术大学;2011年
10 姚颖熹;LINUX下双机数据热备份的设计与实现[D];电子科技大学;2001年
【二级引证文献】
中国期刊全文数据库 前10条
1 李珺;;基于Hadoop云计算模型探究[J];信息安全与技术;2011年06期
2 王俊生;施运梅;张仰森;;基于Hadoop的分布式搜索引擎关键技术[J];北京信息科技大学学报(自然科学版);2011年04期
3 徐鹏;陈思;苏森;;互联网应用PaaS平台体系结构[J];北京邮电大学学报;2012年01期
4 开华东;田琪;;基于MapReduce集群的加权公平队列调度算法研究[J];电脑知识与技术;2011年09期
5 蒋娟;姜瑜;;云计算与农村信息化建设[J];电脑知识与技术;2011年32期
6 李鑫;张鹏;;Hadoop集群公平调度算法的改进与实现[J];电脑知识与技术;2012年01期
7 董玉;管群;;云计算的数据计算与存储[J];电脑知识与技术;2012年16期
8 郑文武;李先绪;黄执勤;;云计算中的并行计算技术分析[J];电信科学;2011年12期
9 孙福权;张达伟;程勖;刘超;;基于Hadoop企业私有云存储平台的构建[J];辽宁工程技术大学学报(自然科学版);2011年06期
10 林大云;;基于Hadoop的微博信息挖掘[J];计算机光盘软件与应用;2012年01期
中国重要会议论文全文数据库 前1条
1 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
中国博士学位论文全文数据库 前2条
1 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
2 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
中国硕士学位论文全文数据库 前10条
1 吴贵鑫;云计算中的MapReduce并行编程模式研究[D];河南理工大学;2010年
2 苏伟兵;个性化Web商务信息融合关键技术研究[D];浙江大学;2010年
3 申志强;基于云计算的IPv6协议应用研究[D];东北财经大学;2010年
4 靳孝芳;粗糙集理论在关系数据库知识发现中的应用研究[D];电子科技大学;2011年
5 贾文娟;基于hive分布式计算与数据挖掘的关联性营销的设计与实现[D];北京交通大学;2011年
6 严格;云计算在区域医疗信息化中的应用研究[D];北京交通大学;2011年
7 石飞燕;数据密集型计算中副本优化机制研究[D];武汉理工大学;2011年
8 徐忠明;基于Hadoop的网络验证平台的研究[D];广东工业大学;2011年
9 任萱萱;基于Hadoop平台的作业调度研究[D];天津师范大学;2011年
10 杨丽婷;基于云计算数据存储技术的研究[D];中北大学;2011年
【相似文献】
中国期刊全文数据库 前10条
1 刘封;;谈分布式计算模型MapReduce与搜索引擎系统[J];知识经济;2007年08期
2 李珺;;基于Hadoop云计算模型探究[J];信息安全与技术;2011年06期
3 史广顺,骆春妹,王恺,潘武模,王庆人;印刷体图表中手绘信息的自动提取与识别[J];计算机工程;2004年19期
4 叶志翔,郭树蕻,徐玮;基于PC服务器的自动容错系统[J];计算机与现代化;2005年11期
5 姜泽雄;谢军;孙程;;基于XOR纠删码的性能分析[J];中国集成电路;2009年09期
6 王晋川;何宏;张福临;;MapReduce框架与调度容错机制研究[J];中国储运;2010年12期
7 刘云龙,姚世民,李晓峰;CIN01-A型智能网系统的容错机制简介[J];通信世界;1997年03期
8 高岚,孙铁良;长输管道SCADA系统容错机制[J];工业控制计算机;2004年08期
9 刘添添;移动Agent系统的一种安全容错机制[J];计算机工程;2005年18期
10 李航,刘治国,王光兴;一种基于分布式代理的网络管理重构机制[J];计算机工程;2005年19期
中国重要会议论文全文数据库 前10条
1 孙广中;肖锋;熊曦;;MapReduce模型的调度及容错机制研究[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
2 赵小强;李战明;刘军;;炼油生产装置调度模型与算度研究[A];第二十六届中国控制会议论文集[C];2007年
3 赵伟;陈承收;李立军;;基于MapReduce云计算模型的碰撞检测算法[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年
4 刘青;黄星武;富平源;李杰;;基于过程解析的全连铸生产调度模型[A];冶金研究中心2005年“冶金工程科学论坛”论文集[C];2005年
5 李瑞;王朝坤;郑伟;王建民;王伟平;;基于MapReduce框架的近似复制文本检测[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
6 张雷;;关于多人旅行商与调度问题[A];1995年中国控制会议论文集(下)[C];1995年
7 张雷;郑维敏;;广义旅行商问题、放映员问题和一类调度模型[A];1996年中国控制会议论文集[C];1996年
8 陈传军;胡江;饶丰;;自动化立体仓库调度问题建模[A];企业应用集成系统与技术学术研究会论文集[C];2006年
9 汪磊;方世良;郭延芬;;水声系统中间件数据流调度模型的DSP实现[A];2009年全国水声学学术交流暨水声学分会换届改选会议论文集[C];2009年
10 高雁泽;白炳泉;于俊杰;;基于最小风险的装备维修资源优化调度模型[A];第十二届中国管理科学学术年会论文集[C];2010年
中国重要报纸全文数据库 前10条
1 本报记者 朱薇;重庆:“容错机制”绝非鼓励犯错[N];经济参考报;2009年
2 刘琦;MapReduce:亚马逊云服务再添新援[N];中国计算机报;2009年
3 于迎涛;黄委开展小浪底以下河段枯水调度模型研究[N];中国水利报;2002年
4 记者 涂序波 通讯员 熊国忠;洱海湖泊区域管理信息系统开发获成功[N];大理日报(汉);2005年
5 南京邮电学院 李建忠;C#编程模型简介[N];计算机世界;2002年
6 《网络世界》记者 周源;Platform MapReduce:专注企业级用户[N];网络世界;2011年
7 工作流资深专家 刘航;中国企业迈向流程公司的十个路标[N];中国计算机报;2007年
8 本报记者 周芹 关媛媛;重庆,开放之门打得更开[N];重庆日报;2009年
9 ;SCA加速SOA编程模型统一[N];网络世界;2005年
10 寇怀忠楚楠 王博;调度系统灵活应变[N];计算机世界;2007年
中国博士学位论文全文数据库 前10条
1 谷青范;网格环境下的服务调度机制研究[D];东南大学;2006年
2 罗飞;具有数据依赖的对等高性能计算关键技术研究[D];华中科技大学;2008年
3 陈榕;多核环境下面向数据并行编程模型的性能和可伸缩性研究[D];复旦大学;2011年
4 杨博;网格任务调度与优化机制研究[D];中南大学;2008年
5 刘晓茜;云计算数据中心结构及其调度机制研究[D];中国科学技术大学;2011年
6 尚明生;网格计算中的任务调度算法研究[D];电子科技大学;2007年
7 朱响斌;开放式实时Linux的研究与设计[D];复旦大学;2005年
8 姚韵;航空公司不正常航班管理和调度算法研究[D];南京航空航天大学;2006年
9 程渤;服务网格工作流管理技术研究[D];电子科技大学;2006年
10 杨君刚;高速多级分组交换网络若干关键技术的研究[D];西安电子科技大学;2008年
中国硕士学位论文全文数据库 前10条
1 周一可;云计算下MapReduce编程模型可用性的研究与优化[D];上海交通大学;2011年
2 朱盛凯;基于MapReduce的科学计算应用性能分析与优化[D];复旦大学;2010年
3 刘少华;中国电信基站设备备件库存调度系统设计[D];华中科技大学;2008年
4 孙凯;基于启发式算法的成像卫星星地联合调度问题研究[D];国防科学技术大学;2008年
5 张文峰;基于MapReduce模型的分布式计算平台的原理与设计[D];华中科技大学;2010年
6 吴贵鑫;云计算中的MapReduce并行编程模式研究[D];河南理工大学;2010年
7 张密密;MapReduce模型在Hadoop实现中的性能分析及改进优化[D];电子科技大学;2010年
8 刘煜星;基于MapReduce的汉字识别的研究与实现[D];华南理工大学;2011年
9 陈香香;云计算中MapReduce性能优化及应用[D];重庆大学;2011年
10 万玮;基于网络处理器开发环境编译器研究及实现[D];西北工业大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026