收藏本站
《西安邮电学院学报》 2012年06期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

Hadoop远程过程调用机制的分析和应用

王博  陈莉君  
【摘要】:为了高效快速的开发和使用Hadoop远程通信功能,对Hadoop远程过程调用(Remote Procedure Call,RPC)机制进行分析,提出独立调用Hadoop RPC实现多客户端并发通信和大数据传输的机制,既继承Hadoop PRC框架,又在通信中增加数据文件传输,并采用线程池模拟多客户线程的测试方案。通过测试发现Hadoop远程过程调用在通信数据负载量和数据传输量的大致范围,测试方案和结论可用于Hadoop RPC应用的配置和开发。
【作者单位】西安邮电大学计算机学院;
【基金】:陕西省教育厅自然科学基金资助项目(11JK1069)
【分类号】:TP338.8

手机知网App
【参考文献】
中国期刊全文数据库 前5条
1 向小军;高阳;商琳;杨育彬;;基于Hadoop平台的海量文本分类的并行化[J];计算机科学;2011年10期
2 洪沙;杨深远;;云计算关键技术及基于Hadoop的云计算模型研究[J];软件导刊;2010年09期
3 谢桂兰;罗省贤;;基于Hadoop MapReduce模型的应用研究[J];微型机与应用;2010年08期
4 崔小燕;;Linux集群系统分析[J];西安邮电学院学报;2006年05期
5 曹风兵;吴开贵;吴长泽;;基于Hadoop的校园云计算系统[J];计算机系统应用;2011年06期
中国硕士学位论文全文数据库 前5条
1 白云龙;基于Hadoop的数据挖掘算法研究与实现[D];北京邮电大学;2011年
2 姜文;基于Hadoop平台的数据分析和应用[D];北京邮电大学;2011年
3 陈艳金;MapReduce模型在Hadoop平台下实现作业调度算法的研究和改进[D];华南理工大学;2011年
4 李宽;基于HDFS的分布式Namenode节点模型的研究[D];华南理工大学;2011年
5 陈勇;基于Hadoop平台的通信数据分布式查询算法的设计与实现[D];北京交通大学;2009年
【共引文献】
中国期刊全文数据库 前10条
1 刘斌;代素环;;基于Linux的安全WEB服务器集群的构建[J];安徽科技学院学报;2011年03期
2 开华东;田琪;;基于MapReduce集群的加权公平队列调度算法研究[J];电脑知识与技术;2011年09期
3 周全;段然;魏萌;刘斌;周小意;;基于负载的动态网页生成系统的设计与实现[J];电脑知识与技术;2011年28期
4 唐华为;;基于云计算的建筑工程监控系统设计[J];电子科技;2011年08期
5 成静静;;基于虚拟化的云桌面技术方案研究与设计[J];广东通信技术;2011年06期
6 蒋宁;李文;李鸿彬;;基于Hadoop的云计算辅助教学平台研究[J];中国远程教育;2012年09期
7 邹世军;赵红武;;基于Hadoop集群的加权循环算法的研究[J];工业控制计算机;2012年10期
8 刘斌;徐精明;代素环;葛华;;基于Linux虚拟服务器的负载均衡算法[J];计算机工程;2011年23期
9 贾瑞玉;刘范范;潘雯雯;王伟东;;基于MapReduce模型的并行量子进化算法[J];计算机工程;2012年08期
10 李响;;基于Hadoop的云计算基础架构分析[J];计算机时代;2011年11期
中国博士学位论文全文数据库 前1条
1 贾哲;分布式环境中信息挖掘与隐私保护相关技术研究[D];北京邮电大学;2012年
中国硕士学位论文全文数据库 前10条
1 刘石坚;面向对象模糊Petri网的理论及建模研究[D];长沙理工大学;2010年
2 苏伟兵;个性化Web商务信息融合关键技术研究[D];浙江大学;2010年
3 李涛;面向应用的集群资源管理系统设计与实现[D];电子科技大学;2011年
4 徐忠明;基于Hadoop的网络验证平台的研究[D];广东工业大学;2011年
5 孙伟龙;基于IaaS云计算的Web应用技术研究[D];南京理工大学;2011年
6 徐风;移动公司云计算平台原型的构建与测试[D];中南大学;2010年
7 廖玉兰;基于分布式的决策树方法研究[D];电子科技大学;2011年
8 陈璐;基于云计算的海量数据存储技术的研究及应用[D];武汉科技大学;2011年
9 王毅;基于Hadoop的Slope One及其改进算法实现[D];西南交通大学;2011年
10 冉鹏;基于分布式计算的数据挖掘研究和实现[D];华中科技大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 拓守恒;;云计算与云数据存储技术研究[J];电脑开发与应用;2010年09期
2 郑飞;;关联规则挖掘的DCOM实现[J];信息技术;2008年03期
3 苏勇;周敬利;姜明华;刘钢;;分布式存储系统中元数据系统的研究与设计[J];计算机工程与应用;2006年20期
4 谈华芳;侯紫峰;;大规模并行文件系统中的数据可靠性机制[J];计算机工程;2006年09期
5 杜聪,徐志伟;COSMOS文件系统的性能分析[J];计算机学报;2001年07期
6 陈全;邓倩妮;;云计算及其关键技术[J];计算机应用;2009年09期
7 高洁,吉根林;文本分类技术研究[J];计算机应用研究;2004年07期
8 乔鑫;;MooseFS分布式文件系统及应用[J];科技浪潮;2009年05期
9 王润华;;基于Hadoop集群的分布式日志分析系统研究[J];科技信息;2009年15期
10 余慧佳;刘奕群;张敏;茹立云;马少平;;基于大规模日志分析的搜索引擎用户行为分析[J];中文信息学报;2007年01期
中国硕士学位论文全文数据库 前5条
1 胡一俊;web超链分析应用研究[D];武汉大学;2005年
2 潘磊颖;多元数据服务器环境下的元数据管理研究[D];华中科技大学;2007年
3 赵春燕;云环境下作业调度算法研究与实现[D];北京交通大学;2009年
4 肖培棕;分布式文件系统元数据负载均衡技术研究与实现[D];中国科学技术大学;2009年
5 栾亚建;分布式文件系统元数据管理研究与优化[D];华南理工大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 段春乐;丁照宇;;云计算的关键技术及系统实例的实现[J];电脑知识与技术;2011年26期
2 马俊涛;黄如生;;以混合存储模型实现云计算平台对电信海量数据的处理[J];移动通信;2011年07期
3 张维奇,黄亚平,夏洪山;基于WWW的分布式计算[J];南京航空航天大学学报;2000年06期
4 张葵,邵新宇,朱海平;面向虚拟产品设计的专家协同评审系统[J];华中科技大学学报(自然科学版);2002年10期
5 王芸;王芬;吴志强;;基于网络通讯与分布运算技术的交通仿真研究[J];科技广场;2007年07期
6 李冰;许炜;肖宇;;基于网闸的分布式工作流系统[J];计算机与数字工程;2008年09期
7 李芳芳;;云计算现状综述[J];电脑知识与技术;2011年04期
8 王俊珠;;关于网络通讯分布与仿真技术的探究[J];经营管理者;2011年09期
9 史金松,陈贵海;网络环境下分布式并行计算研究[J];小型微型计算机系统;1994年01期
10 陈涵生;未来的分布式计算[J];计算机周刊;1997年19期
中国重要会议论文全文数据库 前10条
1 姜继忱;陈钢;;P2P之路——缔造“分布式对等”的Internet3.0[A];全面建设小康社会:中国科技工作者的历史责任——中国科协2003年学术年会论文集(下)[C];2003年
2 程果;陈荦;景宁;赵亮;左怀玉;;一种遥感影像的层次化组织分布式存储管理方法[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
3 汪军;;核心网长期演进趋势和思路[A];中国通信学会信息通信网络技术委员会2009年年会论文集(上册)[C];2009年
4 段德丰;钟慧娟;刘肖琳;;分布式计算在可视化仿真中的应用研究[A];’2004系统仿真技术及其应用学术交流会论文集[C];2004年
5 梁益华;杨永;朱朝;白文;;CFD可信度分析平台WiseCFD[A];计算流体力学研究进展——第十二届全国计算流体力学会议论文集[C];2004年
6 王义立;陈晓江;冯健;何路;陈锋;房鼎益;;网格计算:现状与进展[A];2006年全国开放式分布与并行计算学术会议论文集(二)[C];2006年
7 苏运霖;;网格计算在电网管理中的应用[A];第十一届全国电工数学学术年会论文集[C];2007年
8 龚尚福;朱宇;李占利;;大型综合类数字图书馆解决方案[A];第十四届全国煤矿自动化学术年会暨中国煤炭学会自动化专业委员会学术会议论文集[C];2004年
9 胡国玲;;分布式移动代理系统的事务管理及死锁检测研究[A];2007年全国开放式分布与并行计算机学术会议论文集(下册)[C];2007年
10 马明全;周明全;耿国华;;分布式大规模交通网络实时模拟系统[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
中国重要报纸全文数据库 前10条
1 SXYZERO;让每个人成为“科学家”[N];电脑报;2010年
2 本报记者 陈文忠;应用广泛的分布式计算[N];云南日报;2004年
3 ;开源节流话计算[N];网络世界;2002年
4 编译 沈建苗;分布式计算走向何方?[N];计算机世界;2002年
5 于尚民;IONA SOA:全面改善IT系统[N];通信产业报;2007年
6 本报记者 胡英;分布式计算时代安全如何就绪?[N];计算机世界;2002年
7 ;存储2.0时代渐行渐近[N];网络世界;2007年
8 何进伟;迈向分布式计算的C++[N];中国计算机报;2002年
9 黄言;联想服务器护航CDN网络大提速[N];中国企业报;2008年
10 山东胶南张家楼教委 杨维春;数字图书馆的待解难题[N];中国电脑教育报;2006年
中国博士学位论文全文数据库 前10条
1 胡燏翀;基于网络编码的分布式存储容错机制研究[D];中国科学技术大学;2010年
2 李彭军;医学影像云服务平台基础架构研究与实践[D];南方医科大学;2011年
3 魏青松;大规模分布式存储技术研究[D];电子科技大学;2004年
4 岳利群;基于分布式存储的虚拟地理环境关键技术研究[D];解放军信息工程大学;2011年
5 杨际祥;并行与分布式计算负载均衡问题研究[D];大连理工大学;2012年
6 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年
7 王强华;基于公共信道信令模型的网格体系结构研究[D];西北大学;2006年
8 周旭;面向Internet的大规模分布式存储技术研究[D];电子科技大学;2004年
9 姚鹤岭;基于REST的GIS Web服务研究[D];中国人民解放军信息工程大学;2005年
10 万武南;分布式安全存储系统纠删码技术的研究[D];中国科学院研究生院(成都计算机应用研究所);2006年
中国硕士学位论文全文数据库 前10条
1 姜文;基于Hadoop平台的数据分析和应用[D];北京邮电大学;2011年
2 马伟明;基于遗传算法的分布式任务调度系统的分析[D];大连理工大学;2008年
3 向晓明;基于分布式蚁群算法的TSP问题研究[D];西南交通大学;2009年
4 李潮;低压减载参数优化问题的分布式计算研究[D];浙江大学;2011年
5 张先义;基于外辐射源的无源雷达的数据采集与分布式计算[D];南京理工大学;2004年
6 唐海涛;J2EE应用服务器架构设计和EJB容器的实现[D];大连理工大学;2006年
7 王明宇;基于Mesh网络连通性问题求解的分布式计算平台的设计与实现[D];中南大学;2004年
8 王坤;基于分布式计算技术的RP通用软件系统的应用研究[D];南京航空航天大学;2002年
9 吴荣腾;基于DCOM的分布并行计算系统[D];福州大学;2004年
10 罗元盛;基于索引的准同步检查点协议研究[D];湖南大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026