收藏本站
《计算机与现代化》 2011年09期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

分布式ETL负载均衡策略研究

张亮  夏秀峰  
【摘要】:在分析分布式ETL中负载均衡重要性的基础上,针对传统ETL应用于分布式数据仓库中效率低的缺陷,提出一种根据ETL节点所抽取的数据类型不同对分布式ETL节点抽取的数据进行分割的策略,以及一种新的负载均衡模型—链网模型和Routers相结合的R-CN模型。在此基础上提出一种基于ETL数据分片和R-CN模型相结合的分布式ETL节点负载调度和均衡策略。此策略使ETL节点的数据处理能力有了很大的提高,有效地提高了分布式ETL的效率。

【参考文献】
中国期刊全文数据库 前10条
1 刘建;李绪志;;一种动态负载均衡机制的研究与实现[J];计算机工程与应用;2006年02期
2 汪建球,张忠能;分布式Web服务器中负载均衡的实现[J];计算机工程;2003年15期
3 盖九宇,张忠能,肖鹤;分布式数据库数据复制技术的分析与应用[J];计算机应用与软件;2005年07期
4 唐萍;;分布式空间数据仓库的构建与OLAP服务实现[J];计算机与现代化;2010年05期
5 田绍亮;左明;吴绍伟;;一种改进的基于动态反馈的负载均衡算法[J];计算机工程与设计;2007年03期
6 陈伟江;郭朝珍;;分布式ETL中协同机制的研究与设计[J];通信学报;2006年11期
7 喻莉;阮文涛;;负载均衡技术的研究与实现[J];计算机技术与发展;2007年08期
8 花海洋;李一凡;赵怀慈;;基于分布式数据仓库技术的ETL系统的研究与应用[J];微计算机信息;2006年30期
9 陈登伟,鲁智勇;网络动态负载均衡算法分析[J];现代电子技术;2003年21期
10 叶晨;;网络中基于多链路负载均衡策略的分析[J];西南石油学院学报;2006年02期
中国硕士学位论文全文数据库 前1条
1 杨一平;分布式数据仓库中数据调度机制的研究与设计[D];北京邮电大学;2006年
【共引文献】
中国期刊全文数据库 前10条
1 黄世权;;负载均衡技术在防火墙集群中的应用[J];安徽大学学报(自然科学版);2008年06期
2 陈红华;王志杰;郑加柱;史晓云;;基于空间ETL实现VCT数据交换共享[J];测绘科学;2012年01期
3 顾清;;企业网Internet接入高可用性技术[J];电脑知识与技术;2008年33期
4 赵亮;汪国安;;基于分布式数据库的入侵检测系统[J];电脑知识与技术;2009年24期
5 吕丽平;臧国轻;;基于LVS服务器集群的研究[J];电脑知识与技术;2010年21期
6 陶安;张伍荣;;群集技术在校园网服务的应用研究[J];电脑知识与技术;2011年26期
7 王连备;范永弘;贲进;;空间数据服务效率优化策略[J];地理空间信息;2011年02期
8 金杉;任波;;基于进程调度的ERP系统负载均衡算法[J];电力信息化;2010年07期
9 景慎艳;;分布式数据库同步技术及其应用[J];电子工程师;2008年12期
10 李岩;;基于XML的系统数据集成方法研究及应用[J];电子科技;2009年04期
中国重要会议论文全文数据库 前4条
1 王辉;;网络性能与WEB服务器负载均衡研究[A];陕西省图书馆学会第五次会员代表大会暨学术研讨会与全国图书馆部室主任工作、学术研讨会论文集[C];2003年
2 梁勇;阳国贵;;MySQL数据库的事务一致性研究[A];2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集[C];2009年
3 宋薇;袁鑫昌;张小云;;媒体网关控制器负载均衡实现方法[A];武汉市第二届学术年会、通信学会2006年学术年会论文集[C];2006年
4 张国强;贾素玲;刘琦;王强;;远洋运输企业数据集成技术研究及应用[A];2008第四届中国智能交通年会论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 刘杰;面向数据集成的数据清理关键技术研究[D];中国科学技术大学;2010年
2 向军;网络处理器并行线速处理关键技术研究[D];华南理工大学;2010年
3 向生建;安全中间件系统关键技术研究[D];电子科技大学;2006年
4 刘巍巍;同步协同CAD/CAM系统及其关键技术研究[D];南京航空航天大学;2005年
5 周昔平;多线程网络处理器分布式内核结构研究[D];西北工业大学;2006年
6 石友梅;符号空间复杂信任心理研究[D];吉林大学;2007年
7 宋旭东;企业集团数据仓库系统关键技术研究[D];大连理工大学;2010年
8 黄海;实时内容计费的关键技术研究[D];北京邮电大学;2009年
9 罗显刚;数字地球三维空间信息服务关键技术研究[D];中国地质大学;2010年
10 宋杰;面向多类型数据源的数据仓库构建及ETL关键技术的研究[D];东北大学;2008年
中国硕士学位论文全文数据库 前10条
1 刘汉玲;基于Web Service的分布式系统中动态负载均衡策略的研究与实现[D];哈尔滨工程大学;2010年
2 张志强;数据集成技术及其应用研究[D];哈尔滨工程大学;2010年
3 刘石坚;面向对象模糊Petri网的理论及建模研究[D];长沙理工大学;2010年
4 梁乾宇;分布式共享技术的研究与实现[D];华南理工大学;2010年
5 阮文娟;商务智能ETL过程优化及质量控制在航空预警中的应用研究[D];武汉理工大学;2010年
6 吴金保;负载均衡技术在防伪税控系统中的应用[D];北方工业大学;2010年
7 白胜楠;多链路接入校园网对外服务优化策略研究[D];河北科技大学;2010年
8 吴靖;多城市、多平台交通信息网络结构研究[D];吉林大学;2011年
9 童瑞霞;基于动态反馈机制的集群负载均衡算法研究[D];武汉理工大学;2011年
10 李传勇;业务规则管理系统部署子系统的关键技术的研究[D];北京邮电大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 李喆,金春慧,何荣希;一种实现负载均衡的波长选路算法[J];东北大学学报;2005年02期
2 樊明辉,陈崇成,池天河;省级海洋动力环境监测分布式数据仓库的设计与构建[J];地球信息科学;2005年02期
3 蓝荣钦,林丽霞,陈良友,赵宁军;空间数据挖掘和知识发现的现状与发展[J];地理空间信息;2004年03期
4 胡桂香;数据库复制的设计和管理[J];电子工程师;2002年05期
5 余达太,蓝荣钦,张世涛,关爱杰;空间数据挖掘的方法和实施[J];测绘学院学报;2003年02期
6 陈崇成,肖桂荣,孙飒梅,陈志浩;空间决策支持系统的集成体系结构及其实现途径[J];计算机工程与应用;2001年15期
7 王晓川,叶超群,金士尧;一种基于分布式调度机制的集群体系结构[J];计算机工程;2002年08期
8 潘群华,吴秋云,陈宏盛;分布式数据库系统中数据一致性维护方法[J];计算机工程;2002年09期
9 任彦琦,彭勤科,胡保生;一种基于内容的Web集群服务器负载均衡算法[J];计算机工程;2005年02期
10 李文正,郭巧,王利,郭为民;Internet服务器负载均衡的研究与实现[J];计算机工程;2005年06期
中国硕士学位论文全文数据库 前2条
1 贺琼;空间数据仓库及OLAP技术研究[D];重庆大学;2004年
2 张洪武;服务器集群与均衡技术研究[D];重庆大学;2004年
【相似文献】
中国期刊全文数据库 前10条
1 花海洋;李一凡;赵怀慈;;基于分布式数据仓库技术的ETL系统的研究与应用[J];微计算机信息;2006年30期
2 于宝琴,王太勇,何改云,李国琴,王双利;一种基于分布式数据仓库的文件集快速更新算法[J];制造业自动化;2005年10期
3 白素兰;;数据仓库维度建模与ETL过程[J];辽宁高职学报;2008年10期
4 刘洋;毕红军;路静;;ETL系统的研究与实现[J];内蒙古科技与经济;2008年20期
5 魏苑琦;王兴;胡小琴;;ETL在银联项目中的应用[J];软件导刊;2008年11期
6 王黎峰;;面向中小企业的数据仓库架构设计与实现[J];农业网络信息;2009年12期
7 毕锟;刘军;;ETL系统的设计及其研究[J];软件导刊;2010年05期
8 赵云;谢翠萍;;基于数据仓库的电信网络分析系统研究[J];电脑知识与技术(学术交流);2007年06期
9 郑传钦;陈维斌;;基于ETL技术的个人客户经理考核系统[J];福建电脑;2007年11期
10 宋杰;王大玲;鲍玉斌;于戈;;一种元数据驱动的ETL方法的研究[J];小型微型计算机系统;2007年12期
中国重要会议论文全文数据库 前10条
1 张延松;薛永生;张宇;;基于分布式数据仓库集成与多维数据查询方法研究[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
2 张晓明;林小竹;;分布式应用系统中的ETL开发方法学研究[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
3 毛明志;黄春贤;;一种新的数据仓库ETL框架及其应用[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
4 蒋理成;;增量数据抽取(ETL)技术[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
5 张卫华;方幼林;杨冬青;唐世渭;余立波;付强;;数据仓库ETL过程支撑框架研究[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
6 武纬;童云海;唐世渭;;ETL在保险现金流预测分析中的应用与研究[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
7 宗胜旺;张晖;;通用ETL的研究与实现[A];全国第十届企业信息化与工业工程学术年会论文集[C];2006年
8 张坜;孙国强;;集装箱运输系统ETL的设计与实现[A];第七届全国信息获取与处理学术会议论文集[C];2009年
9 许威;朱顺痣;缪克华;王颖;李茂青;;同步/异步ETL架构的比较[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
10 叶政;杨春节;宋执环;;面向大型服饰企业销售决策的分布式数据仓库设计[A];第25届中国控制会议论文集(中册)[C];2006年
中国重要报纸全文数据库 前10条
1 星光;认识RAID[N];网络世界;2000年
2 ;HP[N];网络世界;2000年
3 ;猫儿你快些走[N];中国计算机报;2001年
4 ;美国的认证制度[N];国际商报;2002年
5 朱黎丽;北京房价数据不再“打架”?[N];中国经济导报;2007年
6 函函;玩儿转磁盘阵列(下)[N];中国电脑教育报;2005年
7 本报记者 周蓉蓉 四木;事半功倍的BI利器[N];计算机世界;2001年
8 中国建设银行三峡分行 李亮元;RAID系统可靠性分析[N];计算机世界;2003年
9 石竹;海尔建成“ETL”空调试验室[N];科技日报;2002年
10 王善越;BI造就智能商业[N];网络世界;2001年
中国博士学位论文全文数据库 前10条
1 栗然;电力负荷分析与预测的分布式数据仓库和数据挖掘研究[D];华北电力大学(河北);2009年
2 宋杰;面向多类型数据源的数据仓库构建及ETL关键技术的研究[D];东北大学;2008年
3 许威;支持数据仓库国际化的ETL技术中若干关键问题研究和实践[D];厦门大学;2007年
4 毛国君;数据挖掘技术与关联规则挖掘算法研究[D];北京工业大学;2003年
5 张旭峰;ETL若干关键技术研究[D];复旦大学;2006年
6 李泽海;数据仓库中多维数据处理与查询相关技术的研究[D];吉林大学;2005年
7 刘元朋;基于特征的航空发动机管路反求建模系统关键技术研究[D];西北工业大学;2006年
8 杜建超;基于H.264/AVC的视频容错技术研究[D];西安电子科技大学;2006年
9 侯澍旻;时序数据挖掘及其在故障诊断中的应用研究[D];武汉科技大学;2006年
10 陈学君;甘肃省气象科学数据共享平台及其应用研究[D];兰州大学;2009年
中国硕士学位论文全文数据库 前10条
1 于红蕾;数据仓库技术在电信统计分析系统中的应用研究[D];西北大学;2007年
2 周文渊;电信行业经营分析系统的设计[D];中南大学;2009年
3 刘龙青;基于数据仓库的TQS系统[D];华侨大学;2005年
4 张可新;基于数据仓库的企业运营决策支持系统[D];吉林大学;2007年
5 潘晓辉;人寿保险数据仓库的设计与实现[D];哈尔滨工程大学;2008年
6 卢琳;电信企业经营分析系统建设[D];山东大学;2005年
7 高宏华;信用卡管理信息系统的研究与实现[D];厦门大学;2008年
8 陆琦;点击流数据仓库在智能导学系统中的应用研究[D];东北师范大学;2009年
9 李可夫;邮政名址数据仓库中ETL的设计与实现[D];北京邮电大学;2008年
10 林志宏;基于ERP的DW研究与实现[D];厦门大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026