收藏本站
《计算机应用》 2003年12期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

数据ETL工具通用框架设计

周宏广  周继承  彭银桥  龙思锐  
【摘要】:异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架,使用通用数据访问接口来屏蔽各种数据源之间的差异,并以数据清洗为主要目的,为消除多数据源的模式冲突和数据冲突提供了通用而有效的解决方案。

手机知网App
【引证文献】
中国期刊全文数据库 前10条
1 郑洪源;周良;;基于CWM的标准ETL的设计与实现[J];吉林大学学报(信息科学版);2006年01期
2 李哲琦;张莹;;基于XML的Web半结构化信息抽取[J];长春理工大学学报(自然科学版);2007年01期
3 周宏广,周继承,刘长生;基于策略模式的缺损数据处理方法[J];长沙航空职业技术学院学报;2004年02期
4 何晓峰;王钢;李海锋;;调度自动化系统增强型数据仓库平台构建及应用[J];电力系统自动化;2008年04期
5 彭银桥,甘元驹,邓锐,彭凌西;数据ETL过程中的实体识别方法[J];信息技术;2005年02期
6 胡伟;杜谦;江恭和;李熹;;增量ETL过程中对删除数据实现装载的设计[J];计算机时代;2007年07期
7 高小飞;冯杰;;一种决策树算法在数据仓库ETL中的应用与研究[J];计算机与现代化;2009年04期
8 沈志超;;软件产品平滑升级的设计实现[J];计算机与现代化;2009年08期
9 张华波;郝平;金永夫;郑国全;;基于DM的科技计划项目绩效评价系统的设计[J];控制工程;2009年S3期
10 赵俊;夏小玲;;公共数据中心的ETL系统设计与实现[J];计算机应用与软件;2011年10期
中国重要会议论文全文数据库 前1条
1 高斯;徐德华;;保险业CRM平台ETL应用研究[A];第十届中国不确定系统年会、第十四届中国青年信息与管理学者大会论文集[C];2012年
中国博士学位论文全文数据库 前2条
1 廖军;公路交通信息资源整合及系统实现研究[D];长安大学;2009年
2 寇月;Deep Web实体搜索的关键技术研究[D];东北大学;2009年
中国硕士学位论文全文数据库 前10条
1 葛迪;ETL技术在交通信息资源整合工程中的应用研究[D];哈尔滨工程大学;2010年
2 李强;审计系统中ETL的设计与实现[D];广西民族大学;2010年
3 汪涵;金融投资数据仓库中数据融合的设计与实现[D];电子科技大学;2010年
4 王旭;基于工作流的电信行业客户订单管理系统开发及应用研究[D];湖南大学;2009年
5 陈起;电信行业针对性营销系统研究与开发[D];湖南大学;2009年
6 周宏广;异构数据源集成中清洗策略的研究及应用[D];中南大学;2004年
7 王文稚;数据仓库技术在保险业的应用研究[D];华东师范大学;2006年
8 赵健;数据抽取转换工具中数据映射关系的设计及其关键技术研究[D];中南大学;2005年
9 赵燕;数据仓库设计和维护的研究与实践[D];华中科技大学;2005年
10 袁书宏;面向学生数据中心的数据集成平台的研究、设计及实现[D];浙江大学;2006年
【参考文献】
中国期刊全文数据库 前3条
1 宋宝燕,王国仁,于戈,郑怀远;模式集成代数[J];东北大学学报;1999年01期
2 朱焱;浅论数据抽取、净化和转换工具[J];计算机应用;2000年04期
3 郭志懋,周傲英;数据质量和数据清洗研究综述[J];软件学报;2002年11期
【共引文献】
中国期刊全文数据库 前10条
1 王恩德;刘畅;;面向对象技术在构建数据仓库中的应用研究[J];吉林大学学报(信息科学版);2007年05期
2 孙铁民;于杰;尚程;田大新;张丽华;;基于无监督学习的数据清洗算法[J];吉林大学学报(信息科学版);2008年06期
3 周宏广,周继承,刘长生;基于策略模式的缺损数据处理方法[J];长沙航空职业技术学院学报;2004年02期
4 杨晓春,王丹,王国仁,于戈;虚拟企业环境中支持完整性约束的主动规则[J];东北大学学报;2001年01期
5 李志辉;;ETL实施的数据质量问题研究[J];电脑知识与技术;2006年26期
6 管丽娟;;数据ETL研究与展望[J];电脑知识与技术(学术交流);2007年06期
7 高轶;;以课程知识点为基础的专家网络考试系统设计[J];电脑知识与技术;2011年05期
8 邓莎莎;梁建利;;基于互联网的异构数据源集成的研究与实现[J];上海电力学院学报;2005年04期
9 张静;;共享数据库平台在校务管理系统中的规划与实施[J];福建电脑;2008年07期
10 马翔;;粒子群优化BP神经网络用于重复记录检测[J];辽宁工程技术大学学报(自然科学版);2010年05期
中国重要会议论文全文数据库 前10条
1 刘琛玺;彭传薇;;提高医疗指标效能是新形势下医院管理的迫切需要[A];中国医院协会病案管理专业委员会第十七届学术会议论文集[C];2008年
2 陆忠良;苏厚勤;;基于Oracle/Linux环境数据抽取技术的研究与实践[A];第四届中国软件工程大会论文集[C];2007年
3 陈堃;李心科;;基于可扩展数据清理框架的元数据的研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
4 宋军;刘艺贺;;以基础信息共享支撑业务发展[A];寿命周期费用技术与协调发展[C];2010年
5 李晓荣;张伟斌;施伯乐;;一类数据实例质量的量化研究[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
6 毛明志;黄春贤;;一种新的数据仓库ETL框架及其应用[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
7 武纬;童云海;唐世渭;;ETL在保险现金流预测分析中的应用与研究[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
8 周佳庆;李晓燕;陈珂;胡天磊;陈刚;;一种自学习的中文地址判重算法[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
9 李智;宋杰;冷芳玲;王大玲;鲍玉斌;于戈;;一种基于构件扩展的数据清洗框架[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
10 相文玺;宋杰;房强;丁辉;鲍玉斌;于戈;;一种面向科学数据的通用排重模型[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
中国博士学位论文全文数据库 前10条
1 刘杰;面向数据集成的数据清理关键技术研究[D];中国科学技术大学;2010年
2 高遐;“军民结合”战略实施的制度环境与组织变革研究[D];电子科技大学;2011年
3 刘勇国;基于数据挖掘的网络入侵检测研究[D];重庆大学;2003年
4 许涛;电力系统安全稳定的智能挖掘[D];华北电力大学(北京);2004年
5 张勇;粗糙集—神经网络智能系统在浮选过程中的应用研究[D];大连理工大学;2006年
6 贾东浇;制造企业运作过程的信息集成关键技术研究[D];浙江大学;2006年
7 刘骁;信用信息共享模式与激励机理研究[D];上海交通大学;2007年
8 张瑞军;基于信息链的智能信息处理关键技术研究[D];武汉理工大学;2007年
9 林剑柠;仿真网格环境下资源管理若干关键技术研究[D];南京理工大学;2006年
10 王曰芬;文献计量法与内容分析法的综合研究[D];南京理工大学;2007年
中国硕士学位论文全文数据库 前10条
1 葛迪;ETL技术在交通信息资源整合工程中的应用研究[D];哈尔滨工程大学;2010年
2 黄晓欣;民生银行统一考核系统研究与实施[D];大连理工大学;2010年
3 张蕾;天津港煤炭货运管理系统的设计与实现[D];大连海事大学;2010年
4 高龙;天津港数据集成平台关键技术应用研究[D];大连海事大学;2010年
5 王飞;基于蚁群优化的模糊文本聚类算法研究[D];河南工业大学;2010年
6 王英翔;天津港数据集成处理平台的设计与实现[D];大连海事大学;2010年
7 牛建平;基于数据仓库和数据挖掘技术的油田生产决策分析研究[D];电子科技大学;2010年
8 高旻;多源数据清洗策略研究及在财政部门预算中的应用[D];解放军信息工程大学;2009年
9 陈华英;医疗卫生信息数据仓库及联机分析技术[D];四川大学;2001年
10 柳雪涛;数据仓库系统软件集成框架研究[D];南京航空航天大学;2002年
【同被引文献】
中国期刊全文数据库 前10条
1 欧阳为民,郑诚;一种改进的基于属性归约的知识发现方法[J];安徽大学学报(自然科学版);2000年03期
2 赵涛,李先国,胡晓东;MVC设计模式在Web应用系统框架中的扩展[J];安徽大学学报(自然科学版);2005年04期
3 刘锋;贾多杰;李晓礼;席国柱;吉永林;;无量纲化的方法[J];安顺学院学报;2008年03期
4 贾旭光,黄厚宽,黄婉秋;数据仓库中的数据集成[J];北方交通大学学报;2002年02期
5 乔颖,须德;多重粒度数据仓库的存储新策略[J];北方交通大学学报;1997年06期
6 蒋效宇,周志逵;用JCA实现企业的应用集成[J];兵工自动化;2004年02期
7 王晓云,刘鲁;数据仓库系统的数据预处理问题研究与应用[J];北京航空航天大学学报(社会科学版);2004年02期
8 邓志鸿,唐世渭,张铭,杨冬青,陈捷;Ontology研究综述[J];北京大学学报(自然科学版);2002年05期
9 李德勇,翟东升;面向证券分析的数据仓库系统研究[J];北京工业大学学报;2002年02期
10 毕靖,王青,石晓荣;神经网络数据融合机动目标跟踪算法[J];北京航空航天大学学报;2002年06期
中国重要报纸全文数据库 前2条
1 朱耿斌;[N];中国计算机报;2003年
2 记者 杨克灿;[N];金融时报;2011年
中国博士学位论文全文数据库 前8条
1 刘杰;面向数据集成的数据清理关键技术研究[D];中国科学技术大学;2010年
2 吴金华;空间数据仓库的元数据研究[D];武汉大学;2003年
3 黄萃;基于门户网站的电子政务信息资源整合机制研究[D];武汉大学;2005年
4 陈金波;面向电信CRM的数据挖掘应用研究[D];东南大学;2006年
5 邹文英;论电信产业的有效竞争[D];厦门大学;2006年
6 张旭峰;ETL若干关键技术研究[D];复旦大学;2006年
7 彭继红;中国电信运营企业核心竞争力研究[D];北京邮电大学;2007年
8 宋杰;面向多类型数据源的数据仓库构建及ETL关键技术的研究[D];东北大学;2008年
中国硕士学位论文全文数据库 前10条
1 喻小光;数据仓库的数据析取技术研究与实现[D];华侨大学;2002年
2 叶炜宇;中国电信业的有效竞争研究[D];浙江大学;2002年
3 陈少飞;Web信息抽取规则的优化及规则的XQuery表达[D];河北大学;2003年
4 王艳虹;应聘者印象管理对考官评价影响的研究[D];首都师范大学;2004年
5 张晓红;基于变换流程的ECTL工具实现[D];吉林大学;2004年
6 单友成;CRM理论及应用研究[D];天津大学;2003年
7 贺琼;空间数据仓库及OLAP技术研究[D];重庆大学;2004年
8 薛冬梅;化工企业异构数据库数据集成及数据仓库的创建[D];北京化工大学;2004年
9 胡瑞霞;客户驱动的大规模定制的产品设计方法研究[D];大连交通大学;2004年
10 胡常忠;数据仓库技术在CRM中的应用与研究[D];四川大学;2004年
【二级引证文献】
中国期刊全文数据库 前10条
1 谷赫;;电信业务数据仓库平台中接口的设计与ETL开发[J];吉林大学学报(信息科学版);2008年06期
2 王育红;;面向更新信息提取与集成的空间实体匹配方法[J];测绘科学;2011年01期
3 王育红;陈军;;GIS客户数据库更新的基本问题[J];地理信息世界;2008年01期
4 沈丽娟,金丹;ETL实施过程研究[J];科技和产业;2005年11期
5 张龙龙;夏小玲;;DWMS中数据存储系统的研究与实现[J];电子科技大学学报;2009年S1期
6 胡春潮;蔡泽祥;刘文泽;王海柱;;供电可靠性统计数据的自动提取与实时计算研究[J];电力科学与工程;2010年03期
7 李志辉;;ETL实施的数据质量问题研究[J];电脑知识与技术;2006年26期
8 郭誉明;张宝安;郭海平;王伟;;基于ETL油水井工况宏观控制管理系统的实现[J];电脑知识与技术;2008年20期
9 陈济;郭创新;刘波;周恒俊;范斗;;基于公共信息模型的自适应统一编码体系设计[J];电网技术;2010年02期
10 王茜;;“基于数据挖掘技术的社会治安智能分析系统”的设计与实现[J];福建电脑;2007年12期
中国重要会议论文全文数据库 前2条
1 王育红;陈军;;GIS客户数据库更新自动化实施算法研究[A];中国测绘学会第九次全国会员代表大会暨学会成立50周年纪念大会论文集[C];2009年
2 许力;马瑞新;;基于快照比对的增量数据捕获研究与实现[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
中国博士学位论文全文数据库 前3条
1 石友梅;符号空间复杂信任心理研究[D];吉林大学;2007年
2 李善兴;汽车制造业生产物流协同方法与仿真优化[D];吉林大学;2008年
3 陈卫东;数据质量模型及关系代数运算下质量传递理论与方法研究[D];国防科学技术大学;2007年
中国硕士学位论文全文数据库 前10条
1 商翠珍;数据资源汇聚的可视化建模技术研究与应用[D];山东科技大学;2010年
2 夏怀楠;支持跨域数据汇聚的关系数据访问服务研究[D];山东科技大学;2010年
3 吉芳;异构ERP数据源集成在网络审计中的应用研究[D];山东科技大学;2010年
4 曾祥莉;ETL在经济普查信息发布系统中的应用研究[D];哈尔滨工程大学;2010年
5 葛迪;ETL技术在交通信息资源整合工程中的应用研究[D];哈尔滨工程大学;2010年
6 黄晓欣;民生银行统一考核系统研究与实施[D];大连理工大学;2010年
7 王维家;证券公司CRM数据仓库系统的研究与设计[D];中国海洋大学;2010年
8 李强;审计系统中ETL的设计与实现[D];广西民族大学;2010年
9 童建飞;数据挖掘在电信移动客户行为分析中的应用研究[D];南昌大学;2010年
10 朱燕;非现场监管分析系统的设计与实现[D];电子科技大学;2010年
【二级参考文献】
中国期刊全文数据库 前2条
1 俞荣华;田增平;周傲英;;一种检测多语言文本相似重复记录的综合方法[J];计算机科学;2002年01期
2 邱越峰,田增平,季文贇,周傲英;一种高效的检测相似重复记录的方法[J];计算机学报;2001年01期
【相似文献】
中国期刊全文数据库 前10条
1 王妍;宋宝燕;付菡;李晓光;;引入卡尔曼滤波的RFID数据清洗方法[J];小型微型计算机系统;2011年09期
2 李静;牛静霞;孟明川;;浅谈锅炉自动控制系统中数据预处理方法[J];中小企业管理与科技(下旬刊);2011年08期
3 潘巍;李战怀;聂艳明;陈群;;一种有效的多数据源RFID冗余数据清洗技术[J];西北工业大学学报;2011年03期
4 霍凌化;徐雄;;基于web的电脑生产过程数据管理系统[J];黑龙江科技信息;2011年22期
5 魏华;;关于金融报表系统数据集成问题的探究[J];中国市场;2011年36期
6 时贵英;文必龙;王志宝;;基于数据元的数据集成技术研究[J];科学技术与工程;2011年18期
7 郭越;张明;叶爱兵;;基于ODI的高校异构数据集成的研究与实现[J];自动化技术与应用;2011年06期
8 郭大春;;信息化校园建设中跨平台数据集成的研究与实现[J];浙江万里学院学报;2011年04期
9 王亮绪;南卓铜;吴立宗;冉有华;李红星;潘小多;祝忠明;李新;丁永建;;西部数据中心数据集成和共享的回顾与展望[J];中国科技资源导刊;2010年05期
10 孔琳俊;;数字化校园数据集成分析——以浙江财经学院为例[J];科技广场;2011年05期
中国重要会议论文全文数据库 前10条
1 俞荣华;郭志懋;田增平;周傲英;;一个可扩展的数据清洗系统[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
2 蒋勇青;杨奕虹;杨贺;;论数据清洗对信息检索质量的影响及清洗方法[A];2011年中国索引学会年会暨成立二十周年庆典论文集[C];2011年
3 肖英治;陈红;;带数据清洗功能的数据预处理系统PW-ETL的设计与实现[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
4 李晓静;谷峪;吕雁飞;王艳秋;于戈;;基于动态事件概率模型的高效RFID数据清洗算法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
5 王妍;石鑫;宋宝燕;;基于伪事件的RFID数据清洗方法[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
6 曹禹;申德荣;于戈;余恩运;周文生;寇月;;数据网格内一种基于本体的数据集成处理机制[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
7 相文玺;宋杰;房强;丁辉;鲍玉斌;于戈;;一种面向科学数据的通用排重模型[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
8 李晓荣;张伟斌;施伯乐;;一类数据实例质量的量化研究[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
9 祝晓红;刘炜;李俊丽;;用WPF进行复杂数据集成的方法研究[A];第二十七届中国控制会议论文集[C];2008年
10 吕琳;朱东华;刘玉琴;;面向数据仓库的数据预处理研究综述[A];2007年中国智能自动化会议论文集[C];2007年
中国重要报纸全文数据库 前10条
1 于翔 王翔;收复数据孤岛[N];网络世界;2007年
2 于翔;集成即服务:面向云的数据集成[N];网络世界;2009年
3 ;EDI:未来存储是数据集成[N];中国计算机报;2001年
4 艾文;增强数据集成能力[N];中国计算机报;2003年
5 ;数据集成软件是头号重点[N];计算机世界;2003年
6 本报记者 霍娜;法规遵从催熟数据集成归档[N];中国计算机报;2010年
7 ;IBM收购DataMirror 强化数据集成能力[N];计算机世界;2007年
8 ;集成异构数据源[N];网络世界;2006年
9 嘉 慧;不仅要集中,而且要应用[N];计算机世界;2002年
10 邹大斌;发挥数据的最大价值[N];计算机世界;2007年
中国博士学位论文全文数据库 前10条
1 王欣;数据集成技术若干问题的研究[D];上海交通大学;2010年
2 蒋永国;面向传感网的海洋观测数据集成关键技术研究[D];中国海洋大学;2010年
3 卜志国;海洋生态环境监测系统数据集成与应用研究[D];中国海洋大学;2010年
4 陈义;面向数据集成的数据复制和查询优化[D];中国科学院研究生院(软件研究所);2004年
5 周春英;超数据集成挖掘方法与技术研究[D];浙江大学;2012年
6 马骋宇;新型农村合作医疗信息系统辅助决策方法及应用研究[D];山东大学;2010年
7 常建龙;数据流聚类及电信数据流管理[D];复旦大学;2008年
8 殷晓冬;声学测深数据处理与海陆数据集成方法研究[D];大连理工大学;2010年
9 聂培尧;基于XML的半结构数据管理及数据集成问题研究[D];西北工业大学;2002年
10 郑向群;农产品产地污染综合知识挖掘系统的研究[D];天津大学;2009年
中国硕士学位论文全文数据库 前10条
1 周宏广;异构数据源集成中清洗策略的研究及应用[D];中南大学;2004年
2 张好军;Web数据集成中数据清洗的关键问题研究[D];山东大学;2009年
3 彭媛媛;Deep Web数据清洗方法研究及应用[D];长春工业大学;2010年
4 张宇;基于多Agent的数据清洗系统的研究与实现[D];东北大学;2008年
5 崔文;基于柔性统计系统的港口企业多维度统计模式构建[D];北京交通大学;2011年
6 肖静;面向水路交通信息平台的数据处理技术与应用研究[D];南京理工大学;2007年
7 李英俊;汽车销售系统数据仓库解决方案[D];山东大学;2005年
8 于海峰;基于数据仓库的银行客户关系管理系统的研究[D];合肥工业大学;2004年
9 郭凯;面向Web文本的数据清洗关键技术的研究与实现[D];西安电子科技大学;2009年
10 梁文斌;数据清洗技术的研究及其应用[D];苏州大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026