收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

面向数据质量的ETL过程建模与实现

贾自艳  黄友平  罗平  李嘉佑  秦亮曦  史忠植  
【摘要】:为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程统一的体系结构设计,包括ETL元数据对象建模、ETL转换函数设计、ETL任务建模以及ETL任务模型的描述语言(XTDL)。基于该体系结构和设计思想开发出一个ETL系统—MSETL,目的是为多策略数据挖掘平台(MSMiner)提供高质量的数据。它提供友好界面并对ETL过程进行统一的元数据管理,包括:ETL转换函数的注册和删除;任务模型的生成、执行和删除等功能。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 冯茜茜;;国航数据风暴[J];信息方略;2010年Z2期
2 蒋杰;;深入浅出数据仓库平台统一架构[J];程序员;2010年11期
3 刘哲;;数据清洗技术在网络教学评价体系中的应用[J];网络与信息;2011年08期
4 许翠苹;;山西移动:商务智能使企业决策更胜一筹——Teradata数据仓库深挖数据价值的经验分享[J];通讯世界;2011年06期
5 丁俊明;;数据仓库在医院决策管理系统中的应用[J];科技创新导报;2011年16期
6 ;美国明尼苏达州蓝十字与蓝盾携手 Teradata天睿公司为会员增加价值[J];电信科学;2011年07期
7 ;Teradata天睿公司推出新款具备极佳性价比和可扩展性的巨量数据专用平台[J];电脑与电信;2011年06期
8 常颖;王一茹;;浅析军队医院信息系统数据仓库的构建[J];中国中医药现代远程教育;2011年09期
9 冯茜茜;;张江涛:从乙方到甲方的蜕变[J];信息方略;2010年08期
10 王海军;;数据挖掘提高企业决策分析[J];福建电脑;2011年06期
11 侯筱婷;鲁萍;;SQL存储过程实现相似重复记录检测[J];软件导刊;2011年07期
12 薛东海;;数据挖掘技术在投资项目决策中的应用[J];数字技术与应用;2011年07期
13 田霞;许道芳;;数据仓库和数据挖掘在医院管理中的应用[J];医学信息(上旬刊);2011年07期
14 吕鸣剑;;数据挖掘在知识工程中的应用研究[J];电脑知识与技术;2011年23期
15 任重;;数据挖掘技术在保险购买行为分析中的应用[J];科技信息;2011年22期
16 伊宏;;数据挖掘技术概述[J];中国标准导报;2008年03期
17 王寅同;高如家;吴海飞;;医学数据挖掘过程的研究[J];软件工程师;2011年08期
18 陈振;刘颖;;数据仓库和OLAP技术在门业制造车间质量管理中的应用研究[J];科技创业月刊;2011年07期
19 林雯;;数据挖掘技术在教师管理系统中的应用[J];科教新报(教育科研);2011年24期
20 郑亚兰;;铁路货运车流预控系统设计研究[J];铁路计算机应用;2011年06期
中国重要会议论文全文数据库 前10条
1 宋擒豹;沈钧毅;;数据仓库体系结构研究[A];第十六届全国数据库学术会议论文集[C];1999年
2 毛明志;黄春贤;;一种新的数据仓库ETL框架及其应用[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
3 张卫华;方幼林;杨冬青;唐世渭;余立波;付强;;数据仓库ETL过程支撑框架研究[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
4 严哲南;楼荣生;;窗口算法问题的解决方案[A];第十六届全国数据库学术会议论文集[C];1999年
5 杨崇联;谢旭升;;基于数据仓库的政府决策支持服务系统研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
6 刘刚;付忠广;申鹏飞;郑玲;靳涛;;基于发电厂机组数据仓库的数据挖掘系统的研究[A];2004电站自动化信息化学术技术交流会议论文集[C];2004年
7 姚卿达;屈定春;;联邦数据库互操作方法在数据仓库中的应用[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
8 唐蕾;张剡;柏文阳;徐洁磐;;数据仓库工具集NGDW-1的设计与实现[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
9 廖燕玲;卢语丹;阮艳萍;高丽金;;高校教学决策支持系统的数据仓库研究[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年
10 刘伟宏;李晋晋;何瑷;徐洁磐;;数据仓库及其在OMNIX中的实现[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
中国博士学位论文全文数据库 前10条
1 孟京辉;经营单位级森林经营数据仓库研建及应用研究[D];中国林业科学研究院;2011年
2 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年
3 陈燕;数据仓库的设计与实现[D];大连理工大学;2000年
4 克里木;自适应数据仓库系统的研究与实现[D];大连理工大学;2003年
5 宋杰;面向多类型数据源的数据仓库构建及ETL关键技术的研究[D];东北大学;2008年
6 陈金玉;数据仓库实体化视图联机—致性维护研究[D];重庆大学;2002年
7 张智;相互作用组异构数据集成研究[D];北京协和医学院;2011年
8 马骋宇;新型农村合作医疗信息系统辅助决策方法及应用研究[D];山东大学;2010年
9 麦永浩;数据仓库和数据挖掘方法研究及其在公安信息建设中的应用[D];华东理工大学;2000年
10 刘厚泉;移动位置服务动态任务模型及其信息交互模式研究[D];中国矿业大学;2009年
中国硕士学位论文全文数据库 前10条
1 于海峰;基于数据仓库的银行客户关系管理系统的研究[D];合肥工业大学;2004年
2 梁文斌;数据清洗技术的研究及其应用[D];苏州大学;2005年
3 廉博;数据仓库中ETL技术的研究与实现[D];沈阳工业大学;2006年
4 周芝芬;基于数据仓库的数据清洗方法研究[D];东华大学;2004年
5 李英俊;汽车销售系统数据仓库解决方案[D];山东大学;2005年
6 张宇;基于多Agent的数据清洗系统的研究与实现[D];东北大学;2008年
7 殷员分;高考考生志愿数据分析与挖掘研究[D];西南大学;2010年
8 郭旭;气象数据管理与预报系统的设计与实现[D];东北大学;2008年
9 蔡海敏;商务智能技术在高考加分政策及其评估中的应用[D];西南大学;2010年
10 彭媛媛;Deep Web数据清洗方法研究及应用[D];长春工业大学;2010年
中国重要报纸全文数据库 前10条
1 本报记者 程亮;数据仓库人才紧缺[N];人才市场报;2005年
2 本报记者 周松林;上证所建成国内首个数据仓库灾备系统[N];中国证券报;2008年
3 万振龙;动态数据仓库承接历史与未来[N];网络世界;2009年
4 本报记者 田梦;数据仓库 如何筑起信息管理大厦[N];计算机世界;2009年
5 ;主流数据仓库产品[N];计算机世界;2009年
6 本报记者 谭啸;上证所的数据仓库之路[N];计算机世界;2009年
7 本报特约撰稿人 王翔 本报记者 于翔;数据仓库 2.0为颠覆而来[N];网络世界;2010年
8 本报记者 于翔;数据仓库后来者的整合之道[N];网络世界;2010年
9 本报记者 潘永花;数据仓库创新与众不同[N];网络世界;2010年
10 本报记者 潘永花;数据仓库走向专用平台?[N];网络世界;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978