收藏本站
《重庆大学学报(自然科学版)》 2004年05期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于Web Services的数据采集

胡泽军  李华  吴中福  
【摘要】:以异构的、自治的、分布的数据库系统构建数据仓库是个挑战,必须解决两个问题:一是采取有效的措施从各分布的异构数据源采集数据,二是对收集来的数据进行清理和格式转换。笔者分析了Webservices的开放性和互操作性,提出了以SOAP协议和HTTP协议连接Internet的异构数据源,实现基于WebServices的数据采集系统。基于组件技术,提出了一种通用的数据采集器结构,用于数据清理和数据转换。并探讨了数据采集器以XML方式实现数据转换和数据装载的核心技术。

【引证文献】
中国期刊全文数据库 前2条
1 吴春雷;崔学荣;;一种基于程序控制的Web系统数据传输方法[J];科学技术与工程;2011年21期
2 李永;;嵌入式智能油井监控系统的设计与开发[J];科学技术与工程;2012年09期
中国硕士学位论文全文数据库 前2条
1 李素军;数据仓库数据集成处理中的异构数据接口的设计与实现[D];昆明理工大学;2008年
2 姚友文;基于SOA的数据库中间件的研究与设计[D];苏州大学;2009年
【共引文献】
中国期刊全文数据库 前9条
1 孙军梅;;基于XML的适应性教学系统的设计与实现[J];福建电脑;2007年01期
2 杨雅惠;韦参梅;;.NET框架实现基于XML的串行化[J];广西质量监督导报;2008年10期
3 徐晓明,邱模波;基于XML来提高CORBA系统的可扩展性[J];计算机与现代化;2003年06期
4 景民昌,王平;基于XML的数字图书馆Web应用开发[J];计算机与现代化;2004年06期
5 潘艳阳;王移芝;;基于JMS和XML的企业应用集成的研究与应用[J];计算机技术与发展;2006年12期
6 罗新星 ,毕文杰;用Xlink创建功能强大的Web链接[J];微型机与应用;2002年07期
7 刘文庆,孙迈,潜继成,孟晓梅;XML在分布交互作战仿真中的应用[J];系统仿真学报;2003年01期
8 陈丽冰;浅谈XML与HTML和关系数据库的比较[J];中国科技信息;2005年18期
9 潘果;唐欣韵;;浅析XML的相关技术及应用[J];中国科技信息;2007年04期
中国硕士学位论文全文数据库 前10条
1 臧艳;基于WEB的企业销售链管理系统分析与设计[D];南京航空航天大学;2003年
2 张翔;基于XML与Java技术构建电子政务系统的方法研究[D];西北大学;2003年
3 康华;电子政务中安全技术的研究与应用[D];西北大学;2003年
4 陈宁;基于Web Services的水文遥测信息集成研究[D];河海大学;2005年
5 陶冶;基于遥感数字图像的GML应用研究[D];昆明理工大学;2005年
6 罗筱颖;XBRL网络财务报告模式探析[D];江西财经大学;2006年
7 王杰勋;医疗保险信息系统异构数据集成的研究与实现[D];南京航空航天大学;2007年
8 陈锋;对外汉语教材编写辅助系统的设计与实现[D];南京师范大学;2008年
9 曹立明;基于异构数据集成的药品进销存系统的设计与实现[D];华东师范大学;2008年
10 郑垒;基于服务数据对象的异构数据集成研究[D];曲阜师范大学;2009年
【同被引文献】
中国期刊全文数据库 前10条
1 周志逵,徐先传;数据仓库中数据抽取、转换及加载工具研究[J];北京理工大学学报;2003年06期
2 赵松,尹传平,林孝康;局域网技术与发展[J];电力系统自动化;2001年09期
3 史金红,吴永明;数据仓库中元数据的管理[J];电子工程师;2000年02期
4 魏勇,张权;中间件技术研究[J];电子技术应用;2004年11期
5 张世琨,王立福,常欣,杨芙清;基于层次消息总线的软件体系结构描述语言[J];电子学报;2001年05期
6 王泽彬,金飞,李夏,王冠;Web数据挖掘技术及实现[J];哈尔滨工业大学学报;2005年10期
7 徐汉川,胡润波,刘国忠;基于XML/SOAP数据交换中间件的设计[J];哈尔滨商业大学学报(自然科学版);2004年06期
8 靳强勇,李冠宇,张俊;异构数据集成技术的发展和现状[J];计算机工程与应用;2002年11期
9 顾翊,张申生,朱祥飞;一种企业应用集成(EAI)方案的研究[J];计算机工程与应用;2003年06期
10 朱晓明,刘卫东,蔺为民;数据库连接中间件的研究[J];计算机工程与应用;2003年20期
中国硕士学位论文全文数据库 前6条
1 喻小光;数据仓库的数据析取技术研究与实现[D];华侨大学;2002年
2 薛冬梅;化工企业异构数据库数据集成及数据仓库的创建[D];北京化工大学;2004年
3 连仁包;通用ETL技术的研究与实现[D];福州大学;2005年
4 赵双瑞;通用ETL工具的研究与开发[D];西安理工大学;2007年
5 刘哲;ETL过程中的数据清洗技术研究与应用[D];沈阳航空工业学院;2007年
6 武剑;数据集成平台中ETL的研究与设计[D];华北电力大学(北京);2007年
【二级引证文献】
中国博士学位论文全文数据库 前1条
1 孙笑古;基于地理信息服务平台的土地督察违法用地监测系统研究[D];南京大学;2011年
中国硕士学位论文全文数据库 前3条
1 韩建;基于SOA的矿山建设管理系统研究与实现[D];河北工程大学;2010年
2 谷文海;基于E-Bank Server的银企互联平台设计与实现[D];复旦大学;2011年
3 彭云峰;基于SOA的云南省中小学教师培训系统的设计与实现[D];北京邮电大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 胡泽军,李华,吴中福;基于Web Services的数据采集[J];重庆大学学报(自然科学版);2004年05期
2 侯书芹,袁红照;一种基于Web Services的分布式工作流系统[J];安阳师范学院学报;2005年05期
3 何红波,熊桂林,李义兵,周继承;基于Web Services的生物信息集成框架[J];系统工程;2004年02期
4 杨涛,刘锦德;Web Services技术综述——一种面向服务的分布式计算模式[J];计算机应用;2004年08期
5 刘海,毛莉;开放式企业应用集成系统的解决方案[J];现代计算机;2004年04期
6 伍长荣,叶明全;利用Delphi开发基于Web Services的应用系统[J];电脑学习;2003年06期
7 邢玉萍;基于Web Services的电子商务网站的实现[J];江苏大学学报(自然科学版);2004年02期
8 张光显,夏琳,张丽娟,倪雪如;基于Web Services实现网络文件共享[J];现代计算机;2004年09期
9 王晓静,郭建星,王安保,俞时权;Web services在EDI中的应用[J];福建电脑;2003年05期
10 陈全伟;余斌;;基于Web Services的企业订单管理系统研究[J];电脑知识与技术(学术交流);2006年20期
中国重要会议论文全文数据库 前10条
1 程尊平;张谧;郑骥枥;王晨;汪卫;施伯乐;;基于SOAP的XML安全模式研究[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
2 王俊;于爱荣;曹雷;刘晓明;;基于SOAP的分布式WEB服务的研究[A];中国航空学会信号与信息处理专业全国第八届学术会议论文集[C];2004年
3 高巍;孟玲娜;;使用Web服务实现企业应用集成(EAI)[A];全国冶金自动化信息网年会论文集[C];2004年
4 郭志懋;周傲英;;XML数据的在线过滤[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
5 何震瀛;李建中;王宏志;;XML数据的关系存储[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
6 丁峰;王煜;姚延涛;沈钧毅;;从XML模式到数据库模式[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
7 谈子敬;施伯乐;;XML导出数据库表的实现与应用[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
8 罗道峰;孟小峰;;一种面向XML文档的基于角色的扩展访问控制方法[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
9 郑骏;王焱;钱卫宁;周傲英;;XML相似相关结构库的构造及其应用[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
10 吴刚;于亚新;王国仁;于戈;;并行XML文档数据分片技术研究[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
中国重要报纸全文数据库 前10条
1 秦林;《XML完全探索》[N];中华读书报;2001年
2 IDG电讯;Microsoft、IBM共同制定XML标准[N];计算机世界;2000年
3 本报记者 李瀛寰;XML推了网络一把[N];中国计算机报;2000年
4 ;分化并不能阻止XML发展[N];中国计算机报;2000年
5 ;为XML标准定标准[N];中国计算机报;2001年
6 马;SOAP 1.2规范完成[N];中国计算机报;2003年
7 ;W3C 修订SOAP标准[N];计算机世界;2003年
8 金华;增强Web服务的SOAP1.2[N];中国计算机报;2003年
9 中国科学院软件研究所电子商务技术研究中心主任 李安渝博士;XML领域内的几项重要技术[N];中国计算机报;2001年
10 北京邮电大学 张剑;XML与HTML的结合(上)[N];计算机世界;2001年
中国博士学位论文全文数据库 前10条
1 沈洁;基于自动机的XML数据过滤研究[D];哈尔滨工程大学;2010年
2 叶晓峰;基于XML的冲压模具设计知识重用技术研究[D];华中科技大学;2010年
3 殷丽凤;不完全信息环境下XML数据库规范化问题的研究[D];哈尔滨理工大学;2009年
4 张晨静;XML关键字过滤技术[D];复旦大学;2011年
5 宁博;XML查询模式匹配及文档过滤技术研究[D];东北大学;2009年
6 汪源;XML事务模型及并发控制研究[D];浙江大学;2006年
7 张伟;数字农业空间信息管理平台开发研究[D];华东师范大学;2004年
8 许建军;对结构化和半结构化数据的关键字搜索研究[D];复旦大学;2007年
9 刘喜平;XML文档搜索中的查询处理技术研究[D];江西财经大学;2010年
10 李荷华;面向智能体的化工过程运行系统信息集成模型研究[D];华南理工大学;2003年
中国硕士学位论文全文数据库 前10条
1 杨仲明;基于XML/SOAP的合同管理系统的应用研究[D];四川大学;2005年
2 艾丽军;基于Web服务电子支付系统的研究与设计[D];南昌大学;2005年
3 杜军威;面向Web的异构数据库交换平台的设计与实现[D];青岛科技大学;2005年
4 汪健;基于SOAP协议的Web Service安全模型研究与实现[D];电子科技大学;2007年
5 刘学超;基于Web/XML的网络管理的研究与实现[D];华中师范大学;2006年
6 李儒晓;基于Web Service的企业应用集成的研究[D];武汉理工大学;2008年
7 杨剑;基于XML的异构数据交换系统的研究与实现[D];西南交通大学;2005年
8 魏建军;XML技术在工业测控系统中的应用研究[D];合肥工业大学;2005年
9 金静梅;SOAP消息传递安全性技术研究与SOAP加密的实现[D];苏州大学;2005年
10 傅徐军;电子政务协同工作电子公文交换协议的研究[D];东华大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026