收藏本站
《计算机与数字工程》 2014年05期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于Hadoop云平台的水利普查数据挖掘系统的设计和实现

樊龙  万定生  顾昕辰  
【摘要】:针对水利普查数据量大、属性维度多等特点,论文通过探讨和分析Hadoop的组成和运行机制,提出了一种基于Hadoop云平台的水利普查数据挖掘系统,介绍了系统的设计思想及架构,详细阐述系统内各个模块的功能作用。该系统利用Hadoop云平台实现了一种改进后的并行关联规则算法,既充分利用了Hadoop平台并行处理数据的能力,又降低了开发所需的成本。通过进行单机对比测试和集群测试,证明了系统具有更好的可用性和较高的挖掘效率。
【作者单位】河海大学计算机与信息学院;
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前6条
1 江小平;李成华;向文;张新访;;云计算环境下朴素贝叶斯文本分类算法的实现[J];计算机应用;2011年09期
2 占军;万定生;李宇;;基于Oracle数据仓库的水利普查数据展现系统[J];计算机与数字工程;2012年10期
3 郝晓飞;谭跃生;王静宇;;Hadoop平台上Apriori算法并行化研究与实现[J];计算机与现代化;2013年03期
4 王宏宇;;Hadoop平台在云计算中的应用[J];软件;2011年04期
5 谢桂兰;罗省贤;;基于Hadoop MapReduce模型的应用研究[J];微型机与应用;2010年08期
6 亢丽芸;王效岳;白如江;;MapReduce原理及其主要实现平台分析[J];现代图书情报技术;2012年02期
【共引文献】
中国期刊全文数据库 前10条
1 刘旭;何利力;郑军红;;云环境下的烟草商务智能研究[J];工业控制计算机;2012年09期
2 李亮;;全台网环境下的云视频素材转码系统的设计[J];电视技术;2013年10期
3 邹青春;;基于云计算环境的考试数据挖掘算法研究[J];信息安全与技术;2013年07期
4 苏韦;李景文;刘华尧;张海英;欧阳云;;基于MapReduce的时空数据模型设计方法[J];测绘与空间地理信息;2013年07期
5 王苏卫;;基于Hadoop和Hive的电信行业数据仓库研究[J];电子技术与软件工程;2013年11期
6 谢峰;;基于Hadoop的云存储平台设计研究[J];电子技术与软件工程;2013年16期
7 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期
8 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期
9 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期
10 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期
中国博士学位论文全文数据库 前10条
1 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年
2 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年
3 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年
4 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年
5 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年
6 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年
7 肖奎;维基百科大数据的知识挖掘与管理方法研究[D];武汉大学;2013年
8 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年
9 马冯;数据密集型计算环境下贝叶斯网的学习、推理及应用[D];云南大学;2013年
10 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年
中国硕士学位论文全文数据库 前10条
1 徐风;移动公司云计算平台原型的构建与测试[D];中南大学;2010年
2 廖玉兰;基于分布式的决策树方法研究[D];电子科技大学;2011年
3 王毅;基于Hadoop的Slope One及其改进算法实现[D];西南交通大学;2011年
4 李海波;基于MapReduce框架的分布式网络爬行器研究[D];哈尔滨工程大学;2011年
5 刘永增;基于Hadoop/Hive的海量web日志处理系统的设计与实现[D];大连理工大学;2011年
6 李倩;基于MapReduce模型的eMTM三维人体模型生成引擎[D];东华大学;2012年
7 李元洪;基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现[D];南京理工大学;2012年
8 吴娟;一个视频网站数据统计系统的设计与实现[D];南京大学;2012年
9 李辉;基于云计算环境的web结构挖掘算法研究[D];浙江理工大学;2012年
10 魏玉英;基于MapReduce的网络书写纹识别关键技术研究[D];华中师范大学;2012年
【二级参考文献】
中国期刊全文数据库 前10条
1 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期
2 孙牧;;云端的小飞象—Hadoop[J];程序员;2008年10期
3 陈慧萍;林莉莉;王建东;苗新蕊;;WEKA数据挖掘平台及其二次开发[J];计算机工程与应用;2008年19期
4 李成华;张新访;金海;向文;;MapReduce:新型的分布式并行计算编程模型[J];计算机工程与科学;2011年03期
5 张玉芳,熊忠阳;数据仓库数据模型的设计[J];计算机应用;1999年09期
6 陈全;邓倩妮;;云计算及其关键技术[J];计算机应用;2009年09期
7 李建锋;彭舰;;云计算环境下基于改进遗传算法的任务调度算法[J];计算机应用;2011年01期
8 江小平;李成华;向文;张新访;;云计算环境下朴素贝叶斯文本分类算法的实现[J];计算机应用;2011年09期
9 张建勋;古志民;郑超;;云计算研究进展综述[J];计算机应用研究;2010年02期
10 王润华;;基于Hadoop集群的分布式日志分析系统研究[J];科技信息;2009年15期
中国重要会议论文全文数据库 前1条
1 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
中国硕士学位论文全文数据库 前5条
1 施岩;云计算研究及Hadoop应用程序的开发与测试[D];北京邮电大学;2011年
2 霍树民;基于Hadoop的海量影像数据管理关键技术研究[D];国防科学技术大学;2010年
3 金松昌;基于HDFS的多用户并行文件IO的设计与实现[D];国防科学技术大学;2010年
4 李军华;云计算及若干数据挖掘算法的MapReduce化研究[D];电子科技大学;2010年
5 余楚礼;基于Hadoop的并行关联规则算法研究[D];天津理工大学;2011年
【相似文献】
中国期刊全文数据库 前10条
1 陆如松;闪四清;;基于抽样策略的关联规则算法[J];大众科技;2006年02期
2 范文建;戴齐;陈明;;基于粗糙集的关联规则算法的研究[J];福建电脑;2006年04期
3 吴佳佳;;关联规则算法在教学评价中的研究与应用[J];科技信息;2010年07期
4 许普乐;;关联规则算法在教务管理信息系统中的应用[J];芜湖职业技术学院学报;2010年04期
5 刘凯;赵跃龙;;关联规则挖掘在医保稽查中的应用研究[J];科技信息(科学教研);2007年33期
6 汤震;;商务智能系统中两种改进的关联规则挖掘算法[J];华北水利水电学院学报;2009年05期
7 王伟勤;钟敬堂;;对Apriori算法的一种改进[J];佛山科学技术学院学报(自然科学版);2007年02期
8 王嵩岩;;基于数据挖掘的关联规则研究[J];吉林省经济管理干部学院学报;2008年01期
9 董萍;;关联规则在学生成绩中的数据挖掘[J];三门峡职业技术学院学报;2009年04期
10 朱小栋,郑诚,舒坚,陈振;关联规则的哈希修剪算法研究[J];安徽大学学报(自然科学版);2005年04期
中国重要会议论文全文数据库 前10条
1 郭学军;陈晓云;;粗集方法在数据挖掘中的应用[A];第十六届全国数据库学术会议论文集[C];1999年
2 徐慧;;基于Web的文献数据挖掘[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
3 孙迎;;医院信息的数据挖掘与方法研究[A];中华医学会第十次全国医学信息学术会议论文汇编[C];2004年
4 薛晓东;李海玲;;数据挖掘的客户关系管理应用[A];科技、工程与经济社会协调发展——河南省第四届青年学术年会论文集(下册)[C];2004年
5 郭建文;黄燕;印鉴;杨小波;梁兆辉;;建立中风病“阴阳类证”辨证规范的数据挖掘研究[A];中华医学会第十三次全国神经病学学术会议论文汇编[C];2010年
6 薛鲁华;张楠;;聚类分析在Web数据挖掘中的应用[A];北京市第十三次统计科学讨论会论文选编[C];2006年
7 朱扬勇;黄超;;基于多维模型的交互式数据挖掘框架[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
8 陈涛;胡学钢;陈秀美;;基于数据挖掘的教学质量评价体系分析[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
9 王星;谢邦昌;戴稳胜;;数据挖掘在保险业中的应用[A];北京市第十二次统计科学讨论会论文选编[C];2003年
10 郭建文;黄燕;印鉴;杨小波;梁兆辉;;建立中风病阴阳类证辨证规范的数据挖掘研究[A];2010中国医师协会中西医结合医师大会摘要集[C];2010年
中国重要报纸全文数据库 前10条
1 李开宇 黄建军 田长春;把“数据挖掘”作用发挥出来[N];中国国防报;2009年
2 华莱士;“数据挖掘”让银行赢利更多[N];国际金融报;2003年
3 记者 晏燕;数据挖掘让决策者告别“拍脑袋”[N];科技日报;2006年
4 □中国电信股份有限公司北京研究院 张舒博 □北京邮电大学计算机科学与技术学院 牛琨;走出数据挖掘的误区[N];人民邮电;2006年
5 张立明;数据挖掘之道[N];网络世界;2003年
6 中圣信息技术有限公司 李辉;数据挖掘在CRM中的作用[N];中国计算机报;2001年
7 田红生;数据挖掘在CRM中的应用[N];中国经济时报;2002年
8 王广宇;数据挖掘 加速银行CRM一体化[N];中国计算机报;2004年
9 周蓉蓉;数据挖掘需要点想像力[N];计算机世界;2004年
10 张舒博;数据挖掘 提升品牌的好帮手[N];首都建设报;2009年
中国博士学位论文全文数据库 前10条
1 孙丽;工艺知识管理及其若干关键技术研究[D];大连交通大学;2005年
2 胡志坤;复杂有色金属熔炼过程操作模式智能优化方法研究[D];中南大学;2005年
3 刘革平;基于数据挖掘的远程学习评价研究[D];西南师范大学;2005年
4 刘寨华;基于临床数据分析的病毒性心肌炎证候演变规律研究[D];黑龙江中医药大学;2006年
5 王川;基因芯片数据管理及数据挖掘[D];中国科学院研究生院(上海生命科学研究院);2004年
6 王涛;挖掘序列模式和结构化模式的精简集[D];华中科技大学;2006年
7 郭斯羽;动态数据中的数据挖掘研究[D];浙江大学;2002年
8 李旭升;贝叶斯网络分类模型研究及其在信用评估中的应用[D];西南交通大学;2007年
9 刘东升;面向连锁零售企业的客户关系管理模型(R-CRM)研究[D];浙江工商大学;2008年
10 余红;网络时政论坛舆论领袖研究[D];华中科技大学;2007年
中国硕士学位论文全文数据库 前10条
1 杨静;数据挖掘在煤与瓦斯突出关联因素分析中的应用研究[D];河南理工大学;2009年
2 曹路舟;关联规则算法在高职院校贫困生认定工作中的应用[D];安徽大学;2011年
3 全姣;政府采购资金使用数据挖掘研究[D];重庆理工大学;2011年
4 廖赛恩;养生方数据挖掘分析系统的研制[D];湖南中医药大学;2010年
5 李坤然;数据挖掘在股市趋势预测的应用研究[D];中南林业科技大学;2008年
6 郑宏;数据挖掘可视化技术的研究与实现[D];西安电子科技大学;2010年
7 杜金刚;数据挖掘在电信客户关系管理及数据业务营销中的应用[D];北京邮电大学;2010年
8 徐路;基于决策树的数据挖掘算法的研究及其在实际中的应用[D];电子科技大学;2009年
9 梁小鸥;数据挖掘在高职教学管理中的应用[D];华南理工大学;2011年
10 王浩;数据挖掘在上海市职业能力考试院招录考试优化管理项目中的运用研究[D];华东理工大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026