收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

大规模数据库中非显著特征动态数据实时挖掘技术

聂捷楠  
【摘要】:从大规模数据库中挖掘非显著性特征数据时,容易产生大量数据通信和中间数据,存在大量交集操作,影响挖掘实时性。为此,提出一种新的基于Hadoop分布式架构的非显著性特征数据实时挖掘方法。对数据显著度进行检测,提取非显著性特征;搭建Hadoop分布式架构硬件结构,按照非显著性特征数据挖掘的特性和功能,建立Hadoop分布式架构非显著性特征数据挖掘软件架构;包括交互层、应用层、非显著性特征数据挖掘层和分布式计算层。把大数据集分割为若干数据块,将数据块分配至所有计算节点,依据非显著性特征进行并行计算,将map阶段的本地输出结果合并在一起,降低节点间数据交换量。通过reduce函数把所有计算节点的临时文件合并为垂直项集,求出项支持度。当无更多频繁项集的数据输出时,即可得到非显著性特征数据。实验结果表明,所提方法挖掘结果可靠,实时性强。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 聂捷楠;;大规模数据库中非显著特征动态数据实时挖掘技术[J];科学技术与工程;2018年21期
2 刘斌;闫佳;陈兴;;浅谈大数据下的Hadoop分布式架构[J];电脑知识与技术;2016年01期
3 唐伟帼;韩冬;;基于分布式架构的广西移动统一开通系统的设计[J];信息通信;2018年05期
4 曲家文;;分布式架构应用实践及分布式技术在银行业应用趋势[J];金融电子化;2016年12期
5 刘国建;;分布式架构支撑银行综合经营与融合创新[J];金融电子化;2016年12期
6 潘润红;李家琪;陈光权;;运用分布式架构推进技术转型[J];金融电子化;2015年07期
7 张升;;分布式架构在银行的应用实践与发展[J];金融电子化;2015年06期
8 ;分布式架构关键技术[J];电脑编程技巧与维护;2016年24期
9 金磐石;;银行核心业务系统如何应用分布式架构[J];金融电子化;2016年12期
10 陈波;;分布式架构关键设计与实践探索[J];金融电子化;2016年12期
11 刘丹;程晓;侯德林;;一种基于RMI的分布式架构设计[J];计算机应用与软件;2007年09期
12 ;趋势产业防毒我先行[J];中国计算机用户;2002年34期
13 熊普江;谢宇华;;小程序,巧应用[J];中国报道;2017年02期
14 李伟;;银行业金融机构实施分布式架构的思考[J];金融电子化;2016年12期
15 陈鑫;;一种分布式架构下的实时消息同步机制的设计与实现[J];科技视界;2018年08期
16 董洛兵;尚博;李玉斌;;SOA和Web Service的区别[J];电脑知识与技术;2008年10期
17 熊辉;多层分布式架构的市场营销系统的构建原则[J];湖北电力;2004年03期
18 励跃;;数据中心分布式架构转型思考[J];金融电子化;2016年12期
19 夏阳;陈贵海;徐钊;;基于跨地域分布式架构的无限加盟电子商务新模式[J];计算机科学;2009年09期
20 万泽春;;大数据的应用与解决方案浅析[J];电脑知识与技术;2013年27期
中国重要会议论文全文数据库 前10条
1 林宇;;大数据环境下的最大频繁项目集挖掘算法[A];电力行业信息化优秀论文集2013[C];2013年
2 鲍军鹏;杨科;左宏良;;卫星数据挖掘节点级并行与优化方法[A];2018软件定义卫星高峰论坛会议摘要集[C];2018年
3 万英;蒋梁中;翟敬梅;;虚拟数据库与WEB数据挖掘[A];首届泛珠三角先进制造技术论坛暨第八届粤港机电工程技术与应用研讨会论文专辑[C];2004年
4 史东辉;蔡庆生;张春阳;;一种新的数据挖掘多策略方法研究[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
5 雷宇;;论行业信息资源的数据挖掘[A];中国烟草行业信息化研讨会论文集[C];2004年
6 马钰超;;浅析大数据和数据挖掘及其在烟草行业中的应用[A];中国烟草学会2015年度优秀论文汇编[C];2015年
7 唐杰;梅俏竹;;数据挖掘学科发展研究[A];2012-2013控制科学与工程学科发展报告[C];2014年
8 王时光;;大数据时代规划数据挖掘的创新思考[A];新常态:传承与变革——2015中国城市规划年会论文集(04城市规划新技术应用)[C];2015年
9 谢中;邱玉辉;;面向商务网站有效性的数据挖掘方法[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
10 许珂;姜山;;数据挖掘方法在科技产出分布可视化研究中的运用[A];第二届中国科技哲学及交叉学科研究生论坛论文集(硕士卷)[C];2008年
中国博士学位论文全文数据库 前10条
1 王达;时间序列数据挖掘研究与应用[D];浙江大学;2004年
2 马昕;粗糙集理论在数据挖掘领域中的应用[D];浙江大学;2003年
3 杨虎;序列数据挖掘的模型和算法研究[D];重庆大学;2003年
4 李秋丹;数据挖掘相关算法的研究与平台实现[D];大连理工大学;2004年
5 李力;数据挖掘方法研究及其在中药复方配伍分析中的应用[D];西南交通大学;2003年
6 于洪;Rough Set理论及其在数据挖掘中的应用研究[D];重庆大学;2003年
7 陈莉;KDD中的几个关键问题研究[D];西安电子科技大学;2003年
8 王莉;数据挖掘中聚类方法的研究[D];天津大学;2004年
9 佘春东;数据挖掘算法分析及其并行模式研究[D];电子科技大学;2004年
10 崔广才;基于粗糙集的数据挖掘方法研究[D];吉林大学;2004年
中国硕士学位论文全文数据库 前10条
1 汤茂思;ETrace链路追踪系统的设计与实现[D];南京大学;2018年
2 张佶;基于可扩展分布式架构的高校搜索引擎研究与实现[D];东华大学;2010年
3 王悦;分布式架构的石油天然气管道设施管理信息系统研究[D];东北石油大学;2015年
4 雷健;基于分布式架构的智能车辆管理系统设计与实现[D];浙江大学;2015年
5 刘蓉;分布式架构的石油管道设施管理信息系统研究[D];电子科技大学;2013年
6 秦滔;Hadoop分布式架构的研究与实际应用[D];北京邮电大学;2015年
7 陈杰;基于分布式架构的实体匹配技术[D];华东师范大学;2014年
8 纪风;基于划分的分布式环境:设计模式与动态划分[D];浙江大学;2008年
9 叶云;基于分布式架构的数据备份与恢复系统的设计与实现[D];吉林大学;2008年
10 赵一鸣;分布式架构下的海量文本特征分类研究[D];北京邮电大学;2014年
中国重要报纸全文数据库 前10条
1 徐云峰 中国指挥与控制学会认知与行为专委会副主任委员 中国计算机学会高级会员、中国计算机学会安全专委会常务委员 十一届、十二届全国青联委员;大数据的魅力在于一切皆可量化[N];中华读书报;2017年
2 本报记者 路沙;当Oracle遇见OpenStack云上更精彩[N];中国信息化周报;2017年
3 □中国电信股份有限公司北京研究院 张舒博 □北京邮电大学计算机科学与技术学院 牛琨;走出数据挖掘的误区[N];人民邮电;2006年
4 本报记者 张佳星;数据挖掘大战 机器怎么做到“见信如面”[N];科技日报;2018年
5 上海市浦东卫生发展研究院 孙雪松 王晓丽;数据挖掘在医学大数据研究中的应用[N];中国信息化周报;2018年
6 Bob Violino 编译 Charles;什么是数据挖掘?怎样通过分析获得洞见[N];计算机世界;2017年
7 首都师范大学 杜婧敏 方海光等;教育大数据挖掘及挑战[N];中国信息化周报;2016年
8 中国科学院数学与系统科学研究院 顾基发;以人为本的数据挖掘[N];中国社会科学报;2016年
9 本报记者 陈曲;数据挖掘:伴随大数据崛起的预言者[N];中国信息化周报;2014年
10 中国工程院院士 李德毅;大数据挖掘带动的变迁[N];中国信息化周报;2014年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978