收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

Hadoop下负载均衡的频繁项集挖掘算法研究

朱文飞  齐建东  洪剑珂  
【摘要】:频繁项集挖掘FIM(Frequent Itemsets Mining)是关联规则挖掘算法的重要组成部分。而经典Apriori和FP-Growth算法在海量数据处理时面临内存占用、计算性能等方面的瓶颈。基于Hadoop云计算平台,提出适用大数据处理的频繁项集挖掘HBFP(High Balanced parallel FP-growth)算法,设计后缀模式转换的数据分割及均衡任务分组方案,使计算节点本地拥有计算所依赖的数据,实现不同节点相互独立的并行数据挖掘方法,并保证算法全局的负载均衡特性。实验数据表明,HBFP算法能均匀地将计算量分散至不同计算节点,并行且相互独立地进行FP-Growth挖掘过程,算法效率提高了约12%,算法全局稳定性及效率取得提升。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 肖基毅,邹腊梅,刘丰;频繁项集挖掘算法研究[J];情报杂志;2005年11期
2 蔡进;薛永生;张东站;;基于分区分类法快速更新频繁项集[J];计算机工程与应用;2007年09期
3 胡学钢;徐勇;王德兴;张晶;;基于多剪枝格的频繁项集表示与挖掘[J];合肥工业大学学报(自然科学版);2007年04期
4 胡学钢;刘卫;王德兴;;基于剪枝概念格模型的频繁项集表示及挖掘[J];合肥工业大学学报(自然科学版);2007年09期
5 栾鸾;李云;盛艳;;多关系频繁项集的并行获取[J];微电子学与计算机;2008年10期
6 李彦伟;戴月明;王金鑫;;一种挖掘加权频繁项集的改进算法[J];计算机工程与应用;2011年15期
7 陈立潮,张建华,刘玉树;提高频繁项集挖掘算法效率的方法研究[J];计算机工程与应用;2002年10期
8 朱玉全,孙志挥,赵传申;快速更新频繁项集[J];计算机研究与发展;2003年01期
9 宋宝莉;张帮华;何炎祥;朱骁峰;;带有多个可转化约束的频繁项集挖掘算法[J];计算机科学;2003年12期
10 王自强,冯博琴;频繁项集的简洁表示方法研究[J];系统工程理论与实践;2004年07期
11 颜跃进;李舟军;陈火旺;;频繁项集挖掘算法[J];计算机科学;2004年03期
12 柳彦平,王文杰,荣江;频繁项集挖掘算法研究[J];微型机与应用;2005年04期
13 刘晓玲,李玉忱;一种利用逻辑“与”运算挖掘频繁项集的算法[J];中国科技信息;2005年15期
14 陈凯 ,冯全源;基于矩阵伪投影策略的频繁项集挖掘方法[J];微计算机信息;2005年23期
15 阮幼林;李庆华;杨世达;;一种基于事务树的快速频繁项集挖掘与更新算法[J];计算机科学;2005年02期
16 袁鼎荣,李波;频繁项集挖掘技术述评[J];广西民族学院学报(自然科学版);2005年01期
17 马猛,倪志伟;基于异集产生频繁项集的研究[J];计算机工程与应用;2005年08期
18 陈慧萍;王建东;王煜;;频繁项集挖掘的研究与进展[J];计算机仿真;2006年04期
19 黄龙军;章志明;段隆振;黄明和;;一种基于无向项集图的频繁项集挖掘算法[J];计算机工程与应用;2006年16期
20 唐德权;王绪峰;朱林立;谢文君;;一种快速挖掘频繁项集算法的研究[J];湖南科技学院学报;2006年05期
中国重要会议论文全文数据库 前10条
1 栾鸾;李云;盛艳;;多关系频繁项集的并行获取[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年
2 杨晓明;王晨;汪卫;张守志;施伯乐;;频繁项集的精简表达与还原问题研究[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
3 邓传国;;频繁项集挖掘与学生素质测评应用研究[A];2007系统仿真技术及其应用学术会议论文集[C];2007年
4 李彤岩;李兴明;;基于分布式关联规则挖掘的告警相关性研究[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集(下册)[C];2007年
5 王洪利;冯玉强;;频繁项集挖掘算法Apriori的改进研究[A];全国第九届企业信息化与工业工程学术会议论文集[C];2005年
6 陈晓云;李龙杰;马志新;白伸伸;王磊;;AFP-Miner:一种新高效的频繁项集挖掘算法[A];2006年全国理论计算机科学学术年会论文集[C];2006年
7 李坤;王永炎;王宏安;;一种基于乐观裁剪策略的挖掘数据流滑动窗口上闭合频繁项集的算法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
8 邹远娅;周皓峰;王晨;汪卫;施伯乐;;FSC——利用频繁项集挖掘估算视图大小[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
9 杨晓雪;衡红军;;一种对XML数据进行关联规则挖掘的方法研究[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
10 谢志军;陈红;;EFIM——数据流上频繁项集挖掘的高性能算法[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
中国博士学位论文全文数据库 前3条
1 温磊;基于有向项集图的关联规则挖掘算法研究与应用[D];天津大学;2004年
2 董杰;基于位表的关联规则挖掘及关联分类研究[D];大连理工大学;2009年
3 贾彩燕;关联规则挖掘的取样复杂性分析[D];中国科学院研究生院(计算技术研究所);2004年
中国硕士学位论文全文数据库 前10条
1 王立俊;基于多重最小支持度的髙效用频繁项集挖掘算法研究[D];广西大学;2015年
2 陈国俊;基于Hadoop的云存储系统的研究与应用[D];电子科技大学;2014年
3 尹艳红;基于Apriori算法的增量式关联规则控制研究[D];大连理工大学;2015年
4 田苗凤;大数据背景下并行动态关联规则挖掘研究[D];兰州交通大学;2015年
5 李雪迪;基于本体论的精细化数据分析[D];南京邮电大学;2015年
6 许静文;基于模糊等价类的频繁项集精简表示算法研究[D];合肥工业大学;2015年
7 郭静;最大和最长频繁项集增量更新研究[D];燕山大学;2010年
8 刘卫;基于剪枝概念格模型的频繁项集表示及挖掘研究[D];合肥工业大学;2007年
9 王洪波;基于矩阵的频繁项集挖掘算法研究[D];兰州大学;2007年
10 王春凯;挖掘正相关的频繁项集[D];郑州大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978