收藏本站
《计算机应用》 2017年S1期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于MapReduce的密度聚类改进算法

邱宁佳  李宾  王鹏  杨华民  王玮琦  
【摘要】:针对空间密度聚类算法(DBSCAN)经验化求解参数导致聚类效果差和执行效率低下的问题,提出了一种基于遗传算法和Map Reduce并行计算编程框架的自适应DBSCAN算法。通过遗传算法迭代优化合理规划密集区间阈值min Pts、扫描半径Eps大小,同时结合数据集的相似性和差异性利用Hadoop集群高效的计算能力对其进行两次规约处理,将数据合理地序列化,最终实现高效的自适应并行化聚类。实验结果表明,改进后的算法(GADBSCANMR)在处理万条以上数据集时执行效率较原DBSCAN算法提升了3倍左右,聚类质量提升了约10个百分点,而且数据量越大这种优势越明显。由此证明,改进的DBSCAN算法为阈值确定给出了更合理的界定方法,并且通过具体的并行化处理计算,为解决聚类算法的效率和质量问题提供了一种新的研究方案。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 ;Scaling up the DBSCAN Algorithm for Clustering Large Spatial Databases Based on Sampling Technique[J];Wuhan University Journal of Natural Sciences;2001年Z1期
2 岳士弘,李平,郭继东,周水庚;Using Greedy algorithm: DBSCAN revisited II[J];Journal of Zhejiang University Science;2004年11期
3 蔡颖琨,谢昆青,马修军;屏蔽了输入参数敏感性的DBSCAN改进算法[J];北京大学学报(自然科学版);2004年03期
4 宋明,刘宗田;基于数据交叠分区的并行DBSCAN算法[J];计算机应用研究;2004年07期
5 熊忠阳,孙思,张玉芳,王秀琼;一种基于划分的不同参数值的DBSCAN算法[J];计算机工程与设计;2005年09期
6 何中胜;刘宗田;庄燕滨;;基于数据分区的并行DBSCAN算法[J];小型微型计算机系统;2006年01期
7 李杰;贾瑞玉;张璐璐;;一个改进的基于DBSCAN的空间聚类算法研究[J];计算机技术与发展;2007年01期
8 冯少荣;肖文俊;;基于密度的DBSCAN聚类算法的研究及应用[J];计算机工程与应用;2007年20期
9 谭颖;胡瑞飞;殷国富;;多密度阈值的DBSCAN改进算法[J];计算机应用;2008年03期
10 冯少荣;肖文俊;;一种提高DBSCAN聚类算法质量的新方法[J];西安电子科技大学学报;2008年03期
11 夏鲁宁;荆继武;;SA-DBSCAN:一种自适应基于密度聚类算法[J];中国科学院研究生院学报;2009年04期
12 王桂芝;王广亮;;改进的快速DBSCAN算法[J];计算机应用;2009年09期
13 陈敏;高学东;;并行DBSCAN聚类算法[J];中国管理信息化;2010年05期
14 王桂芝;王广亮;;快速DBSCAN算法的研究与实现[J];福建电脑;2010年06期
15 谢永红;马延辉;周芳;刘颖安;;PDBSCAN: Parallel DBSCAN for Large-Scale Clustering Applications[J];Journal of Donghua University(English Edition);2012年01期
16 潘玲玲;张育平;徐涛;;核DBSCAN算法在民航客户细分中的应用[J];计算机工程;2012年10期
17 赵文;夏桂书;苟智坚;闫振兴;;一种改进的DBSCAN算法[J];四川师范大学学报(自然科学版);2013年02期
18 董志;;利用DBSCAN实现约束条件下的空间聚类分析[J];电脑编程技巧与维护;2013年17期
19 周傲英,周水庚,曹晶,范晔,胡运发;Approaches for Scaling DBSCAN Algorithm to Large Spatial Databases[J];Journal of Computer Science and Technology;2000年06期
20 孙志伟,赵政;DBSCAN在非空间属性处理上的扩展[J];计算机应用;2005年06期
中国重要会议论文全文数据库 前8条
1 马帅;宋国杰;唐世渭;杨冬青;王腾蛟;;基于单元划分的DBSCAN聚类算法[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
2 朵春红;王翠茹;;基于取样的DBSCAN聚类算法及其遗传优化[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
3 庞洋;李海林;郭义喜;;基于DBSCAN算法的日志信息聚类研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
4 宫蕊;舒红平;郭远远;;基于DBSCAN的密度聚类算法的研究[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
5 张健沛;许慧;杨静;崔洪晶;;基于数据分区、QR~*-树的并行DBSCAN算法[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(下)[C];2006年
6 Yi-Chun Xu;Man Zhu;Zunhai Ke;Yong Liu;Suifa Sun;;Isolating Ships from Shape Curve with DBSCAN[A];第25届中国控制与决策会议论文集[C];2013年
7 范晔;周水庚;曹晶;周傲英;;通过数据取样扩展基于密度的聚类算法[A];第十六届全国数据库学术会议论文集[C];1999年
8 曹晶;周水庚;范晔;周傲英;;数据分区:一种改善基于密度的聚类算法的方法[A];第十六届全国数据库学术会议论文集[C];1999年
中国硕士学位论文全文数据库 前10条
1 陆颖华;基于局部敏感哈希的DBSCAN算法研究[D];南京信息工程大学;2015年
2 汪洋;采用DBSCAN聚类的自适应步长细菌觅食算法[D];南京师范大学;2015年
3 崔熠明;基于激光雷达的智能车防撞预警系统研究[D];吉林大学;2016年
4 邵梦汝;基于铁路客票信息的旅客购票行为分析[D];西南交通大学;2016年
5 韩梅;基于改进DBSCAN的复杂工业过程建模数据异常点检测研究[D];天津工业大学;2016年
6 刘聪;基于SPARK平台的LAMOST早M型光谱聚类的研究[D];山东大学;2016年
7 冯振华;基于DBSCAN聚类算法的研究与应用[D];江南大学;2016年
8 田路强;基于DBSCAN的分布式聚类及增量聚类的研究与应用[D];北京工业大学;2016年
9 李宗林;基于DBSCAN的自适应聚类算法研究[D];长沙理工大学;2015年
10 刘宏超;基于DBSCAN的文本聚类算法研究[D];江西财经大学;2016年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978