收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于MapReduce与相关子空间的局部离群数据挖掘算法

张继福  李永红  秦啸  荀亚玲  
【摘要】:针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密度,给出了相关子空间中的局部离群因子计算公式,有效地体现了相关子空间中数据对象不服从局部数据集分布特征的程度,并选取离群程度最大的N个数据对象定义为局部离群数据;在此基础上,采用LSH分布式策略,提出了一种Map Reduce编程模型下的局部离群数据挖掘算法;最后,采用人工数据集和恒星光谱数据集,实验验证了该算法的有效性、可扩展性和可伸缩性.

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 熊君丽;;高维空间下基于密度的离群点探测算法实现[J];现代电子技术;2006年15期
2 黄添强;秦小麟;王钦敏;;空间离群点的模型与跳跃取样查找算法[J];中国图象图形学报;2006年09期
3 陈光平;叶东毅;;一种改进的离群点检测方法[J];福州大学学报(自然科学版);2007年03期
4 薛安荣;鞠时光;;基于空间约束的离群点挖掘[J];计算机科学;2007年06期
5 徐翔;刘建伟;罗雄麟;;离群点挖掘研究[J];计算机应用研究;2009年01期
6 张宁;;离群点检测算法研究[J];桂林电子科技大学学报;2009年01期
7 罗玉盘;商琳;;基于多粒度周期模式的时序离群点检测算法[J];山东大学学报(工学版);2009年03期
8 张哲;;空间离群点检测算法对比与分析[J];科技创新导报;2010年06期
9 江峰;杜军威;眭跃飞;曹存根;;基于边界和距离的离群点检测[J];电子学报;2010年03期
10 吴晓燕;;基于遗传模拟退火算法的高维离群点挖掘[J];微计算机信息;2010年21期
11 张卫旭;尉宇;;基于密度的局部离群点检测算法[J];计算机与数字工程;2010年10期
12 唐志刚;杨炳儒;杨珺;;一种基于Z曲线的新离群点挖掘算法[J];计算机应用研究;2010年12期
13 陈晓云;马良斋;;基于属性权重的局部离群点挖掘算法研究[J];微计算机信息;2010年33期
14 刘欢;吴介军;苏锦旗;;基于分化距离的离群点检测算法[J];计算机应用研究;2010年09期
15 王靖;;基于重构权的离群点检测方法[J];软件学报;2011年07期
16 张净;孙志挥;宋余庆;倪巍伟;晏燕华;;基于信息论的高维海量数据离群点挖掘[J];计算机科学;2011年07期
17 闫少华;张巍;滕少华;;基于密度的离群点挖掘在入侵检测中的应用[J];计算机工程;2011年18期
18 邓玉洁;朱庆生;;基于聚类的离群点分析方法[J];计算机应用研究;2012年03期
19 孙爱程;;基于熵距离的离群点检测及其应用[J];无线电工程;2012年06期
20 孙启林;方宏彬;张健;刘明术;;一种基于相似度量的离群点检测方法[J];重庆工商大学学报(自然科学版);2012年10期
中国重要会议论文全文数据库 前9条
1 张锋;常会友;;茫然第三方支持的隐私保持离群点探测协议[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
2 连凤娜;吴锦林;薛永生;;一种改进的基于距离的离群挖掘算法[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
3 梁雪琴;刘红生;代秀梅;周亚芬;;聚类离群点挖掘技术在内部审计信息化中的应用——一个来自商业银行信用卡审计的实例[A];全国内部审计理论研讨优秀论文集(2013)[C];2014年
4 于浩;王斌;肖刚;杨晓春;;基于距离的不确定离群点检测[A];第26届中国数据库学术会议论文集(A辑)[C];2009年
5 许龙飞;熊君丽;段敏;;基于粗糙集的高维空间离群点发现算法研究[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
6 刘文远;李振平;王宝文;裴继辉;;一种多维数据的离群点检测算法[A];2007年全国第十一届企业信息化与工业工程学术会议论文集[C];2007年
7 魏藜;钱卫宁;周傲英;;HOT:寻找高维空间中的离群点[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
8 周红福;钱卫宁;魏藜;周傲英;;EDOLOIS:高效准确的子空间局部离群点发现[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
9 魏藜;钱卫宁;周傲英;;SLOT:基于估计的高效子空间局部离群点发现[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
中国博士学位论文全文数据库 前10条
1 薛安荣;空间离群点挖掘技术的研究[D];江苏大学;2008年
2 杨鹏;离群检测及其优化算法研究[D];重庆大学;2010年
3 杨茂林;离群检测算法研究[D];华中科技大学;2012年
4 林海;离群检测及离群释义空间查找算法研究[D];重庆大学;2012年
5 金义富;高维稀疏离群数据集延伸知识发现研究[D];重庆大学;2007年
6 雷大江;离群检测与离群释义算法研究[D];重庆大学;2012年
7 唐向红;数据流离群点检测研究[D];华中科技大学;2010年
8 万家强;基于连通性的离群检测与聚类研究[D];重庆大学;2014年
9 刘靖;复杂数据类型的离群检测方法研究[D];华南理工大学;2014年
10 汤俊;基于可疑金融交易识别的离群模式挖掘研究[D];武汉理工大学;2007年
中国硕士学位论文全文数据库 前10条
1 韩红霞;基于距离离群点的分析与研究[D];江苏大学;2007年
2 连凤娜;离群点挖掘及其内涵知识发现研究[D];厦门大学;2008年
3 姚林;离群点快速挖掘算法的研究[D];江苏大学;2008年
4 夏勇;聚类分析和离群点识别技术研究及其应用[D];哈尔滨工程大学;2008年
5 马良斋;基于属性权重的局部离群点挖掘算法研究[D];兰州大学;2010年
6 王雪英;离群点预处理及检测算法研究[D];西南交通大学;2009年
7 吴迪;高维空间中基于空间划分的离群点挖掘算法研究[D];河北工程大学;2010年
8 李威;高维数据空间中离群点检测方法的研究[D];吉林大学;2005年
9 熊君丽;基于粗糙集的高维空间离群点发现算法研究[D];暨南大学;2003年
10 何伟华;时空离群点检测研究[D];江苏大学;2007年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978