收藏本站
《软件学报》 2003年09期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

一种基于约束的多维数据异常点挖掘方法

李翠平  李盛恩  王珊  杜小勇  
【摘要】:数据中的异常点常常反映了企业经营中潜伏的问题或暗藏的商机,数据分析人员经常需要从大量的数据中找出这些异常点.最近提出的一种从数据中自动发现异常点的方法,将人们从繁重的体力劳动中解放出来.然而,该方法在计算效率和伸缩性方面还存在很多不足.针对这些不足,对该方法进行了优化和改进,提出了一种基于约束的多维数据异常点挖掘方法.通过在数据挖掘过程中引入约束条件,首先将数据立方体限制到一个小的多维空间,然后再从中找出异常点.实验结果表明该方法非常有效.

【引证文献】
中国期刊全文数据库 前9条
1 蒋盛益,徐雨明,陈溪辉;异常挖掘研究综述[J];衡阳师范学院学报(自然科学);2004年03期
2 刘洪涛;童德利;陈世福;;一种基于属性的异常点检测算法[J];计算机科学;2005年05期
3 薛安荣;姚林;鞠时光;陈伟鹤;马汉达;;离群点挖掘方法综述[J];计算机科学;2008年11期
4 李庆华,李新,蒋盛益;一种面向高维混合属性数据的异常挖掘算法[J];计算机应用;2005年06期
5 徐翔;刘建伟;罗雄麟;;离群点挖掘研究[J];计算机应用研究;2009年01期
6 胡为群;祝利莉;郑可锋;叶少挺;朱旭斌;;农业资源属性数据挖掘研究[J];科技情报开发与经济;2006年15期
7 李敏;张玉峰;;基于知识情境的企业竞争情报多维挖掘研究[J];图书情报工作;2008年03期
8 谭耀文,谭义红,李学勇;数据挖掘技术在统计预处理中的应用[J];湘潭师范学院学报(自然科学版);2005年02期
9 王宏鼎;童云海;谭少华;唐世渭;杨冬青;;异常点挖掘研究进展[J];智能系统学报;2006年01期
中国重要会议论文全文数据库 前4条
1 查星云;;一种钢铁企业金属损耗平衡分析方法[A];全国冶金自动化信息网2012年年会论文集[C];2012年
2 张德辉;唐世渭;杨冬青;马秀丽;姜力争;;数据立方体上的虚拟视图机制[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
3 张德辉;唐世渭;杨冬青;马秀莉;姜力争;;一种在OLAP中保持聚类挖掘结果的有效方法[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
4 王丽珍;周丽华;肖清;;基于数据仓库的动态异常点检测研究[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
中国博士学位论文全文数据库 前1条
1 金义富;高维稀疏离群数据集延伸知识发现研究[D];重庆大学;2007年
中国硕士学位论文全文数据库 前10条
1 闫少华;离群点挖掘在入侵检测中的研究与应用[D];广东工业大学;2011年
2 刘珉华;人民币汇率时间序列的异常数据挖掘研究[D];湖南大学;2009年
3 孙易木;异常点挖掘及证券行业应用实例研究[D];同济大学;2006年
4 马兰云;流数据异常挖掘算法研究[D];北京交通大学;2007年
5 郭燕萍;多数据库中例外模式挖掘研究[D];广西师范大学;2007年
6 姜晗;关联规则的精简方法研究[D];浙江师范大学;2007年
7 张驹;基于数据流的聚类算法研究与实现[D];中南大学;2009年
8 潘宇;基于DM技术的线损自动生成系统的应用研究[D];大连交通大学;2008年
9 梁永欣;基于X~*树的反k近邻流数据离群点挖掘算法研究[D];燕山大学;2009年
10 方洪鹰;数据挖掘中数据预处理的方法研究[D];西南大学;2009年
【共引文献】
中国硕士学位论文全文数据库 前10条
1 张蕾;天津港煤炭货运管理系统的设计与实现[D];大连海事大学;2010年
2 姜延双;数据仓库和OLAP技术在综合话务分析中的应用[D];哈尔滨工程大学;2011年
3 朱焱;面向决策的数据仓库和OLAP技术研究[D];合肥工业大学;2002年
4 马静;基于侨务数据仓库的联机分析[D];华侨大学;2003年
5 刘雨搏;数据仓库及OLAP技术的应用研究[D];辽宁工程技术大学;2004年
6 包剑;面向移动环境的时空数据挖掘研究[D];辽宁工程技术大学;2005年
7 王云峰;数据仓库与OLAP技术研究及应用[D];中南大学;2005年
8 武智鹏;商业智能在ERP系统中的应用研究[D];中北大学;2007年
9 柯艳兵;基于XML的多维数据模型及OLAP系统研究[D];国防科学技术大学;2006年
10 黄立峰;基于MDX的多维查询算法研究[D];中南大学;2007年
【同被引文献】
中国期刊全文数据库 前10条
1 黄香,叶维彰,栾贻会,谢衷洁;跳跃点统计检测的小波方法及其在金融汇率中的应用[J];北京大学学报(自然科学版);1997年03期
2 杨学兵,蔡庆生;基于数据立方体的维内关联规则挖掘算法[J];北京科技大学学报;2003年01期
3 阎慧,曹元大;Application of Bayesian Dynamic Forecast in Anomaly Detection[J];Journal of Beijing Institute of Technology(English Edition);2005年01期
4 宋驰,刘国华;流数据技术及其应用现状[J];燕山大学学报;2005年02期
5 张金良,李光泉,杨忠直,熊益民,张士英,吴建伟;数据挖掘在证券交易系统分析中的应用[J];地质技术经济管理;2002年06期
6 陈科;许家珆;程永新;;基于免疫算法和神经网络的新型抗体网络[J];电子科技大学学报;2006年05期
7 李军,庄大方;地学数据集成的理论基础与集成体系[J];地理科学进展;2001年02期
8 杨文;入侵检测系统的现状及发展趋势[J];电脑知识与技术;2005年18期
9 黄莹;基于数据挖掘的异常检测模型[J];电子工程师;2003年06期
10 李蕾,钟义信;自动文摘系统中基于全信息词典的复杂语句分析方法及其实现[J];电子学报;2000年08期
中国博士学位论文全文数据库 前6条
1 周皓峰;关联规则挖掘的拓展性研究[D];复旦大学;2003年
2 刘君强;海量数据挖掘技术研究[D];浙江大学;2003年
3 姚卫新;智能数据分析中异常数据的集成化管理方法研究[D];复旦大学;2004年
4 肖辉;时间序列的相似性查询与异常检测[D];复旦大学;2005年
5 陈佐;时间序列相空间重构数据挖掘方法及其在证券市场的应用[D];湖南大学;2007年
6 滕少华;基于对象监控的分布式协同入侵检测[D];广东工业大学;2008年
中国硕士学位论文全文数据库 前7条
1 陆声链;孤立点挖掘及其内涵知识发现的研究与应用[D];广西师范大学;2005年
2 史建平;基于小波分析的汇率波动序列研究[D];西安电子科技大学;2007年
3 许宁;基于OLC算法的软件可靠性预测分析[D];西安理工大学;2007年
4 孟浩;孤立点挖掘技术在入侵检测中的应用研究[D];大连海事大学;2007年
5 姚珍;基于失效数据的软件可靠性评估及分析工具的实现[D];电子科技大学;2007年
6 崔贯勋;基于密度的离群数据挖掘算法研究[D];重庆大学;2007年
7 吴楠楠;孤立点挖掘技术在异常检测中的应用研究[D];厦门大学;2007年
【二级引证文献】
中国期刊全文数据库 前10条
1 王柯柯;崔贯勋;倪伟;苟光磊;;基于单元的快速的大数据集离群数据挖掘算法[J];重庆邮电大学学报(自然科学版);2010年05期
2 刘丽轻;丁巧林;张铁峰;陈健;;数据预处理方法对模糊C均值聚类的影响[J];电力科学与工程;2011年08期
3 卿晓霞;肖丹;王波;;能耗实时监测的数据挖掘方法[J];重庆大学学报;2012年07期
4 卢鸣;;基于异常点处理和自劈分合并学习的聚类方法[J];福建电脑;2008年12期
5 秦艳华;;数据挖掘技术中孤立点的分析研究[J];硅谷;2010年04期
6 杨延娇;门维江;;基于异常点挖掘的聚类算法比较研究[J];甘肃联合大学学报(自然科学版);2008年01期
7 刘小华;胡学钢;;数据挖掘的应用综述[J];信息技术;2009年09期
8 陈海宇;曾德胜;;基于日志的异常软件使用模式检测[J];淮海工学院学报(自然科学版);2011年01期
9 周英;孙名松;;基于聚类的网络入侵检测系统模型[J];哈尔滨理工大学学报;2007年01期
10 王洪春;彭宏;;一种基于主成分分析的异常点挖掘方法[J];计算机科学;2007年10期
中国博士学位论文全文数据库 前9条
1 杨鹏;离群检测及其优化算法研究[D];重庆大学;2010年
2 郭建校;改进的高维非线性PLS回归方法及应用研究[D];天津大学;2010年
3 李力;物流信息平台构建与应用研究[D];武汉理工大学;2006年
4 叶涛;基于机器学习的软测量技术理论与应用[D];华南理工大学;2007年
5 周黔;高性能数据流模式发现算法及其应用研究[D];浙江大学;2008年
6 陈黎飞;高维数据的聚类方法研究与应用[D];厦门大学;2008年
7 李志华;语义属性数据聚类/分类算法及其在异常检测中的应用研究[D];江南大学;2009年
8 张洪恩;沪深上市公司的区域及行业比较研究[D];南京航空航天大学;2009年
9 席景科;时空孤立点检测算法研究[D];中国矿业大学;2010年
中国硕士学位论文全文数据库 前10条
1 刘美玲;基于综合策略支持向量机的孤立点检测技术[D];大连理工大学;2010年
2 乔哲峰;自适应情景感知中间件的情景数据预处理模型研究与实现[D];华东师范大学;2011年
3 陈文达;基于Squeezer算法与Java技术的WSN入侵检测系统[D];电子科技大学;2010年
4 田家瑞;骨干通信网络异常事件关联分析的不确定性分析[D];电子科技大学;2011年
5 王瑞伟;网络安全取证的应用研究[D];江南大学;2011年
6 王旭;汉语学习平台中基于BIRCH聚类的用户个人信息分组算法研究[D];吉林大学;2011年
7 李爱春;Web挖掘在检测网络广告欺诈行为中的研究与应用[D];广东工业大学;2011年
8 孔维鹏;特定行业社会信息综合应用系统的设计[D];南京信息工程大学;2011年
9 刘天垒;基于Web的农业数据挖掘系统的研究与实现[D];中国农业科学院;2011年
10 桑培罗布;多元统计分析与数据可视化方法在调查分析中的应用[D];中央民族大学;2011年
【相似文献】
中国期刊全文数据库 前10条
1 胡静;刘荣利;文成林;;基于相对主元分析的故障检测与诊断方法[J];弹箭与制导学报;2007年03期
2 刘远东;何丰;;一种基于频繁模式的增量式异常检测方法[J];计算机与现代化;2010年11期
3 陆介平;倪巍伟;孙志挥;;基于关联分析的高维空间异常点发现[J];应用科学学报;2006年01期
4 杨延娇;门维江;;基于异常点挖掘的聚类算法比较研究[J];甘肃联合大学学报(自然科学版);2008年01期
5 杨飚,张曾科,孙政顺;基于LTS稳健初值的选权迭代法[J];科学技术与工程;2005年22期
6 杨飚,张曾科,孙政顺;非线性LTS稳健估计方法[J];清华大学学报(自然科学版);2005年10期
7 康晓林;程宪平;;高速实时信号检测系统[J];电子测量技术;2005年03期
8 张新荣;;基于鲁棒尺度的统计建模数据中异常点去除算法的研究及应用[J];计算机应用研究;2010年09期
9 陶运信;皮德常;;基于邻域和密度的异常点检测算法[J];吉林大学学报(信息科学版);2008年04期
10 周纯江,杜红文;面向反求技术的测量数据预处理[J];机电工程;2004年05期
中国重要会议论文全文数据库 前10条
1 张晓光;李建中;李金宝;张兆功;;基于传感器网络的联机分析处理[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
2 张重生;冯海军;陈红;梁思维;李翠平;;一种分布式数据集上top-n异常点挖掘的高效算法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
3 裴健;赵畅;柴玮;杨冬青;唐世渭;;联机分析处理的数据立方体代数描述[A];第十六届全国数据库学术会议论文集[C];1999年
4 张宁;陈红;;基于ParaWare MOLAP系统的PSC智能数据分析方法[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
5 张维;刘博;张小涛;;日内金融高频数据的异常点检测[A];全国自动化新技术学术交流会会议论文集(一)[C];2005年
6 刘晓艳;王丽珍;杨志强;陈红梅;;基于数学形态学的模糊异常点检测[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
7 王凯;蔺永政;石冰;;基于数据仓库的房地产投资决策支持模型[A];第六届全国计算机应用联合学术会议论文集[C];2002年
8 黄浩;张亚明;;OLAP和DM在MRPII/ERP中的应用研究[A];2003年中国管理科学学术会议论文集[C];2003年
9 石磊;;恩洪煤矿煤层气数据的地质统计学分析及空间数据的异常点识别方法[A];第七届全国数学地质与地学信息学术会议论文摘要汇编[C];2004年
10 王会琦;马洪;周永道;;基于信息融合的时间序列RAKE预测[A];全国第十届企业信息化与工业工程学术年会论文集[C];2006年
中国重要报纸全文数据库 前10条
1 本报记者 张红霞 ;期待 “专合组织”实体化[N];四川日报;2006年
2 本报记者 石磊 冯春萍 特约记者 孙宏金;迈向实体化 星河觅天机[N];中国航天报;2002年
3 周武;闵桂荣 戚发轫 国家航天局应实体化[N];中国航天报;2004年
4 李传涛 顾莹;联通华盛完成实体化蜕变[N];通信产业报;2006年
5 路平;实体化建设也是一场攻坚战[N];中国劳动保障报;2009年
6 记者 尹勇;全省中院试点赔委会实体化[N];四川日报;2011年
7 曾洪屏;江西邮政实行速递物流实体化改革[N];中国邮政报;2007年
8 记者 高云;向劳动争议仲裁处理要效率[N];中国劳动保障报;2004年
9 本报记者 陆丽云;数据背后的商机[N];中国邮政报;2011年
10 记者 杨汛;网络商店无奈办“实体”[N];北京日报;2006年
中国博士学位论文全文数据库 前10条
1 李泽海;数据仓库中多维数据处理与查询相关技术的研究[D];吉林大学;2005年
2 刘青宝;模糊、动态多维数据建模理论与方法研究[D];国防科学技术大学;2006年
3 陈志毅;信息时代建筑非线性三维形态研究[D];同济大学;2006年
4 王大荣;分散度量模型中的变量选择[D];北京工业大学;2009年
5 罗书强;网络化制造模式下质量决策支持系统的研究[D];重庆大学;2003年
6 李秋丹;数据挖掘相关算法的研究与平台实现[D];大连理工大学;2004年
7 于海鸿;多维数据环境中决策支持相关技术研究及应用[D];吉林大学;2007年
8 杨锐;论“自我”观念历史发展的三个阶段[D];吉林大学;2008年
9 李文海;基于粗集的关系型联机分析优化技术研究[D];华中科技大学;2007年
10 马刚;采用数据仓库技术实现贷款管理DSS[D];大连理工大学;2000年
中国硕士学位论文全文数据库 前10条
1 洪锐;数据仓库与OLAP技术在电信领域应用研究[D];电子科技大学;2006年
2 杨金伟;基于距离和信息熵的不确定异常点检测研究[D];云南大学;2011年
3 曹洪岩;高校财务数据仓库系统的研究和应用[D];大连海事大学;2004年
4 高秩新;基于数据仓库的银行客户细分管理系统研究[D];对外经济贸易大学;2006年
5 伍永锋;商业智能及其技术[D];贵州大学;2008年
6 成新华;基于医药经销管理系统的数据仓库的设计研究[D];成都理工大学;2003年
7 卞向娟;面向制造业ERP的数据仓库支持决策的研究[D];昆明理工大学;2004年
8 申鹏飞;基于数据仓库的汽轮机性能分析预测系统的设计与实现[D];华北电力大学(北京);2005年
9 喻兴标;基于OLAP的数据仓库索引技术研究[D];中南大学;2005年
10 郭耀华;地区供电公司电力营销决策支持系统的研究与实现[D];华北电力大学(北京);2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026