收藏本站
《计算机工程与科学》 2017年02期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于Isolation Forest的并行化异常探测设计

侯泳旭  段磊  秦江龙  秦攀  唐常杰  
【摘要】:异常探测具有广泛的应用,受到了工业界和学术界的共同关注。在众多异常探测方法中,Isolation Forest算法具有执行效率高、探测准确度好的特点,获得了众多应用。但是,传统Isolation Forest算法难以处理大规模数据。为解决此问题,设计了一种基于云计算平台的算法。具体地,使用Hadoop分布式存储系统和MapReduce分布式计算框架设计并实现了基于Isolation Forest的并行化异常探测算法PIFH。通过将探测模型构建和数据异常评价的过程并行化,提升了PIFH算法探测异常的执行效率,扩展了其应用范围。利用真实世界数据集验证了所提算法的执行效率和可扩展性。

【参考文献】
中国期刊全文数据库 前1条
1 毛国君;宗东军;;基于多维数据流挖掘技术的入侵检测模型与算法[J];计算机研究与发展;2009年04期
【共引文献】
中国期刊全文数据库 前10条
1 刘昆;;计算机数据挖掘技术探讨[J];电脑知识与技术;2017年01期
2 侯泳旭;段磊;秦江龙;秦攀;唐常杰;;基于Isolation Forest的并行化异常探测设计[J];计算机工程与科学;2017年02期
3 李宇翀;魏东;罗兴国;钱叶魁;刘凤荣;;基于多元增量分析的全网络在线异常检测方法[J];上海交通大学学报;2016年09期
4 王晶晶;;一种改进的Elman神经网络算法的研究[J];华中师范大学学报(自然科学版);2016年03期
5 林树宽;王晓丛;乔建忠;王蕊;;基于索引效用的Top-k高效用项集挖掘方法[J];东北大学学报(自然科学版);2016年01期
6 余文芳;敖云涛;;一种基于RF-SVM网络安全态势感知算法的应用研究[J];无线互联科技;2014年10期
7 孙蔚;;基于网管系统的分布式入侵检测模型研究[J];电子设计工程;2014年01期
8 靳燕;;检测未知攻击的数据预处理算法研究[J];山西师范大学学报(自然科学版);2013年04期
9 梁卫星;;数据库入侵检测技术研究与应用[J];吕梁教育学院学报;2013年01期
10 谢春明;;计算机数据库入侵检测技术探究[J];佳木斯教育学院学报;2012年11期
【二级参考文献】
中国期刊全文数据库 前3条
1 刘旭;毛国君;孙岳;刘椿年;;数据流中频繁闭项集的近似挖掘算法[J];电子学报;2007年05期
2 郭山清;谢立;曾英佩;;入侵检测在线规则生成模型[J];计算机学报;2006年09期
3 郑军;胡铭曾;云晓春;郑仲;;基于数据流方法的大规模网络异常发现[J];通信学报;2006年02期
【相似文献】
中国期刊全文数据库 前10条
1 吴正娟;职为梅;杨勇;范明;;并行化的粒子群技术[J];微计算机信息;2009年36期
2 齐书阳;;迎接并行化的明天[J];软件世界;2009年06期
3 曹琳,杨学军,金国华;两种并行化机制的分析[J];计算机研究与发展;1993年09期
4 金国华,陈福接;并行化技术与工具[J];计算机研究与发展;1996年07期
5 蔡立志,童维勤,廖文昭;序列拼装程序的并行化研究与实现[J];计算机工程与应用;2003年14期
6 王伟;潘建伟;;有限差分法的并行化计算实现[J];电脑知识与技术;2008年07期
7 程锦松;;迭代法的并行化[J];安徽大学学报(自然科学版);1997年03期
8 陈再高;王玥;王建国;张殿辉;付梅艳;乔海亮;袁媛;;三维粒子模拟并行化技术研究[J];计算机工程与科学;2009年11期
9 赵凤治;地震作业数据处理并行化的几个问题[J];计算机系统应用;1994年10期
10 高嵩,崔西宁;并行化高级语言的实现[J];西安工业学院学报;1997年02期
中国重要会议论文全文数据库 前7条
1 兰彤;冯玉才;肖伟器;;空间连接处理的并行化研究[A];数据库研究进展97——第十四届全国数据库学术会议论文集(上)[C];1997年
2 张雯;骆志刚;赵翔;王金华;靳新;;剪接比对软件sim4的并行化研究与实现[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
3 王本龙;龚凯;刘桦;;自由表面流动问题的并行化SPH方法求解[A];中国力学学会学术大会'2009论文摘要集[C];2009年
4 王峰;杨建俊;张天爵;许淑艳;;不同操作平台上的MCNP并行化计算[A];中国原子能科学研究院年报 2009[C];2010年
5 徐金秀;张天刚;;NCC区域气候模式算法分析及并行化实现[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
6 陈皓;罗月童;刘晓平;;基于MPI的光子映射算法并行化[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
7 曹琰;王清贤;魏强;尹中旭;;基于相容和搜索结合的并行约束求解方法[A];2013年中国智能自动化学术会议论文集(第五分册)[C];2013年
中国重要报纸全文数据库 前3条
1 ;服务器软件的并行化革命[N];网络世界;2006年
2 谢涛;英特尔:忽视并行化软件后果很危险[N];电脑商报;2008年
3 记者 鲁媛媛;英特尔软件进入并行时代[N];网络世界;2009年
中国博士学位论文全文数据库 前6条
1 郭琦;异构多核可重构平台指令并行化关键问题研究[D];中国科学技术大学;2015年
2 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年
3 丁晓宁;面向CFD的交互式并行化技术研究[D];西北工业大学;2002年
4 张平;并行化编译器中并行程序自动生成和性能优化技术研究[D];解放军信息工程大学;2006年
5 傅游;稀薄气体Monte Carlo数值仿真并行化技术研究与实现[D];西北工业大学;2002年
6 董春丽;并行化编译中数据和计算的自动划分及优化技术研究[D];解放军信息工程大学;2007年
中国硕士学位论文全文数据库 前10条
1 荣卓波;基于Hadoop的并行化算法实现及GPS数据实例分析[D];西南大学;2015年
2 赖梓昌;基于MPCore多核并行化的宽景视觉研究与实现[D];西南交通大学;2015年
3 杨睿;基于并行计算的基因序列快速比对方法研究[D];浙江大学;2015年
4 王心阳;一种基于MapReduce模型的并行化TSP算法研究[D];电子科技大学;2015年
5 赵正委;基于BSP模型的网络最大流算法的并行化研究与实现[D];电子科技大学;2014年
6 康少华;空间碎片探测软件的并行化及WCRT分析[D];北京理工大学;2015年
7 王向辉;嵌入式浏览器并行化的研究与设计[D];电子科技大学;2014年
8 孙洁;用于超电大散射计算MLFMA并行化及其关键问题的研究[D];电子科技大学;2014年
9 刘毅;LTE系统中关键算法的研究[D];电子科技大学;2014年
10 李京竹;基于云计算的智能交通系统数据预处理与并行化技术研究[D];国防科学技术大学;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026