收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于样本权重更新的不平衡数据集成学习方法

陈圣灵  沈思淇  李东升  
【摘要】:不平衡数据的问题普遍存在于大数据、机器学习的各个应用领域,如医疗诊断、异常检测等。研究者提出或采用了多种方法来进行不平衡数据的学习,比如数据采样(如SMOTE)或者集成学习(如EasyEnsemble)的方法。数据采样中的过采样方法可能存在过拟合或边界样本分类准确率较低等问题,而欠采样方法则可能导致欠拟合。文中将SMOTE,Bagging,Boosting等算法的基本思想进行融合,提出了Rotation SMOTE算法。该算法通过在Boosting过程中根据基分类器的预测结果对少数类样本进行SMOTE来间接地增大少数类样本的权重,并借鉴Focal Loss的基本思想提出了根据基分类器预测结果直接优化AdaBoost权重更新策略的FocalBoost算法。对不同应用领域共11个不平衡数据集的多个评价指标进行实验测试,结果表明,相比于其他不平衡数据算法(包括SMOTEBoost算法和EasyEnsemble算法),Rotation SMOTE算法在所有数据集上具有最高的召回率,并且在大多数数据集上具有最佳或者次佳的G-mean以及F1Score;而相比于原始的AdaBoost,FocalBoost则在其中9个不平衡数据集上都获得了更优的性能指标。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 陈圣灵;沈思淇;李东升;;基于样本权重更新的不平衡数据集成学习方法[J];计算机科学;2018年07期
2 陈力;黄艳莹;游德创;;一种基于Boosting的集成学习算法在银行个人信用评级中的应用[J];价值工程;2017年18期
3 涂承胜;陆玉昌;;Boosting理论基础[J];计算机科学;2004年10期
4 于玲;吴铁军;;集成学习:Boosting算法综述[J];模式识别与人工智能;2004年01期
5 周济;文志强;林海龙;;集成学习有效性研究[J];软件导刊;2014年06期
6 张文生;于廷照;;Boosting算法理论与应用研究[J];中国科学技术大学学报;2016年03期
7 胡庆辉;李志远;;基于Boosting框架的非稀疏多核学习方法[J];计算机应用研究;2016年11期
8 路刚;陈永;范永欣;胡成;;Boosting算法研究[J];电脑知识与技术;2008年36期
9 杨彬蔚;张怡芳;;基于集成学习的取景图像自动分类方法[J];数字技术与应用;2018年03期
10 郭海湘;顾明赟;李诒靖;黄媛玥;王文杰;;基于差分演化的自适应集成学习算法在不均衡数据分类中的应用[J];系统工程理论与实践;2018年05期
11 李想;李涛;;基于核函数的Adaboost分类算法研究[J];电脑知识与技术;2011年28期
12 琚旭;王浩;姚宏亮;;基于Boosting的支持向量机组合分类器[J];合肥工业大学学报(自然科学版);2006年10期
13 宋捷;吕晓玲;吴喜之;;两分类不平衡数据的Boosting算法[J];统计与决策;2010年10期
14 陈凯;马景义;;一种选择性SER-BagBoosting Trees集成学习研究[J];计算机科学;2009年09期
15 ;Thickness Measurement of Insulation Coating by NIR Spectrometry Based on Boosting-KPLS[J];光谱学与光谱分析;2011年08期
16 陈凯;;基于分类问题的选择性集成学习研究[J];计算机应用研究;2009年07期
17 张沧生;崔丽娟;杨刚;倪志宏;;集成学习算法的比较研究[J];河北大学学报(自然科学版);2007年05期
18 张安国;张树勋;朱巍;李秀敏;黄金龙;基于资源分配网络的小数据集并行集成学习方法[J];计算机应用研究;2019年04期
19 刘忠宝;赵文娟;师智斌;;基于分类超平面的非线性集成学习机[J];计算机应用研究;2013年05期
20 米硕;孙瑞彬;李欣;明晓;;集成学习在文本分类问题中的应用[J];中国新通信;2018年09期
中国重要会议论文全文数据库 前10条
1 李秋洁;茅耀斌;王执铨;;一种基于boosting的不平衡数据分类算法[A];中国自动化学会控制理论专业委员会C卷[C];2011年
2 卞希慧;李淑娟;Michal Dymek;谭小耀;;Boosting极限学习机用于复杂样品光谱定量分析方法研究[A];中国化学会第30届学术年会摘要集-第二十五分会:化学信息学与化学计量学[C];2016年
3 杜方键;杨宏晖;;K均值聚类优化集成学习[A];2011'中国西部声学学术交流会论文集[C];2011年
4 杨韶瑞;高爱华;秦文罡;;基于支持向量机和AdaBoost的行人检测[A];2011西部光子学学术会议论文摘要集[C];2011年
5 Jia Mingxing;Du Junqiang;Cheng Tao;Yang Ning;Jiang Yi;Zhang Zhen;;An Improved Detection Algorithm of Face with Combining AdaBoost and SVM[A];第25届中国控制与决策会议论文集[C];2013年
6 李烨;蔡云泽;许晓鸣;;基于支持向量机集成的故障诊断[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年
7 Zhiming Qian;Jiakuan Yang;Lianxin Duan;;Multiclass Vehicle Detection Based on Learning Method[A];2013年中国智能自动化学术会议论文集(第二分册)[C];2013年
8 易辉;宋晓峰;姜斌;王定成;;基于AdaBoost方法的支持向量机训练样本选择[A];2009全国虚拟仪器大会论文集(一)[C];2009年
9 眭新光;沈蕾;燕继坤;朱中梁;;基于Adaboost的文本隐写分析[A];全国网络与信息安全技术研讨会论文集(上册)[C];2007年
10 倪志伟;张琛;倪丽萍;;基于萤火虫群优化算法的选择性集成霾天气预报方法[A];中国系统工程学会第十八届学术年会论文集——A12系统科学与系统工程理论在各个领域中的应用研究[C];2014年
中国博士学位论文全文数据库 前10条
1 高尉;Boosting方法的理论研究[D];南京大学;2014年
2 赵鹤;面向高维大数据的子空间集成学习方法研究[D];中国科学院大学(中国科学院深圳先进技术研究院);2017年
3 刘天羽;基于特征选择技术的集成学习方法及其应用研究[D];上海大学;2007年
4 侯勇;特征提取与集成学习算法的研究及应用[D];北京科技大学;2015年
5 尹华;面向高维和不平衡数据分类的集成学习研究[D];武汉大学;2012年
6 方育柯;集成学习理论研究及其在个性化推荐中的应用[D];电子科技大学;2011年
7 高敬阳;神经网络集成BOOSTING类算法研究[D];北京化工大学;2012年
8 严远亭;不完整数据集的多视角集成分类研究[D];安徽大学;2016年
9 刘皓;基于深度学习的行人再识别问题研究[D];合肥工业大学;2017年
10 李宏;面向应用领域的分类方法研究[D];中南大学;2007年
中国硕士学位论文全文数据库 前10条
1 冯杰;多核集成学习方法的研究[D];电子科技大学;2017年
2 连克强;基于Boosting的集成树算法研究与分析[D];中国地质大学(北京);2018年
3 金龙;基于集成半监督学习的标签噪声研究[D];西安电子科技大学;2013年
4 林存炜;基于Boosting的人工神经网络集成及其模式分类[D];西安电子科技大学;2005年
5 王远艰;面向野外环境感知的主动Boosting技术研究[D];南京理工大学;2009年
6 刘川;基于间隔理论的Boosting算法[D];天津大学;2016年
7 孙喜洋;基于人工嗅觉系统的集成学习研究[D];浙江大学;2018年
8 谢格;面向概念漂移问题的选择性适应集成学习方法研究[D];中国科学技术大学;2017年
9 韩缤;基于特征抽取的集成学习算法研究[D];山东师范大学;2017年
10 刘诗静;基于集成学习的农作物遥感分类方法的研究[D];黑龙江大学;2017年
中国重要报纸全文数据库 前1条
1 记者 罗旭;全球人工智能挑战赛开赛[N];光明日报;2017年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978