收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

互学习神经网络训练方法研究

刘威  刘尚  白润才  周璇  周定宁  
【摘要】:由于BP神经网络具有表达能力强,模型简单等特点,经过近30年的发展,在理论和应用研究上都取得了巨大的进步,然而容易陷入局部最优和泛化能力差等问题却限制了神经网络的发展.同时,大数据的出现和深度学习算法的提出与应用,为神经网络向更类脑的方向发展提出了新的要求.针对上述问题,该文从模拟生物双向认知能力的角度出发,构造了一种新的神经网络模型——互学习神经网络模型,该模型在标准正向神经网络的基础上,引入了与其具有结构对称性的负向神经网络,利用正、负向神经网络分别模拟生物的顺向和逆向认知过程,并在此基础上提出了一种新的神经网络训练方法——互学习神经网络训练方法,该方法通过网络连接权值转置共享,正、负双向交替训练的方式对互学习神经网络模型进行训练,从而实现输入数据和输出标签之间的相互学习,使网络具有双向认知能力.实验表明,互学习神经网络训练方法可以同时训练正、负两个神经网络,并使网络收敛.同时,在此基础上提出了"互学习预训练+标准正向训练"的两阶段学习策略和相应的转换学习方法,这种转换学习方法起到了和"无监督预训练+监督微调"相同的效果,能够使网络训练效果更好,是一种快速、稳定、泛化能力强的新型神经网络学习方法.

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李运锋,袁景淇,薛耀锋;发酵过程中神经网络训练样本的选取[J];化工自动化及仪表;2004年06期
2 肖红;曹茂俊;李盼池;王海英;;基于分段线性插值的过程神经网络训练[J];计算机工程;2011年20期
3 史志科;非线性规划U—D分解方法及其在神经网络训练中的应用[J];自动化学报;1995年06期
4 吴军,徐松源,王常虹;神经网络训练的一种随机方法[J];黑龙江自动化技术与应用;1997年03期
5 金涛斌,王安国,丁荣林,吴咏诗;周期性缺陷接地结构神经网络训练样本预处理[J];固体电子学研究与进展;2005年03期
6 胡纪五,王卫东;带有惯性附加项的神经网络训练方的研究[J];计算技术与自动化;1999年02期
7 郝红卫;蒋蓉蓉;;基于最近邻规则的神经网络训练样本选择方法[J];自动化学报;2007年12期
8 王艳峰;张健;吴燕红;;一种优选神经网络训练样本的混合聚类算法[J];辽宁工业大学学报(自然科学版);2010年06期
9 周福章,朱坚民;神经网络训练参数等对控制效果的影响[J];洛阳工学院学报;1996年01期
10 徐乐华;凌卫新;熊丽琼;;基于面向对象自适应粒子群算法的神经网络训练[J];计算机应用研究;2009年01期
11 张应博;;神经网络训练中的迭代扩展卡尔曼粒子滤波算法[J];微电子学与计算机;2010年08期
12 许少华,路阳,席海青,孙素艳,李欣;样本先验知识在神经网络训练中的应用[J];大庆石油学院学报;2004年06期
13 王海丽,赵曙伟,翁世修,吴振华;刀具磨损监控中神经网络训练的模糊方法[J];振动.测试与诊断;1998年02期
14 秦毅男;廖晓辉;赵庆治;;一种基于粒子群优化算法的神经网络训练方法[J];河南师范大学学报(自然科学版);2007年03期
15 赫英歧;;改进遗传算法在神经网络训练中的应用[J];消费导刊;2007年09期
16 王法胜;郭权;;基于扩展卡尔曼粒子滤波算法的神经网络训练[J];计算机工程与科学;2010年05期
17 刘占生,武新华,夏松波;加快神经网络训练速度的方法在旋转机械故障诊断中的应用[J];航空动力学报;1997年03期
18 宋崇智;王璐;谢能刚;;基于蚁群优化算法的神经网络训练的研究[J];自动化与仪表;2006年05期
19 宋振宇;王秋彦;丁小峰;;BP神经网络训练中的实际问题研究[J];海军航空工程学院学报;2009年06期
20 张德贤;基于输出误差与偏导数误差信息融合的神经网络训练[J];计算机工程与应用;2002年24期
中国重要会议论文全文数据库 前3条
1 张应博;;神经网络训练中的迭代扩展卡尔曼粒子滤波算法[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年
2 姜晓军;程卫东;;神经网络训练样本选取与优化的研究[A];第十七届全国测控计量仪器仪表学术年会(MCMI'2007)论文集(下册)[C];2007年
3 张应博;秦钟;王法胜;;神经网络训练中的粒子滤波算法[A];第二十九届中国控制会议论文集[C];2010年
中国硕士学位论文全文数据库 前1条
1 林珲;微波器件智能建模中神经网络训练数据获取算法研究[D];天津大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978