收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

梯度下降法的分析和改进

郭跃东  宋旭东  
【摘要】:梯度下降法可以应用于很多机器学习的训练过程中,但是收敛速度却不快。针对此研究了最优化搜索过程中,梯度下降法的收敛速度与其搜索步长的关系,并给出机器学习过程中梯度下降法的改进方法。研究发现,在最优化过程中步长是两个不同的值的交替循环;而且在下降过程中,如果步长适当,使得相邻两次搜索方向垂直,则搜索的收敛速度较快。针对这些特点进行改进,解决了学习率的确定方法,提出一种新的梯度下降法,通过求解线性回归问题分析了算法性能,结果表明通过改进大大地加快了算法的收敛速度。

知网文化
【相似文献】
中国期刊全文数据库 前3条
1 李朝峰,屈颖歌,夏德深,邹海;BP网络改进模型的性能对比研究[J];计算机工程与应用;2003年19期
2 徐静;王彩云;;压缩感知测量矩阵优化混合方法[J];深圳大学学报(理工版);2014年01期
3 ;[J];;年期
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978