梯度下降法的分析和改进

【摘要】：梯度下降法可以应用于很多机器学习的训练过程中,但是收敛速度却不快。针对此研究了最优化搜索过程中,梯度下降法的收敛速度与其搜索步长的关系,并给出机器学习过程中梯度下降法的改进方法。研究发现,在最优化过程中步长是两个不同的值的交替循环;而且在下降过程中,如果步长适当,使得相邻两次搜索方向垂直,则搜索的收敛速度较快。针对这些特点进行改进,解决了学习率的确定方法,提出一种新的梯度下降法,通过求解线性回归问题分析了算法性能,结果表明通过改进大大地加快了算法的收敛速度。