收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

一类随机方差缩减算法的分析与改进

刘彦  郭田德  韩丛英  
【摘要】:近年来,随机方差缩减类算法在求解机器学习中的大规模优化问题时得到了广泛应用.但是如何选择此类算法的合适步长依然是值得研究的问题.受启发于结合Barzilai-Borwein步长的随机方差缩减梯度(stochastic variance reduced gradient with Barzilai-Borwein step size, SVRG-BB)算法,本文针对方差缩减类算法提出基于局部Lipschitz常数估计的自适应步长,并通过构建一个极小极大化问题给出该步长应用于不同算法时的参数选取方法.然后将该步长与随机递归梯度算法(stochastic recursive gradient algorithm, SARAH)和随机方差缩减(stochastic variance reduced gradient, SVRG)算法相结合,分别提出结合自适应步长的随机递归梯度(SARAH with adaptive step size, SARAH-AS)方法和结合自适应步长的随机方差缩减梯度(SVRG with adaptive step size, SVRG-AS)算法,并且在强凸假设下证明以上算法点距离序列的线性收敛性质.此外,本文还提供一个新颖的视角揭示为什么SARAH+算法是有效的.在公开数据集上的数值实验结果表明本文提出的自适应步长在方差缩减类算法中表现良好.

知网文化
【相似文献】
中国期刊全文数据库 前15条
1 王会举;李孟萱;黄卫卫;周秋怡;;基于隐马尔可夫模型的多真值发现算法[J];计算机工程与科学;2021年03期
2 李艳琴;;一类恒等式的证明及算法[J];凯里学院学报;2010年06期
3 孙宇 ,何大可;格基约减算法及其应用[J];信息安全与通信保密;2005年03期
4 徐达;排序的合并算法[J];天津商学院学报;1994年03期
5 潘壮元,姚林;关于Banach空间上的区域收缩算法[J];工程数学学报;1988年03期
6 费泰生;算法及其特征[J];数学通讯;2004年07期
7 郝强;;基于奇异值分解的曲面拟合算法[J];太原师范学院学报(自然科学版);2020年02期
8 年仁德;算法及其表示[J];数学通报;2005年02期
9 张光铎,王正志;广义Hanoi塔问题及其最佳求解算法研究(英文)[J];国防科技大学学报;1996年02期
10 梁传广,陈小柱,张立卫;Huang算法与Givens变换[J];数学研究与评论;1997年02期
11 唐国春;一个SQP算法及其收敛性[J];上海第二工业大学学报;1987年01期
12 周泽滋;关于lnx在785机上实现的一种算法[J];国防科技大学学报;1982年01期
13 高向敏;;数学思想在算法优化中的应用[J];电子技术与软件工程;2020年02期
14 万甲鑫;;一种优化共同邻居影响的动态距离社区发现算法[J];软件导刊;2020年10期
15 孟佳音;刘丁酉;;基于分布估计算法的非负矩阵分解[J];湖北民族学院学报(自然科学版);2012年03期
中国重要会议论文全文数据库 前20条
1 邓乃扬;;Newton-PCG型算法的理论有效性分析[A];中国运筹学会第六届学术交流会论文集(上卷)[C];2000年
2 高爱军;陈翰馥;;随机逼近算法的稳键性[A];1988年控制理论及其应用年会论文集(下)[C];1988年
3 孟丹;陈图云;;模糊推理的三Ⅰ原则贴近算法[A];模糊集理论与模糊应用专辑——中国系统工程学会模糊数学与模糊系统委员会第十届年会论文选集[C];2000年
4 夏丽莎;方华京;罗贞;;基于隐马尔可夫模型的故障诊断与预报综述[A];第25届中国控制与决策会议论文集[C];2013年
5 张建波;王和兴;才书训;;在线租赁系统顾客最大满意度的一种算法[A];第八届中国青年运筹信息管理学者大会论文集[C];2006年
6 吴琴;张杰;;四种求解不确定规划的智能算法的比较[A];第一届中国智能计算大会论文集[C];2007年
7 张晓艳;唐吴;韩江洪;周雷;;多Agent系统连续时间Option算法[A];第二十九届中国控制会议论文集[C];2010年
8 王族统;郭建胜;童声;张鹏涛;;多目标可靠性冗余优化的蜂群算法求解[A];探索 创新 交流——第六届中国航空学会青年科技论坛文集(下册)[C];2014年
9 戚金凤;徐征;;T_2反演的Nelder-Mead算法研究[A];第十九届全国波谱学学术会议论文摘要集[C];2016年
10 孙琳;刘惠义;徐建忠;;蚁群算法在军用车辆路径规划中的应用[A];第六届全国信号和智能信息处理与应用学术会议论文集[C];2012年
11 王双虎;;高保真算法研究进展[A];全国计算物理学会第六届年会和学术交流会论文摘要集[C];2007年
12 田益祥;;中长期预测模型的GMDH两水平算法[A];管理科学与系统科学进展——全国青年管理科学与系统科学论文集(第4卷)[C];1997年
13 彭锦;;进化算法综述[A];中国运筹学会第六届学术交流会论文集(上卷)[C];2000年
14 潘家平;侯向丹;武优西;宋阳阳;;一种快速求模算法[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年
15 郑芳英;韩丛英;贺国平;;异步PVT算法[A];中国运筹学会第七届学术交流会论文集(上卷)[C];2004年
16 张超;武先强;董荣胜;;一种改进的基于相干邻居亲近度的标签传播算法[A];广西计算机学会2016年学术年会论文集[C];2016年
17 王中德;苗若冰;;P×2~M点快速W变换[A];IEEE北京分会第一届学术年会论文集[C];1987年
18 董杰方;张汉欣;李安平;;冷卷入库的数学模型及算法[A];2001中国钢铁年会论文集(下卷)[C];2001年
19 王小翠;郑更新;邢瑞;;一个用模拟退火求解TSP问题的新算法[A];中国企业运筹学[C];2009年
20 赵刚;陈文兵;;用蚁群算法求解不定期船调度问题[A];第二十六届中国控制会议论文集[C];2007年
中国博士学位论文全文数据库 前20条
1 李相勇;车辆路径问题模型及算法研究[D];上海交通大学;2007年
2 鲍吉锋;平衡问题和优化问题若干算法的收敛性分析[D];浙江大学;2013年
3 屈盈飞;基于统计推理的复杂网络广义社团检测算法研究[D];重庆大学;2017年
4 钱旭;几类偏微分方程的保结构算法研究[D];国防科学技术大学;2014年
5 章宗长;部分可观察马氏决策过程的复杂性理论及规划算法研究[D];中国科学技术大学;2012年
6 贾兆红;粒子群优化算法在柔性作业车间调度中的应用研究[D];中国科学技术大学;2008年
7 刘绪庆;贝叶斯网络结构学习的模型与算法研究[D];南京航空航天大学;2019年
8 牛云云;求解计算困难问题的膜计算模型与算法研究[D];华中科技大学;2012年
9 张欣;大规模优化算法及其供应链网络应用研究[D];华南理工大学;2020年
10 黄玲玲;变分不等式及其相关问题的算法研究[D];西安电子科技大学;2012年
11 孙杨;多项式优化的数值—符号混合算法[D];清华大学;2008年
12 王玙;复杂网络社团检测算法及其应用研究[D];西安电子科技大学;2014年
13 胡喜珍;几类互补问题算法研究[D];武汉大学;2012年
14 贺素香;非线性优化中的一类对偶算法的理论研究[D];大连理工大学;2002年
15 戴树贵;物流系统模型和算法研究[D];华东师范大学;2007年
16 黄亚魁;几类优化问题的BB型算法研究[D];西安电子科技大学;2015年
17 王学永;变分不等式与线性约束分离优化问题的若干算法研究[D];重庆大学;2015年
18 张晓伟;全局优化的若干随机性算法[D];西安电子科技大学;2008年
19 寇喜鹏;结构变分不等式与凸优化问题的若干算法研究[D];重庆大学;2015年
20 鱼亮;蛋白质网络模块结构识别算法研究[D];西安电子科技大学;2011年
中国硕士学位论文全文数据库 前20条
1 贾红;烟花爆炸优化算法及其改进研究[D];华中科技大学;2010年
2 王书勤;车辆路径问题的蚁群算法研究[D];重庆大学;2008年
3 何汶坤;复杂网络的社团发现算法研究[D];西安建筑科技大学;2016年
4 郑健;烟花算法在多目标优化中的应用研究[D];桂林理工大学;2017年
5 岳振芳;教与学优化算法的改进研究[D];宁夏大学;2016年
6 刘爽爽;基于增量的不确定社团发现算法研究[D];山东师范大学;2016年
7 郭智源;求解强制单调变分不等式的算法比较[D];南京大学;2014年
8 周华;蚁群算法在开拓系统结构优化中的应用研究[D];西安建筑科技大学;2005年
9 龙汀;基于蚁群算法的车辆路径问题的研究[D];合肥工业大学;2008年
10 刘晓梅;一类特殊非线性问题的长效精细算法[D];上海交通大学;2007年
11 王淑靖;非重叠社区发现中近邻传播算法的研究与应用[D];中国矿业大学;2016年
12 梁晋;大规模复杂网络的社区发现算法研究[D];山西大学;2016年
13 祁一博;基于人工蜂群算法的Van der Pol-Duffing振子的参数辨识[D];武汉理工大学;2012年
14 程立翔;鳞虾群算法的改进及其在结构可靠性分析中的应用[D];广州大学;2020年
15 贺琳琳;基于锥面积进化算法的符号社会网络社区检测[D];华南理工大学;2017年
16 龙秀萍;类电磁机制算法研究[D];西安电子科技大学;2012年
17 李委委;混合蚁群算法在车辆路径优化问题中的研究与应用[D];大连交通大学;2012年
18 温珂伟;基于支持向量机的分布估计算法研究[D];上海交通大学;2011年
19 王洪波;基于马尔科夫链的算法复杂度分析[D];大连理工大学;2007年
20 任瑞春;基于排序加权的蚁群算法[D];大连海事大学;2006年
中国重要报纸全文数据库 前4条
1 PALADIN;算法中的NP问题[N];电脑报;2003年
2 本报记者 王悠然;关注政府决策中的算法透明性[N];中国社会科学报;2021年
3 记者 王阳;聚焦基础算法,让“徐匡迪之问”有解[N];上海科技报;2019年
4 通讯员 桂运安;新算法可快速选出最优子集[N];中国科学报;2020年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978