收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

深度神经网络的压缩研究

韩云飞  蒋同海  马玉鹏  徐春香  张睿  
【摘要】:深度神经网络中过多的参数使得自身成为高度计算密集型和内存密集型的模型,这使得深度神经网络的应用不能轻易地移植到嵌入或移动设备上以解决特殊环境下的实际需求。为了解决该问题,提出了基于网络删减、参数共享两者结合的神经网络压缩方案。首先通过删减掉权重小于阈值的网络连接,保留其重要的连接;然后使用K-means聚类算法将删减后每层的参数进行聚类,每簇内的各个参数共享该簇的中心值作为其权重。实验在MNIST数据集上完成手写数字识别功能的Le Net-300-100网络和修改得到的Le Net-300-240-180-100网络分别压缩了9.5×和12.1×。基于网络删减、参数共享两者结合的神经网络压缩方案为未来在特殊环境下更丰富的基于深度神经网络的智能应用提供了可行方案。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 韩云飞;蒋同海;马玉鹏;徐春香;张睿;;深度神经网络的压缩研究[J];计算机应用研究;2018年10期
2 张琦;蒋淑霞;李翔晟;薛行健;;基于小波和神经网络的火花塞间隙识别[J];计算机仿真;2017年04期
3 刘桂霞;王沫沅;苏令涛;吴春国;孙立岩;王荣全;;基于深度神经网络的蛋白质相互作用预测框架[J];吉林大学学报(工学版);年期
4 张庭略;;基于硬件的神经网络加速[J];通讯世界;2018年08期
5 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期
6 王丽华;杨秀萍;王皓;高峥翔;;智能双轮平衡车的设计研究[J];数字技术与应用;2018年04期
7 苏秀婷;;耦合神经网络的同步[J];绍兴文理学院学报(自然科学);2016年03期
8 朱溦;;神经网络结合平均影响值方法筛选变量[J];产业与科技论坛;2017年01期
9 ;硅光子神经网络亮相[J];石油工业计算机应用;2016年04期
10 任刚红;杜坤;周明;刘年东;张晋;;基于级联神经网络的年降雨量预测[J];土木建筑与环境工程;2016年S2期
11 金鑫;李龙威;季佳男;李祉歧;胡宇;赵永彬;;基于大数据和优化神经网络短期电力负荷预测[J];通信学报;2016年S1期
12 陈明;张凤荣;肖茜文;;基于灰色系统神经网络的中国低碳能源供需形势分析[J];生态经济;2017年02期
13 张国玲;;基于情感神经网络的风电功率预测[J];电信科学;2017年03期
14 梁燕华;张传斌;;基于神经网络数据融合实现火灾预警[J];科技传播;2017年04期
15 胡聪丛;胡桓;;深度神经网络的发展现状[J];电子技术与软件工程;2017年04期
16 曾维亮;林志贤;陈永洒;;基于卷积神经网络的智能冰箱果蔬图像识别的研究[J];微型机与应用;2017年08期
17 张琳;;基于神经网络的微博话题预测及分析[J];数字技术与应用;2017年03期
18 李秋硕;王岩;孙宇军;肖勇;欧阳涛;;BP神经网络在用电用户分类中的应用[J];现代电子技术;2017年09期
19 李博;王建国;李静文;;基于神经网络的景气预测模型[J];统计与决策;2017年10期
20 侯宇昆;;卷积神经网络概述[J];中国新通信;2017年09期
中国重要会议论文全文数据库 前10条
1 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
2 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
3 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
4 李涛;费树岷;;具有变时滞Cohen-Grossberg神经网络的指数稳定性准则[A];第二十六届中国控制会议论文集[C];2007年
5 汪灵枝;秦发金;;具有变时滞和脉冲的离散Cohen-Grossberg神经网络的周期解[A];中国自动化学会控制理论专业委员会D卷[C];2011年
6 韩正之;林家骏;;用神经网络求解非线性相容方程[A];1993年控制理论及其应用年会论文集[C];1993年
7 林家骏;王赞基;;求解不可微优化问题的连续极大熵神经网络[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
8 姜德宏;徐德民;任章;;基于神经网络的自校正控制器[A];1993中国控制与决策学术年会论文集[C];1993年
9 窦永丰;贝超;;模糊与神经网络结合方式及在控制中的应用[A];1997年中国控制会议论文集[C];1997年
10 潘永泉;;基于神经网络的图像序列参数估计方法[A];1994中国控制与决策学术年会论文集[C];1994年
中国博士学位论文全文数据库 前10条
1 李若霞;基于忆阻的神经网络的动力学分析及应用[D];东南大学;2017年
2 项延德;基于卷积神经网络的心电信号检测和分类研究[D];浙江大学;2018年
3 黄杰;基于深度学习的手语识别技术研究[D];中国科学技术大学;2018年
4 曹春水;深度卷积神经网络中反馈机制的计算建模及应用研究[D];中国科学技术大学;2018年
5 田昌海;神经网络上奇异态的研究[D];华东师范大学;2018年
6 孔颖;终态神经网络及其相关应用[D];浙江工业大学;2017年
7 张振敏;基于脉冲神经网络的纹理图像识别研究[D];福建师范大学;2016年
8 陈浩广;基于扩展神经网络的非线性不确定系统自适应控制设计研究[D];广东工业大学;2017年
9 高洁;几类复杂网络的同步控制研究[D];电子科技大学;2018年
10 刘奎;基于神经网络的癌症筛查与诊断人工智能研究[D];北京邮电大学;2018年
中国硕士学位论文全文数据库 前10条
1 王兴;基于深度学习的语义关系分类研究[D];北京交通大学;2018年
2 李圆圆;基于BP神经网络的北京市二手房交易价格预测研究[D];首都经济贸易大学;2018年
3 周涛;基于神经网络的林火信息融合系统设计[D];中南林业科技大学;2018年
4 王儒;基于卷积神经网络的短文本表示与分类研究[D];山东师范大学;2018年
5 王大伟;基于卷积神经网络的图像识别研究[D];天津大学;2017年
6 沈唱黎;基于神经网络的时间序列预测研究与优化[D];北京邮电大学;2018年
7 刘晨;基于卷积神经网络的外汇时间序列预测研究[D];郑州大学;2018年
8 李贝贝;基于深度学习的热轧产品性能预报研究[D];武汉科技大学;2018年
9 蔡国帅;改进的神经网络及CFD在MBR模拟仿真中的应用研究[D];天津工业大学;2018年
10 米广树;基于群智感知的PM2.5监测系统设计与实现[D];北京邮电大学;2018年
中国重要报纸全文数据库 前10条
1 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
2 张敏;人机大战,到底谁会赢?[N];北京日报;2017年
3 ;人工智能将取得大面积突破[N];中国企业报;2017年
4 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
5 科大讯飞董事长 刘庆峰;高考机器人考入一流大学不再是梦[N];中国教育报;2017年
6 中国科学技术大学终身学习实验室博士 吴茂乾;“寒武纪”人工智能大爆发的前夜[N];安徽日报;2017年
7 卡内基·梅隆大学计算机科学学院机器学习系主任 Tom Mitchell;突破人类和机器的边界[N];中国信息化周报;2017年
8 舒年;“深度学习”与人工智能的新挑战[N];工人日报;2017年
9 记者 刘霞;新神经网络使计算机像人一样推理[N];科技日报;2017年
10 本报记者 喻思娈;人工智能有多智能?[N];人民日报;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978