收藏本站
收藏 | 投稿 | 论文排版

面向稀疏卷积神经网络的GPU性能优化方法

董晓  刘雷  李晶  冯晓兵  
【摘要】:近些年来,深度卷积神经网络在多项任务中展现了惊人的能力,并已经被用在物体检测、自动驾驶和机器翻译等众多应用中.但这些模型往往参数规模庞大,并带来了沉重的计算负担.神经网络的模型剪枝技术能够识别并删除模型中对精度影响较小的参数,从而降低模型的参数数目和理论计算量,给模型的高效执行提供了机会.然而,剪枝后的稀疏模型却难以在GPU上实现高效执行,其性能甚至差于剪枝前的稠密模型,导致模型剪枝难以带来真正的执行性能收益.提出一种稀疏感知的代码生成方法,能够生成高效的稀疏卷积GPU程序.首先为卷积算子设计了算子模板,并结合GPU的特点对模板代码进行了多种优化.算子模板中的源代码经过编译和分析被转换为算子中间表示模板,设计了一种稀疏代码生成方法,能够结合剪枝后的稀疏参数,基于中间表示模板生成对应的稀疏卷积代码.同时,利用神经网络执行过程中的数据访问特点对数据的访问和放置进行了优化,有效提升了访存吞吐量.最后,稀疏参数的位置信息被隐式编码在生成的代码中,不需要额外的索引结构,降低了访存需求.在实验中证明了:相对于GPU上已有的稀疏神经网络执行方法,提出的稀疏感知的代码生成方法能够有效提升稀疏卷积神经网络的性能.

知网文化
【相似文献】
中国期刊全文数据库 前15条
1 张澳博;;GPU并行计算分析[J];数字通信世界;2017年09期
2 邓彦伶;;基于GPU的异构计算技术在超级计算领域的现状及发展展望[J];电脑迷;2017年08期
3 中国科学院成都文献情报中心信息科技战略情报团队;;瑞士研究人员利用GPU加速的超级计算机模拟宇宙[J];中国教育网络;2017年08期
4 张立志;赵士彭;赵皓宇;苏孟豪;刘苏;;高性能GPU模拟器的实现[J];高技术通讯;2020年06期
5 戴云峰;周志芳;强建科;刘冰;;基于GPU实现汉克尔变换并行计算[J];物探化探计算技术;2012年05期
6 胡延苏;高昂;王志军;慕德俊;;基于GPU加速的定向凝固相场模拟计算研究[J];计算机科学;2015年07期
7 张浩;李利军;林岚;;GPU的通用计算应用研究[J];计算机与数字工程;2005年12期
8 刘家彤;王春洁;吴健;付志方;;二维结构拓扑优化的GPU并行计算方法研究[J];机械设计与制造;2020年01期
9 丁鹏;贾月乐;张静;张岩;;GPU结构与通用计算探析[J];技术与市场;2009年09期
10 孙成刚;李峥;唐冬冬;李翔;滕红;;基于GPU的高性能并行计算应用[J];电子信息对抗技术;2012年02期
11 夏健明;魏德敏;;求解矩阵特征值的GPU实现(英文)[J];中山大学学报(自然科学版);2008年S2期
12 刘丽;沈杰;李洪林;;基于GPU的矩阵求逆性能测试和分析[J];华东理工大学学报(自然科学版);2010年06期
13 张荔哲;刘凯;张亚杰;;“互联网+”时代下的GPU体系结构教学改革研究——《计算机组成与系统结构》课程的创新设计[J];中国教育信息化;2019年21期
14 朱永贵;张佳佳;华敏杰;;探究GPU对神经网络的加速作用[J];中国传媒大学学报(自然科学版);2018年05期
15 刘晖;田泽;张骏;马城城;;基于OpenGL的GPU命令处理器设计方法研究[J];航空计算技术;2020年03期
中国重要会议论文全文数据库 前10条
1 罗月童;薛晔;刘晓平;;基于GPU的多分辨率体数据重构技术研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
2 彭志云;王惜民;赖美森;山川;;并行计算时代:基于CUDA的通用GPU计算的发展[A];科技与企业——企业科技创新与管理学术研讨会论文集(上)[C];2016年
3 李宁;沈立;朱琪;徐叶茂;王志英;;面向集成GPU的功耗与能耗预测模型[A];第二十届计算机工程与工艺年会暨第六届微处理器技术论坛论文集[C];2016年
4 杜云飞;杨灿群;王锋;;一种基于共享内存的多进程共享GPU技术[A];第十七届计算机工程与工艺年会暨第三届微处理器技术论坛论文集(上册)[C];2013年
5 翟永贵;李记肖;王洪广;张剑锋;李韵;林舒;李永东;;基于GPU的微波器件微放电阈值快速粒子模拟[A];中国电子学会真空电子学分会第二十一届学术年会论文集[C];2018年
6 蒋景红;杨力;蔡惠智;侯卫民;;GPU在实时信号处理系统中应用的可行性研究[A];2009年全国水声学学术交流暨水声学分会换届改选会议论文集[C];2009年
7 郭俊伟;任武;薛正辉;李伟明;;CUDA平台下的GPU并行计算系统研究[A];2013年全国微波毫米波会议论文集[C];2013年
8 周磊;谭伟伟;牛俊强;;航空CFD求解器多GPU加速技术研究[A];第九届全国流体力学学术会议论文摘要集[C];2016年
9 刘周;杨云军;周伟江;龚安龙;;GPU异构平台下非结构网格CFD软件的移植和优化[A];第十届全国流体力学学术会议论文摘要集[C];2018年
10 郑亮;Taras Gerya;张怀;David A.Yuen;石耀霖;;GPU的内存与线程机制及其在地球动力学计算中的算例[A];中国地球物理2010——中国地球物理学会第二十六届年会、中国地震学会第十三次学术大会论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 吕相文;高性能计算云环境下GPU并行计算技术及应用研究[D];南京航空航天大学;2015年
2 刘昆;时域有限元的二维导体微波成像及其图形处理器(GPU)加速的探索[D];西南交通大学;2008年
3 黄涛;基于GPU的多点地质统计逐点模拟并行算法的研究[D];中国科学技术大学;2013年
4 白洪涛;基于GPU的高性能并行算法研究[D];吉林大学;2010年
5 李繁;基于GPU的高性能并行优化算法研究[D];大连理工大学;2014年
6 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年
7 杨莉萍;量子计算及其在生物化学问题中的应用研究[D];华中科技大学;2018年
8 殷建;基于GPU的矩阵乘法优化研究[D];山东大学;2015年
9 刘天桢;基于多维数据分析的神经网络与分布式计算研究[D];武汉理工大学;2008年
10 胥凯;植入式脑机接口中神经元重要性评估及锋电位的高效解码[D];浙江大学;2015年
中国硕士学位论文全文数据库 前10条
1 彭灿;GPU堆管理器中地址随机化技术的研究与实现[D];湖南大学;2019年
2 周思璐;基于GPU的隐藏通道的研究[D];湖南大学;2019年
3 姜大闯;基于GPU的光纤振动信号并行处理研究[D];杭州电子科技大学;2019年
4 周志敏;可变形部件模型的并行加速及应用[D];上海交通大学;2016年
5 黄兰兰;基于访存行为分类的GPU内存调度研究[D];华中科技大学;2019年
6 魏媛媛;基于国产GPU轻量图形引擎的设计与实现[D];华中科技大学;2019年
7 王任;基于GPU的网络编码的并行计算研究[D];浙江理工大学;2012年
8 吴昊铮;基于GPU加速的脉冲噪声检测算法研究[D];桂林理工大学;2017年
9 张亚;基于重用距离的GPU缓存缺失分析模型的设计与验证[D];东南大学;2016年
10 黄敬磊;GPU通用计算中的数据结构组织与应用研究[D];解放军信息工程大学;2007年
中国重要报纸全文数据库 前3条
1 曹宁;国内首个基于Windows操作系统的GPU高性能计算集群研制成功[N];科学时报;2011年
2 本报记者 齐旭;英特尔入局高性能独显,GPU未来谁成赢家[N];中国电子报;2019年
3 赵晓涛;神经网络上的莲花[N];网络世界;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978