收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

循环神经网络研究综述

杨丽  吴雨茜  王俊丽  刘义理  
【摘要】:循环神经网络(RNN)是一类非常强大的用于处理和预测序列数据的神经网络模型。循环结构的神经网络克服了传统机器学习方法对输入和输出数据的许多限制,使其成为深度学习领域中一类非常重要的模型。RNN及其变体网络已经被成功应用于多种任务,尤其是当数据中存在一定时间依赖性的时候。语音识别、机器翻译、语言模型、文本分类、词向量生成、信息检索等,都需要一个模型能够将具有序列性质的数据作为输入进行学习;然而,RNN通常难以训练,循环多次之后,大多数情况下梯度往往倾向于消失,也有较少情况会发生梯度爆炸的问题。针对RNN在实际应用中存在的问题,长短期记忆(LSTM)网络被提出,它能够保持信息的长期存储而备受关注,关于LSTM结构的改进工作也陆续出现。然后,主要针对循环结构的神经网络的发展进行详细阐述,对目前流行的几种变体模型进行详细的讨论和对比。最后,对循环结构的神经网络的发展趋势进行了探讨。

知网文化
【相似文献】
中国期刊全文数据库 前16条
1 杨丽;吴雨茜;王俊丽;刘义理;;循环神经网络研究综述[J];计算机应用;2018年S2期
2 钱岳;丁效;刘挺;陈毅恒;;聊天机器人中用户出行消费意图识别方法[J];中国科学:信息科学;2017年08期
3 荣光辉;黄震华;;基于深度学习的问答匹配方法[J];计算机应用;2017年10期
4 俞汝劼;杨贞;熊惠霖;;基于深度卷积神经网络的航空器检测与识别[J];计算机应用;2017年06期
5 宋超;许道云;秦永彬;;分离多路卷积神经网络研究[J];计算机工程;2017年06期
6 蒋承知;于起;叶文强;甘凇元;;卷积神经网络算法的比较探究[J];电子技术与软件工程;2017年07期
7 段大高;谢永恒;盖新新;刘占斌;;基于神经网络的微博虚假消息识别模型[J];信息网络安全;2017年09期
8 马超;侯天诚;徐瑾辉;张振华;蓝斌;;泛函深度神经网络及其在金融时间序列预测中的应用[J];徐州工程学院学报(自然科学版);2017年02期
9 黄煌;;一种基于深度神经网络的非线性控制分配方法[J];战术导弹技术;2017年04期
10 沈荣;张保文;;深度学习浅谈[J];电脑知识与技术;2017年16期
11 杨念聪;任琼;张成喆;周子煜;李倩;邱兰;;基于卷积神经网络的图像特征识别研究[J];信息与电脑(理论版);2017年14期
12 王盛玉;曾碧卿;胡翩翩;;基于卷积神经网络参数优化的中文情感分析[J];计算机工程;2017年08期
13 王艳娜;孙丙宇;;基于卷积神经网络的烟瘾渴求脑电分类[J];计算机系统应用;2017年06期
14 张国云;向灿群;罗百通;郭龙源;欧先锋;;一种改进的人脸识别CNN结构研究[J];计算机工程与应用;2017年17期
15 赵慧珍;刘付显;李龙跃;罗畅;;基于混合maxout单元的卷积神经网络性能优化[J];通信学报;2017年07期
16 陶宏曜;梁栋屹;;基于卷积神经网络的职位描述文本分类方法[J];软件;2017年06期
中国重要会议论文全文数据库 前10条
1 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
2 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
3 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
4 李涛;费树岷;;具有变时滞Cohen-Grossberg神经网络的指数稳定性准则[A];第二十六届中国控制会议论文集[C];2007年
5 汪灵枝;秦发金;;具有变时滞和脉冲的离散Cohen-Grossberg神经网络的周期解[A];中国自动化学会控制理论专业委员会D卷[C];2011年
6 韩正之;林家骏;;用神经网络求解非线性相容方程[A];1993年控制理论及其应用年会论文集[C];1993年
7 林家骏;王赞基;;求解不可微优化问题的连续极大熵神经网络[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
8 姜德宏;徐德民;任章;;基于神经网络的自校正控制器[A];1993中国控制与决策学术年会论文集[C];1993年
9 窦永丰;贝超;;模糊与神经网络结合方式及在控制中的应用[A];1997年中国控制会议论文集[C];1997年
10 潘永泉;;基于神经网络的图像序列参数估计方法[A];1994中国控制与决策学术年会论文集[C];1994年
中国博士学位论文全文数据库 前10条
1 周小强;基于深度学习的交互式问答技术研究[D];哈尔滨工业大学;2017年
2 李若霞;基于忆阻的神经网络的动力学分析及应用[D];东南大学;2017年
3 项延德;基于卷积神经网络的心电信号检测和分类研究[D];浙江大学;2018年
4 孔颖;终态神经网络及其相关应用[D];浙江工业大学;2017年
5 李扬;面向图像目标识别和检测的深度神经网络关键技术研究[D];北京邮电大学;2018年
6 李皈颖;深度模型简化:存储压缩和计算加速[D];中国科学技术大学;2018年
7 靳然;基于神经网络和支持向量机的麦蚜发生动态预测研究[D];山西农业大学;2017年
8 焦志成;基于卷积神经网络的生物医学信号分类与重构[D];西安电子科技大学;2018年
9 李鸿鹏;基于神经网络的非线性系统辨识方法研究[D];东北林业大学;2018年
10 张振敏;基于脉冲神经网络的纹理图像识别研究[D];福建师范大学;2016年
中国硕士学位论文全文数据库 前10条
1 石颖;基于循环神经网络的语音识别方案的优化与设计[D];北京交通大学;2017年
2 严寒;基于卷积神经网络的图像分类算法研究[D];西北大学;2018年
3 尹化荣;基于卷积神经网络的情感分类算法研究[D];西北大学;2018年
4 邹鑫;基于卷积神经网络的图像分类算法研究[D];西北师范大学;2018年
5 李婷玉;基于神经网络的输油管道腐蚀预测研究与实现[D];华北理工大学;2018年
6 曹雲梦;基于BP神经网络的轨道电路故障诊断[D];华北理工大学;2018年
7 董天宇;基于BP神经网络的车牌识别研究[D];华北理工大学;2018年
8 杨蒙蒙;基于混合生物地理学优化算法和BP神经网络的树叶分类系统[D];南京师范大学;2018年
9 杨建;基于卷积神经网络的人脸识别方法研究及应用[D];长安大学;2018年
10 孙文磊;Spiking神经网络及其在图像分割中的应用[D];长安大学;2018年
中国重要报纸全文数据库 前10条
1 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
2 ;神经网络小史[N];电子报;2018年
3 张敏;人机大战,到底谁会赢?[N];北京日报;2017年
4 ;人工智能将取得大面积突破[N];中国企业报;2017年
5 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
6 科大讯飞董事长 刘庆峰;高考机器人考入一流大学不再是梦[N];中国教育报;2017年
7 中国科学技术大学终身学习实验室博士 吴茂乾;“寒武纪”人工智能大爆发的前夜[N];安徽日报;2017年
8 卡内基·梅隆大学计算机科学学院机器学习系主任 Tom Mitchell;突破人类和机器的边界[N];中国信息化周报;2017年
9 舒年;“深度学习”与人工智能的新挑战[N];工人日报;2017年
10 记者 刘霞;新神经网络使计算机像人一样推理[N];科技日报;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978