收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于多注意力多尺度特征融合的图像描述生成算法

陈龙杰  张钰  张玉梅  吴晓军  
【摘要】:针对图像描述生成中对图像细节表述质量不高、图像特征利用不充分、循环神经网络层次单一等问题,提出基于多注意力、多尺度特征融合的图像描述生成算法。该算法使用经过预训练的目标检测网络来提取图像在卷积神经网络不同层上的特征,将图像特征分层输入多注意力结构中,依次将多注意力结构与多层循环神经网络相连,构造出多层次的图像描述生成网络模型。在多层循环神经网络中加入残差连接来提高网络性能,并且可以有效避免因为网络加深导致的网络退化问题。在MSCOCO测试集中,所提算法的BLEU-1和CIDEr得分分别可以达到0. 804及1. 167,明显优于基于单一注意力结构的自上而下图像描述生成算法;通过人工观察对比可知,所提算法生成的图像描述可以表现出更好的图像细节。

知网文化
【相似文献】
中国期刊全文数据库 前15条
1 汤鹏杰;谭云兰;李金忠;;融合图像场景及物体先验知识的图像描述生成模型[J];中国图象图形学报;2017年09期
2 杨楠;南琳;张丁一;库涛;;基于深度学习的图像描述研究[J];红外与激光工程;2018年02期
3 周昌;郑雅羽;周凡;陈耀武;;基于局部图像描述的目标跟踪方法[J];浙江大学学报(工学版);2008年07期
4 李亚栋;莫红;王世豪;周忠;吴威;;基于图像描述的人物检索方法[J];系统仿真学报;2018年07期
5 吴娱;赵嘉济;平子良;杜昊翔;;基于指数矩的图像描述[J];现代电子技术;2013年14期
6 褚晓亮;朱连章;吴春雷;;基于用户注意力与视觉注意力的社交图像描述[J];计算机系统应用;2018年08期
7 曹刘彬;张丽红;;基于连续Skip-gram及深度学习的图像描述方法[J];测试技术学报;2017年05期
8 曹斌;;中文图像描述的自动生成与模型分析[J];电子世界;2018年05期
9 任越美;程显毅;李小燕;谢玉宇;;基于概念级语义的图像描述与识别[J];计算机科学;2008年07期
10 毛玉萃;;一种面向用户需求的图像描述方法[J];制造业自动化;2010年11期
11 于永新;冯志勇;;基于常识库支持的图像描述和检索系统[J];计算机应用研究;2009年02期
12 周卫东,冯其波,匡萃方;图像描述方法的研究[J];应用光学;2005年03期
13 周治平;张威;;结合视觉属性注意力和残差连接的图像描述生成模型[J];计算机辅助设计与图形学学报;2018年08期
14 沈淑涛;;计算机提取图像区域特征的描述和测量[J];通讯世界;2016年08期
15 王一阳;;对于华托《舟发西苔岛》的图像分析[J];才智;2010年31期
中国重要会议论文全文数据库 前1条
1 沈超慧;;基于多尺度特征聚类的三维模型局部形状检索方法[A];第四届和谐人机环境联合学术会议论文集[C];2008年
中国博士学位论文全文数据库 前4条
1 汤进;基于图理论的图像描述与检索方法研究[D];安徽大学;2007年
2 顾广华;面向图像语义描述的场景分类研究[D];北京交通大学;2013年
3 曲智国;基于图理论的图像结构化描述与匹配方法研究[D];国防科学技术大学;2013年
4 刘立;基于多尺度特征的图像匹配与目标定位研究[D];华中科技大学;2008年
中国硕士学位论文全文数据库 前10条
1 金龙;CT引导下氩氦刀冷冻消融治疗软组织肉瘤临床研究[D];北京协和医学院;2018年
2 李亚茹;基于应用组合耗电预测的Android智能手机电量管理系统的设计与实现[D];西安电子科技大学;2018年
3 房超;基于图像高级语义与Attention融合的图像描述方法研究[D];辽宁大学;2018年
4 束炎武;基于多模态递归网络的图像描述研究[D];南京理工大学;2018年
5 倪梦珺;基于众包的深度学习图像描述Unknown Unknowns消除研究[D];华东师范大学;2018年
6 周畅;基于主题的图像描述生成技术研究与应用[D];北京邮电大学;2018年
7 陈小平;基于深度模型学习的跨模态检索[D];北京邮电大学;2018年
8 马书博;基于结构化文本的图像语义描述生成方法研究[D];天津大学;2017年
9 陈影;基于复杂网络理论的图像描述与识别方法研究[D];安徽大学;2014年
10 李敏;基于多尺度特征提取的3D点云匹配的4PCS算法[D];吉林大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978