收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

多模态视觉语言表征学习研究综述

杜鹏飞  李小勇  高雅丽  
【摘要】:我们生活在一个由大量不同模态内容构建而成的多媒体世界中,不同模态信息之间具有高度的相关性和互补性,多模态表征学习的主要目的就是挖掘出不同模态之间的共性和特性,产生出可以表示多模态信息的隐含向量.主要介绍了目前应用较广的视觉语言表征的相应研究工作,包括传统的基于相似性模型的研究方法和目前主流的基于语言模型的预训练的方法.目前比较好的思路和解决方案是将视觉特征语义化,然后与文本特征通过一个强大的特征抽取器产生出表征,其中,Transformer作为主要的特征抽取器被应用表征学习的各类任务中.分别从研究背景、不同研究方法的划分、测评方法、未来发展趋势等几个不同角度进行阐述.

知网文化
【相似文献】
中国期刊全文数据库 前12条
1 张莹莹;钱胜胜;方全;徐常胜;;基于多模态知识感知注意力机制的问答方法[J];计算机研究与发展;2020年05期
2 朱红林;王帆;侍洪波;谭帅;;基于非负矩阵分解的多模态过程故障监测方法[J];化工学报;2016年05期
3 林雪峰;李炜;;基于深度学习的阿尔兹海默症多模态辅助诊断研究[J];工业控制计算机;2020年03期
4 解翔;侍洪波;;一种适用于多模态过程监控的集成统计指标[J];华东理工大学学报(自然科学版);2012年04期
5 王静茹;宋绍成;徐慧;;基于深度学习框架下的多模态情报智能挖掘研究[J];情报科学;2019年12期
6 胡旭晓;潘晓弘;何卫;陈罡;;惩罚函数的构造及多模态平稳过渡策略[J];机械工程学报;2008年04期
7 杨孔雨;王秀峰;;基于平衡峰值和梯度进化策略的多模态免疫算法[J];模式识别与人工智能;2006年02期
8 邱达锋;;一种基于多模态融合神经网络对疲劳度检测的方法[J];现代计算机;2020年35期
9 胡晓波;陈中;杜文娟;王海风;万秋兰;唐国庆;;利用多端统一潮流控制器阻尼多模态振荡[J];电力系统自动化;2007年17期
10 杜琳;王光霞;李科;;基于深度学习的多模态地貌识别算法研究[J];测绘与空间地理信息;2020年08期
11 李帅;;人工智能语境下个人信息安全挑战及行政法应对——以多模态个人信息识别为例[J];法理——法哲学、法学方法论与人工智能;2019年01期
12 程波;钟静;熊江;;多模态集成阿尔茨海默病和轻度认知障碍分类[J];集成技术;2013年06期
中国重要会议论文全文数据库 前20条
1 闫书佳;刘新伯;熊桓仟;童美松;;基于多模态算法的电力设备智能检测方法研究[A];2020中国自动化大会(CAC2020)论文集[C];2020年
2 李阳;;多模态深度学习方法在脑疾病辅助诊断中的应用[A];第十六届中国体视学与图像分析学术会议论文集——交叉、融合、创新[C];2019年
3 夏凡;王宏;;多模态情感数据标注方法与实现[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
4 张旭;郭晨;孙建波;;自适应多模态克隆选择算法[A];2007年中国智能自动化会议论文集[C];2007年
5 方俊永;刘学;郑兰芬;童庆禧;;多模态航空数字相机系统设计和结果分析[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
6 解迎刚;王志良;杨溢;邵彦娟;;基于改进蚁群算法的多模态情感识别研究[A];2011年中国智能自动化学术会议论文集(第一分册)[C];2011年
7 张友安;胡云安;周绍磊;;Hammerstein系统的多模态模型及其两步辨识法[A];1996中国控制与决策学术年会论文集[C];1996年
8 钟若飞;郭华东;王为民;朱博勤;;SZ-4多模态传感器辐射模态数据处理与应用评价研究[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
9 罗毅平;谭飞;柏建国;张仕斌;;反馈概念的认识和扩展[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
10 俞大海;周均扬;;Deep HMI-多模态深度学习技术在智能家居中的应用[A];2017年中国家用电器技术大会论文集[C];2017年
11 蒋平;陈辉堂;王月娟;胡凤轩;;采用图象直接反馈的机器人目标抓取[A];1996年中国控制会议论文集[C];1996年
12 陈渝光;施海;游四海;廖仕利;;基于车载网络的多模态信息采集[A];四川省电工技术学会第九届学术年会论文集[C];2008年
13 吴禹彤;张林;陈善秋;张丽玲;;先进视觉惯性导航系统综述[A];惯性技术与智能导航学术研讨会论文集[C];2019年
14 叶庆卫;汪同庆;叶俊勇;;一种频谱模糊聚类的多模态分解算法研究[A];第二十七届中国控制会议论文集[C];2008年
15 汪思源;白广来;董晓鹏;;智能多模态PID控制算法[A];1995年中国控制会议论文集(下)[C];1995年
16 高明镜;郭杭;漆钰晖;;基于视觉的机器人组合导航方法综述[A];卫星导航定位与北斗系统应用2018——深化北斗应用 促进产业发展[C];2018年
17 周福娜;张玉;杨书娜;;基于相关主元和微分几何特征抽取的多模态过程监测[A];第26届中国控制与决策会议论文集[C];2014年
18 胡海东;赵清杰;;机器人的惯性/视觉组合定位方法[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
19 武冬星;叶庆卫;周宇;王晓东;;基于SSI算法的多模态振动信号在线监测仿真[A];2011年中国智能自动化学术会议论文集(第一分册)[C];2011年
20 王春健;;球员Agent视觉决策系统研究[A];2004中国机器人足球比赛暨学术研讨会论文集[C];2004年
中国博士学位论文全文数据库 前20条
1 张灵均;多模态数据分类的模糊粗糙方法研究[D];天津大学;2017年
2 李宝磊;多元优化过程记忆算法及动静条件下多模态寻优研究[D];云南大学;2015年
3 杨杨;适应开放环境的多模态学习技术[D];南京大学;2019年
4 谭帅;多模态过程统计建模及在线监测方法研究[D];东北大学;2012年
5 李航;遗传算法求解多模态优化问题的研究[D];天津大学;2007年
6 胡骏;社会多媒体网络表示学习研究[D];合肥工业大学;2020年
7 解翔;基于统计理论的多模态工业过程建模与监控方法研究[D];华东理工大学;2013年
8 岳彩通;基于群集智能的多模态多目标优化算法及其应用研究[D];郑州大学;2020年
9 高静;信息物理融合系统中基于多模态数据的事件监测问题研究[D];哈尔滨工业大学;2015年
10 薛亚许;基于多模态感知的人手动作捕捉与识别[D];武汉理工大学;2018年
11 吴晨飞;基于关系建模的视觉问答研究[D];北京邮电大学;2020年
12 孙瀚;基于多模态生物电信号人机交互技术研究[D];东南大学;2019年
13 桂琳;智能家居中基于视觉的服装分析和推荐研究[D];中国海洋大学;2015年
14 侯蓓蓓;基于深度学习的多模态核磁共振脑影像分割方法及应用研究[D];北京邮电大学;2020年
15 李善青;基于穿戴视觉的人机交互技术[D];北京理工大学;2010年
16 李洁;多模态脑电信号分析及脑机接口应用[D];上海交通大学;2009年
17 马贺贺;基于数据驱动的复杂工业过程故障检测方法研究[D];华东理工大学;2013年
18 刘冰;基于深度残差学习的视觉物体跟踪算法研究[D];重庆大学;2019年
19 白栋栋;深度学习下视觉地点识别研究[D];国防科技大学;2019年
20 张乾;基于随机森林的视觉数据分类关键技术研究[D];华南理工大学;2016年
中国硕士学位论文全文数据库 前20条
1 余东晨;多模态学习理论与应用研究[D];上海交通大学;2019年
2 吴良庆;面向多模态信息的情绪分类方法研究[D];苏州大学;2020年
3 刘傲;基于深度学习的多模态智能问答技术研究[D];电子科技大学;2020年
4 杜立寰;基于多模态深度学习的疲劳驾驶检测[D];上海交通大学;2018年
5 张越;基于多模态磁共振脑影像特征的精神分裂症自动分类及个体化预测研究[D];华南理工大学;2019年
6 李珍珍;阿尔兹海默症多模态辅助诊断模型研究[D];河南大学;2019年
7 倪雪婷;多模态数据融合与传输关键技术研究[D];电子科技大学;2019年
8 徐婧;基于图像和WiFi信号的智能手机多模态位置感知研究[D];南京航空航天大学;2019年
9 姚继鹏;基于图文检索的多模态学习算法研究[D];西安电子科技大学;2019年
10 马雨含;动态局部数据整合的多模态故障检测研究[D];沈阳化工大学;2019年
11 李瑶;小样本的多模态遥感影像融合分类方法[D];上海海洋大学;2019年
12 南轲;基于卷积特征的多模态遥感影像匹配研究[D];西南交通大学;2019年
13 刘瑞楠;RGB-D重建及多模态特征融合的人脸识别[D];西南交通大学;2019年
14 朱贝贝;基于多模态融合的中文歌曲情感分类方法研究[D];北京工业大学;2019年
15 王达;多模态过程集合型故障诊断方法研究[D];沈阳理工大学;2019年
16 吴逸峰;基于多种深度学习构件的同源及异源多模态数据利用[D];南京大学;2019年
17 江代民;多模态触觉信号的时空关联特征提取与识别研究[D];武汉理工大学;2018年
18 李国森;多模态多目标进化算法的研究与应用[D];中原工学院;2019年
19 刘金永;基于核机器深度融合的多模态情感识别方法研究[D];兰州大学;2019年
20 高育林;基于深度学习的多模态故障诊断及剩余寿命预测[D];河南大学;2018年
中国重要报纸全文数据库 前15条
1 记者 戴丽昕;共融机器人多模态转变成为发展趋势[N];上海科技报;2017年
2 本报记者 郭钇杉;京东数科发力多模态AI技术[N];中华工商时报;2020年
3 高翔;云、端、芯上的视觉计算[N];中国航空报;2019年
4 本报记者 唐芳;梅卡曼德凭3D视觉跑上“朝阳”赛道[N];科技日报;2019年
5 记者 李禾;“视觉手套”可感知世界[N];科技日报;2007年
6 南方日报记者 郜小平;视觉AI为传统产业装上“智慧之眼”[N];南方日报;2018年
7 本报见习记者 韩扬眉;潘云鹤:“视觉知识”推动AI2.0突破[N];中国科学报;2019年
8 程呈 贾理理 本报记者 韩成;视觉语言导航:造就高智商机器人[N];解放军报;2020年
9 ;依托数字视网膜技术 博云视觉助力纺织业智能改造[N];中国工业报;2020年
10 本报记者 叶青;视觉计算国家平台开启新计划 剑指软硬件协同开发标准[N];科技日报;2019年
11 华凌;人工智能视觉芯片:指哪看哪[N];中国妇女报;2019年
12 本报记者 黄慧仙 通讯员 赵经纬;走出科幻 走进生活[N];浙江日报;2019年
13 本报首席记者 顾一琼;所见未必属实,真相如何洞悉[N];文汇报;2018年
14 陈丹;英科学家开发出视觉芯片[N];科技日报;2005年
15 本报记者 崔爽;标准出海 刷脸支付将更安全[N];科技日报;2020年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978