收藏本站
《信号处理》 2019年12期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

引入注意力机制的视频声源定位

肖易明  张海剑  孙洪  丁昊  
【摘要】:在日常生活中视觉事件通常伴随着声音的产生。这表明视频流与音频之间存在某种潜在的联系,本文称之为音视频同步的联合表达。本文将视频流与音频融合并通过训练所设计的神经网络预测视频流和音频是否在时间上同步来学习这种联合表达。与传统音视频信息融合方法不同,本文引入注意力机制,利用视频特征与音频特征的皮尔森相关系数在时间维度和空间维度同时对视频流加权,使视频流与音频关联更加紧密。基于学习到的音视频同步的联合表达,本文进一步利用类激活图方法进行视频声源定位。实验结果表明,所提出的引入注意力机制的音视频同步检测模型可以更好地判定给定的音视频是否同步,即更好地学习到音视频同步的联合表达,从而也可以有效地定位视频声源。

知网文化
【相似文献】
中国期刊全文数据库 前19条
1 杨宁;王楷华;施志鸿;王柳程;杨津;赵康康;;视频侦查中视频监控快速布控技术的研究与应用[J];中国公共安全;2017年12期
2 胡人斌;周沈标;;公众对公共视频监控接受度的实证研究[J];河南警察学院学报;2017年01期
3 田龙过;郭瑜佳;;5G时代催生短视频与长视频“双引擎”发展新思路[J];中国广播;2020年02期
4 王佳航;卢雪尧;;5G背景下的视频生产:跃升、场景、私域流量[J];新闻论坛;2020年01期
5 任立铭;曾永继;;面向5G时代下的视频大数据构建[J];中国安全防范技术与应用;2019年06期
6 孙晶茹;;互动视频的表达方式与发展挑战[J];影视制作;2019年10期
7 张鹏;;面向互联网的若干视频传输关键技术研究[J];通讯世界;2017年08期
8 镜花水月;;毫无难度 用手机轻松制作微视频[J];电脑爱好者;2017年12期
9 ;创新MP3新品解密视频iPod的劲敌[J];电力信息化;2006年03期
10 徐垚;史惠;;视频基因技术在视频安全传输中的应用[J];电视技术;2019年13期
11 李仲;浅论网络视频[J];中国有线电视;2001年18期
12 教颖辉;魏略;;视频监控大数据在智慧城市中的发展与深度应用[J];中国安防;2017年03期
13 朱培杰;;浅谈EPON系统在视频监控中的应用[J];科技传播;2017年07期
14 贺鹏;;畅享4G视频 红辣椒醉视[J];计算机与网络;2015年23期
15 润雨;;新兴的在线电视和视频[J];卫星电视与宽带多媒体;2009年06期
16 ;视频带来挑战与机遇[J];中国教育网络;2007年08期
17 葛茜倩;;视频流可扩展反馈卸载的渐进二次博弈机制[J];电信科学;2020年01期
18 ;万佳安视频物联云平台发布会圆满落幕[J];智能建筑;2016年08期
19 何德康;;精细化管理在音视频工程项目管理中的运用[J];电声技术;2016年09期
中国重要会议论文全文数据库 前10条
1 戚怡宁;;视频“重帧”和“跳帧”对主观质量的影响[A];第十一届中国体视学与图像分析学术会议论文集[C];2006年
2 林侠;;无线宽带网络中的视频同传应用[A];2008年中国通信学会无线及移动通信委员会学术年会论文集[C];2008年
3 高溢之;;基于AI的自适应视频传输控制系统的研发[A];物联网与无线通信-2018年全国物联网技术与应用大会论文集[C];2018年
4 葛丽丽;王宗鹏;景雪;罗杰;韩玉焕;;承钢视频监控管理平台的实施与应用[A];2016互联网+与钢铁工业智能制造高峰论坛论文集[C];2016年
5 叶惠钿;徐晓亮;陈修勇;陈能;;基于视频零卡顿比例的视频感知优化[A];2018广东通信青年论坛优秀论文专刊[C];2018年
6 楼剑;虞露;陆亮;董洁;;视频流转接技术分析[A];现代通信理论与信号处理进展——2003年通信理论与信号处理年会论文集[C];2003年
7 石荣;崔奕;李晓峰;李在铭;;保持应用特征信息的视频序列分层与时域亚采样[A];首届信息获取与处理学术会议论文集[C];2003年
8 潘伟;龙华;刘云;许瑞琛;;基于无线技术的农业视频管理系统的设计[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年
9 李远宁;刘汀;蒋树强;黄庆明;;基于“Bag of Words”的视频匹配方法[A];全国网络与信息安全技术研讨会论文集(下册)[C];2007年
10 董墨;郭书军;;结合视频流等级划分的TFRC协议优化[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
中国博士学位论文全文数据库 前10条
1 吴涛桃;云环境下视频流应用优化关键技术研究[D];南京大学;2017年
2 赵敏丞;无线网络中视频跨层传输关键技术研究[D];北京邮电大学;2015年
3 汤志伟;面向公安业务的视频结构化描述研究与实现[D];上海大学;2015年
4 张冬;视频适配技术研究[D];中国科学技术大学;2012年
5 王科人;视频隐藏分析关键技术研究[D];解放军信息工程大学;2014年
6 熊华;视频内容结构化技术的研究与实现[D];中国人民解放军国防科学技术大学;2001年
7 吴红海;机会网络的视频传输关键技术研究[D];北京邮电大学;2015年
8 周莺;结合动态特性的视频播出质量服务关键技术研究[D];深圳大学;2015年
9 冯正勇;无线网络视频流传输技术研究[D];电子科技大学;2013年
10 苏洪磊;基于码流的网络视频无参考质量评估研究[D];西安电子科技大学;2014年
中国硕士学位论文全文数据库 前10条
1 唐子钊;福州市公共视频监控管理研究[D];福建农林大学;2017年
2 赵晓明;视频点播系统中视频协作存储与传输模型设计与仿真[D];中国科学技术大学;2014年
3 刘建英;深度视频估计技术研究[D];天津大学;2016年
4 靖立明;视频联网平台的设计与应用[D];电子科技大学;2016年
5 黎丹;视频信息隐藏分析系统设计[D];天津大学;2006年
6 胡军涛;视频高层结构分析和挖掘[D];中国人民解放军国防科学技术大学;2002年
7 柴俊;MPEG-2音视频流打包方法设计与实现[D];西安电子科技大学;2017年
8 于颖;网络视频流识别技术研究与实现[D];电子科技大学;2013年
9 狄爽;无线蜂窝网络中的视频测量及传输机制研究[D];北京交通大学;2017年
10 周晨曦;移动设备上用户的视频观看行为和观看质量分析[D];北京交通大学;2015年
中国重要报纸全文数据库 前10条
1 中国基础教育质量监测协同创新中心网络平台部主任 张生;视频大数据而非视频监控进课堂[N];中国信息化周报;2019年
2 李;支持双视频流[N];中国计算机报;2004年
3 本报记者 陈菲;短视频社交分享应用火爆 4G促市场井喷增长[N];通信信息报;2013年
4 ;朗视飞影电视通2000LE  看电视与视频捕捉两不误[N];中国计算机报;2003年
5 谢征;网络视频新规有益IPTV发展[N];通信产业报;2006年
6 本报记者 范毅波;IP视频 更进一步[N];网络世界;2000年
7 李鑫;鸿合HV2100视频展台高贵不贵[N];电子资讯时报;2007年
8 陈绍瑜;网络视频一按就行[N];中国计算机报;2003年
9 刘峰;视频监控进入“四化”时代[N];中国计算机报;2005年
10 ;冲击中低端视频市场[N];网络世界;2008年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978