收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

实时语音驱动的虚拟说话人

李冰锋  谢磊  周祥增  付中华  张艳宁  
【摘要】:该文实现了一个实时语音驱动的虚拟说话人面部动画方案。随着语音信号的输入,同步生成对应的面部动画。这种实时语音驱动的虚拟说话人在可视电话、虚拟会议、音视频聊天等即时通讯与娱乐媒体领域具有巨大的应用潜力。由于音素是最小的可分发音单元,因此构建音素识别器,对输入语音信号进行实时音素识别。为提高语音与口型的同步效果,改进了音素识别与输出算法。考虑协同发音影响,利用动态视素生成算法,将识别得到的音素转化为对应的面部动画参数序列。最后用参数序列驱动按照MPEG-4面部动画标准参数化的3-D头部模型,实现面部动画的同步生成。主观MOS评测结果表明:本文所实现的实时语音驱动虚拟说话人在的同步性和逼真度上的MOS评分分别达到了3.42和3.50。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李小兰;多媒体技术中语音驱动的原理[J];电视字幕.特技与动画;1995年02期
2 赵晖;唐朝京;;基于汉语视频三音素的可视语音合成[J];电子与信息学报;2009年12期
3 马娥娥;王成儒;;可视语音合成中口形特征点定位研究[J];计算机工程与应用;2010年08期
4 赵晖;林成龙;唐朝京;;基于视频三音子的双模态语料自动选取算法[J];计算机工程;2009年17期
5 陈益强,高文,王兆其,姜大龙,左力;基于数据挖掘的语音驱动三维人脸动画合成[J];系统仿真学报;2002年04期
6 杨志晓;隋菲;张德贤;;基于可视语音合成的3D通信技术研究[J];计算机应用研究;2009年11期
7 张全伙,范慧琳;结构映象法在三维面部图象合成中的应用[J];计算机应用研究;1996年06期
8 张力;赵玮;陈福民;;基于参数模型和肌肉模型的面部动画研究[J];计算机应用与软件;2007年07期
9 尹宝才;王恺;王立春;;基于MPEG-4的融合多元素的三维人脸动画合成方法[J];北京工业大学学报;2011年02期
10 陈益强,高文,王兆其,姜大龙;基于机器学习的语音驱动人脸动画方法[J];软件学报;2003年02期
11 王珂,尹宝才,郭金铜,马淑燕;基于ICA算法的一般人脸动画模式表达[J];计算机工程与应用;2004年32期
12 赵晖;林成龙;唐朝京;;基于视频三音子的汉语双模态语料库的建立[J];中文信息学报;2009年05期
13 王洵,张道义,董兰芳,陈国良;一个MPEG-4兼容的语音动画系统[J];系统仿真学报;2002年07期
14 王洵,张道义,董兰芳,万寿红;三维语音动画聊天室的设计与实现[J];计算机工程与应用;2004年01期
15 潘晋;杨卫英;;一种基于共振峰分析的语音驱动人脸动画方法[J];电声技术;2009年05期
16 何庆,梁妙园,杨进才,邱海涛;多媒体技术中语音驱动的原理[J];多媒体世界;1995年04期
17 何庆 ,梁妙园 ,杨进才 ,邱海涛;多媒体技术中语音驱动原理[J];中国计算机用户;1995年01期
18 ;HearSay:完整的无线互联解决方案[J];通讯世界;2002年06期
19 王洵,张道义,董兰芳,万寿红;一个基于SAPI5.0的中文语音动画系统[J];计算机工程;2003年04期
20 Ed Harriss;吴乐川;;SOFTIMAGE|XSI 5.0新特性(三)[J];电视字幕.特技与动画;2005年12期
中国重要会议论文全文数据库 前8条
1 李冰锋;谢磊;周祥增;付中华;张艳宁;;实时语音驱动的虚拟说话人[A];第十一届全国人机语音通讯学术会议论文集(一)[C];2011年
2 李冰锋;谢磊;周祥增;付中华;张艳宁;;实时语音驱动的虚拟说话人[A];第十一届全国人机语音通讯学术会议论文集(二)[C];2011年
3 张贺;蒋冬梅;吴鹏;谢磊;付中华;Hichem Sahli;;基于AAM和异步发音特征DBN模型的逼真可视语音合成[A];第十一届全国人机语音通讯学术会议论文集(一)[C];2011年
4 周川;林学訚;;基于机器学习的情感视位合成[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
5 吕玉生;赵杰煜;;具有视觉跟踪的中英文语音动画系统[A];第十四届全国图象图形学学术会议论文集[C];2008年
6 林爱华;张文俊;王毅敏;;基于肌肉模型的语音驱动唇形动画[A];第十三届全国图象图形学学术会议论文集[C];2006年
7 石昌民;;气象虚拟主持人的产生与发展[A];陕西省气象学会2005年学术交流会论文集[C];2005年
8 谢磊;蒋冬梅;Ilse Cravyse;赵荣椿;Hichem Sahli;Jan Conlenis;;用于说话人头部动画的Viseme语音识别器[A];信号与信息处理技术——第一届信号与信息处理联合学术会议论文集[C];2002年
中国博士学位论文全文数据库 前4条
1 赵晖;真实感汉语可视语音合成关键技术研究[D];国防科学技术大学;2010年
2 刘佳;语音情感识别的研究与应用[D];浙江大学;2009年
3 李皓;语音驱动的人脸建模与动画技术研究[D];国防科学技术大学;2011年
4 胡国平;基于超大规模问答对库和语音界面的非受限领域自动问答系统研究[D];中国科学技术大学;2007年
中国硕士学位论文全文数据库 前10条
1 乔德明;三维人脸唇形动画的语音驱动研究[D];电子科技大学;2010年
2 王恺;基于MPEG-4的三维人脸动画合成研究[D];北京工业大学;2009年
3 张思光;韵律文本驱动的三维口型动画研究[D];北京工业大学;2008年
4 张睿;基于情景模型的3D人脸动画驱动[D];电子科技大学;2010年
5 武燕;SVM与HMM结合的中文语音音节识别算法的设计与实现[D];电子科技大学;2010年
6 付侃;基于TTS的医院排队叫号系统的设计与实现[D];电子科技大学;2012年
7 涂欢;语音和文本联合驱动卡通人脸动画的方法及其面向移动娱乐应用[D];湘潭大学;2007年
8 李代超;基于伪肌肉向量的三维人脸动画及其驱动研究与实现[D];电子科技大学;2011年
9 田坤;人脸建模和基于MPEG-4的动画实现[D];北京邮电大学;2006年
10 张翼;基于视觉特征提取的表情人脸动画生成[D];浙江大学;2008年
中国重要报纸全文数据库 前10条
1 本报记者 彭芳;语音驱动未来世界[N];中国计算机报;2001年
2 李刚;谁能迎合未来需求?[N];中国计算机报;2007年
3 中国科学院自动化研究所模式识别国家重点实验室 辛乐陶建华;说话人头像技术:让语音可视[N];计算机世界;2007年
4 杨静;运营商用NMS HearSay随时让语音增值[N];中国计算机报;2002年
5 本报记者 刘晶;何庆源:开放构成移动新世界[N];中国电子报;2001年
6 ;多媒体信息传递多彩内容(2)[N];人民邮电;2002年
7 ;是事实,而非虚幻[N];人民邮电;2002年
8 何育麟;结合ASR系统有声有色[N];中国计算机报;2003年
9 云;无线语音门户进展加快[N];中国计算机报;2000年
10 王婷婷;英特尔带来迅驰无线网络技术[N];科技日报;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978