| | | | | 人脸动画中语音可视化算法研究进展 | | | 周东生;张强;魏小鹏 | | | 从人脸动画合成技术的发展、特点及应用出发,介绍了五种主要的人脸动画合成技术,重点对语音驱动的人脸动画中矢量量化、高斯混合模型、神经网络、隐马尔可夫等四种语音可视化算法的特点进行了对比分析,展望了语音可视化算法的发展与应用前景。
【作者单位】：大连理工大学机械工程学院;大连大学辽宁省智能信息处理重点实验室;大连大学辽宁省智能信息处理重点实验室 辽宁大连116028 大连大学辽宁省智能信息处理重点实验室;辽宁大连116622;辽宁大连116622;辽宁大连116622
【关键词】：人脸动画;语音处理;语音可视化
【基金】：辽宁省高等学校优秀人才支持计划资助(No.RC-05-07);辽宁省教育厅科技攻关计划资助(No.05L020);大连市科技计划资助(No.2005A10GX106);辽宁省智能信息处理重点实验室开放课题资助。
【分类号】：TP391.42
【DOI】：CNKI:ISSN:1002-8331.0.2007-09-010
【正文快照】：
1引言合成生动逼真的说话者人脸动画一直以来是计算机图形学及多媒体技术领域的一个研究热点,也是一个难点。会说话的人脸动画可以广泛应用于电影、广告动画、在线新闻发布、虚拟演员、计算机游戏、人机接口、计算机辅助手语教学以及心理学、认知科学等许多领域[1]。自从Parke在20世纪70年代对人脸动画所作的开创性工作以来[1],到目前为止,至少存在5种基本的人脸动画合成途径。1972年,Parke[2]首先提出了关键帧插值技术,该技术采用大量手工标定的方式,能够产生大范围的脸部变化。随后Parke等人[1,3,4]提出了参数化技术,该技术利用几何线框… | | |  推荐 CAJ下载  PDF下载 | | | CAJViewer7.0阅读器支持所有CNKI文件格式，AdobeReader仅支持PDF格式 | | | | Progress in audio-visual conversion algorithms in facial animation | | | ZHOU Dong-sheng1;2;ZHANG Qiang2;WEI Xiao-peng21.School of Mechanical Engineering;Dalian University of Technology;Dalian;Liaoning 116028;China 2.Liaoning Key Lab of Intelligent Information Processing;Dalian University;Dalian;Liaoning 116622;China | | | Five main types of synthesized technology of facial animation are introduced from the point of development,characteristics and application of facial animation. Comparison and analysis on the four typical audio-visual conversion algorithms including vector quantization,Gaussian mixture model,neural networks and hidden markov model in speech-driven facial animation are laid emphasis on in this paper. In addition,the development and possible applications are also discussed.
【Keyword】：facial animation;speech processing;audio-visual conversion algorithms |
| | | | | | 1 | 单卫,姚鸿勋,高文; 唇读中序列口型的分类 [J];中文信息学报; 2002年01期 | | 2 | 王志明,蔡莲红,艾海舟; 基于支持向量回归的唇动参数预测 [J];计算机研究与发展; 2003年11期 | | 3 | 王洵,张道义,董兰芳,万寿红; 三维语音动画聊天室的设计与实现 [J];计算机工程与应用; 2004年01期 | | 4 | 王奎武,王洵,董兰芳,陈意云; 一个MPEG-4兼容的人脸动画系统 [J];计算机研究与发展; 2001年05期 | | 5 | 晏洁; 文本驱动的唇动合成系统 [J];计算机工程与设计; 1998年01期 | | 6 | 陈益强,高文,王兆其,姜大龙; 基于机器学习的语音驱动人脸动画方法 [J];软件学报; 2003年02期 | | 7 | 徐成华,王蕴红,谭铁牛; 三维人脸建模与应用 [J];中国图象图形学报; 2004年08期 | | 8 | 叶静
,董兰芳
,王洵; 用于语音动画合成的语音特征提取和聚类技术 [J];微型机与应用; 2004年08期 |
|
| | | | | | 1 | Parke F I,,Waters K; Computer facial animation[M] [M];; 1996年 | | 2 | Parke F I; Computer generated animation of faces[D] [M];; 年 | | 3 | Parke F I.; A parametric model for human faces[D]. [M];; 年 | | 4 | Parke F I; Parameterized models for facial animation[J] [M];IEEE Com-puter Graphics and Applications; 1982年 | | 5 | Platt S M,Badler N I; Animating facial expressions[J] [M];Computer Graphics; 1981年 | | 6 | Waters K; A muscle model for animating three-dimensional facial expressions[C] [M];Computer Graphics(SIGGRAPH’87); 1987年 | | 7 | Thalmann N M,Primeau N E,Thalmann D; Abstract muscle actions procedures for human face animation[J] [M];Visual Computer; 1988年 | | 8 | Lee Y; Realistic modeling for facial animations[C] [M];Proc SIGGRAPH; 1995年 | | 9 | Morishima S,,Aizawa K,harashima H; An intelligent facial image coding driven by speech and phoneme[C] [M];Proc IEEE ICAGS’P; 1989年 | | 10 | Linde Y,Buzo A,Gray R; An algorithm for vector quantizer design[J] [M];IEEE transactions on communications; 1980年 |
|
| | | | | | 1 | 李刚,王蒙军,林凌; 采用非对称唇形轮廓模型提高汉语唇形识别效果 [J];光学精密工程; 2006年03期 | | 2 | 贾清秀; 杜威的“儿童中心论”教育理论及其对我国学校体育改革的启示 [J];大众科学(科学研究与实践); 2007年02期 | | 3 | 何良华,邹采荣,包永强,赵力; 人脸面部表情识别的研究进展 [J];电路与系统学报; 2005年01期 | | 4 | 吴志勇,蔡莲红; 基于动态贝叶斯网络的音视频双模态说话人识别 [J];计算机研究与发展; 2006年03期 | | 5 | 李笑岚,查红彬; 重建发型的真实感头部建模 [J];计算机辅助设计与图形学学报; 2006年08期 | | 6 | 王洵,张道义,董兰芳,万寿红; 三维语音动画聊天室的设计与实现 [J];计算机工程与应用; 2004年01期 | | 7 | 吴丹,林学訚; 人脸表情视频数据库的设计与实现 [J];计算机工程与应用; 2004年05期 | | 8 | 王洵,董兰芳,万寿红; 基于MPEG-4的真实感人脸技术 [J];计算机工程与应用; 2003年22期 | | 9 | 童晶,关华勇; 面向影视动画的真实感三维人脸快速建模算法 [J];计算机应用; 2007年04期 | | 10 | 王姝,刘小丹; 一种个性化三维人面模型及其绘制方法 [J];计算机应用; 2007年05期 |
|
| | | | | | 1 | 高文，金辉; 面部表情图像的分析与识别 [J];计算机学报; 1997年09期 | | 2 | 王奎武,王洵,董兰芳,陈意云; 一个MPEG-4兼容的人脸动画系统 [J];计算机研究与发展; 2001年05期 | | 3 | 姚鸿勋,刘明宝,高文,范旭彤,张洪明,吕雅娟; 基于彩色图像的色系坐标变换的面部定位与跟踪法 [J];计算机学报; 2000年02期 | | 4 | 金辉,高文; 人脸面部混合表情识别系统 [J];计算机学报; 2000年06期 | | 5 | 王奎武,董兰芳,王洵,陈意云; 基于MPEG-4的人脸变形算法的研究 [J];计算机辅助设计与图形学学报; 2002年01期 | | 6 | 张翔宇,华蓓,陈意云; 人脸建模和动画的基本技术 [J];计算机辅助设计与图形学学报; 2001年04期 | | 7 | 高文,吴枫; MPEG-4编码的现状和研究 [J];计算机研究与发展; 1999年06期 | | 8 | 姚鸿勋,高文,李静梅,吕雅娟,王瑞; 用于口型识别的实时唇定位方法 [J];软件学报; 2000年08期 | | 9 | 徐琳,袁保宗,高文; 真实感人脸建模研究的进展与展望 [J];软件学报; 2003年04期 | | 10 | 陈益强,高文,王兆其,姜大龙; 基于机器学习的语音驱动人脸动画方法 [J];软件学报; 2003年02期 |
|
| | | | | | 1 | Lee M W, Ranganath S; Pose-invariant face recognition using a 3D deformable model [M];Pattern Recognition; 2003年 | | 2 | Terzopoulos D, Waters K; Physically-based facial modeling,analysis, and animation [M];Journal of Visualization and Computer Animation; 1990年 | | 3 | Eisert P, Girod B; Analyzing facial expressions for virtual conferencing [M];IEEE Computer Graphics and Applications; 1998年 | | 4 | Posdamer J, Altschuler M; Surface measurement by spaceencoded projected beam systems [M];Computer Graphics and Image Processing; 1982年 | | 5 | Gourret J P, Khamlichi J; A model for compression and classification of face data structures [M];Computer & Graphics; 1996年 | | 6 | Lavagetto F, Pockaj R; The facial animation engine: Toward a high-level interface for the design of MPEG-4 compliant animated faces [M];IEEE Trans on Circuits and Systems for Video Technology; 1999年 | | 7 | Burt P J, Andelson EH; A multiresolution spline with application to image mosaics [M];ACM Transactions on Graphics; 1983年 | | 8 | Coquillart S; Extended free-form deformation: a sculpturing tool for 3D geometric modeling [M];Computer Graphics; 1990年 | | 9 | Boyer K L, Kak A C; Color-encoded structured light for rapid active ranging [M];IEEE Transactions on Pattern Analysis and Machine Intelligence; 1987年 | | 10 | Liu L, Wang G; Explicit matrix representation for NURBS curves and surfaces [M];Computer Aided Geometric Design; 2002年 |
|
| | | | | | 1 | 周东生,张强,魏小鹏; 人脸动画中语音可视化算法研究进展 [J];计算机工程与应用; 2007年09期; 40-43 | | 2 | 陈新,周东生,张强,魏小鹏; 语音驱动人脸动画中语音参数的提取技术 [J];计算机工程; 2007年06期; 231-233+241 | | 3 | 姜大龙,王兆其,高文; 基于MPEG-4的三维人脸动画实现方法 [J];系统仿真学报; 2001年S2期; 497-500+505 | | 4 | 吴渊,郑文庭; 一种参数化的表情映射方法 [J];计算机应用研究; 2004年10期; 121-123+125 | | 5 | 陈益强,高文,王兆其,姜大龙; 基于机器学习的语音驱动人脸动画方法 [J];软件学报; 2003年02期; 58-64 | | 6 | 徐先良,沈萦华,费广正,石民勇; 计算机人脸建模和动画技术综述 [J];北京广播学院学报(自然科学版); 2005年01期; 12-20 | | 7 | 宋阳,刘胜兰,张燕宏; 利用SAPI5完成中文语音音素的分解 [J];微计算机信息; 2005年03期; 234-235+31 | | 8 | 张亚妮; 基于MPEG-4的人脸动画技术研究 [J];计算机应用与软件; 2003年09期; 62-63+83 | | 9 | 王奎武,王洵,董兰芳,陈意云; 一个MPEG-4兼容的人脸动画系统 [J];计算机研究与发展; 2001年05期; 18-24 | | 10 | 姜大龙,高文,王兆其,陈益强; 面向纹理特征的真实感三维人脸动画方法 [J];计算机学报; 2004年06期; 31-38 |
|
| | | | | | 1 | 王奎武,王洵,董兰芳,陈意云; 一个MPEG-4兼容的人脸动画系统 [A];中国图象图形学会第十届全国图像图形学术会议（CIG’2001）和第一届全国虚拟现实技术研讨会（CVR’2001）论文集 [C]; 2001年 | | 2 | 吴渊,潘永娟,郑文庭; 参数化的表情映射 [A];第一届中国情感计算及智能交互学术会议论文集 [C]; 2003年 | | 3 | 卢化,岳东剑,柴佩琪; 在微机上运行的T6668语音合成系统 [A];第三届全国人机语音通讯学术会议论文集 [C]; 1994年 | | 4 | 柳杨华,徐光祐; 一种实现姿态可变逼真人脸动画的模型 [A];第一届建立和谐人机环境联合学术会议（HHME2005）论文集 [C]; 2005年 | | 5 | 哈尔滨工业大学语音处理研究室简介 [A];中国中文信息学会第六次全国会员代表大会暨成立二十五周年学术会议中文信息处理重大成果汇报展资料汇编 [C]; 2006年 | | 6 | 陈韬,李昌立,莫福源; 汉语孤立字全音节实时识别系统 [A];第一届全国语言识别学术报告与展示会论文集 [C]; 1990年 | | 7 | 薛啸宇,柳玉昌,赵金龙; 基于语音识别的计算机声图系统 [A];第一届全国语言识别学术报告与展示会论文集 [C]; 1990年 | | 8 | 刘晓星,韩疆,邵建,颜永红; 互联网音频智能检索系统设计 [A];全国网络与信息安全技术研讨会'2005论文集（下册） [C]; 2005年 |
|
|
|
