| | | | | 虚拟人面部行为的合成 | | | 高文,陈熙霖,晏洁,宋益波,尹宝才 | | | 虚拟人是虚拟现实环境中很重要的一部分，对于虚拟人行为的研究除了应从宏观上考虑虚拟人的群体行为属性之外，对个体行为用性的研究也非常重要．个体行为包括自然行为和意识行为．自然行为主要是和脸部、头部以及四肢运动有关的行为．而意识行为则包括与语言和心理活动相关联的表情、发声以及对应的唇动手势动作等．本文旨在研究与意识行为有关的虚拟人面部图像合成技术，讨论了标准人脸图像的参数合成方法，给出了特定人脸图像与标准人脸图像的映射以及面部表情图像和发音口型的合成方法．
【作者单位】：中国科学院计算技术研究所!北京;100080;哈尔滨工业大学计算机科学与工程系!哈尔滨;150001;北京工业大学计算机科学系!北京;100022
【关键词】：虚拟现实;虚拟人;人脸图像合成;表情合成;唇动合成;多功能感知
【基金】：国家863高科技基金!863-306-03-01-1;国家自然科学基金!69789301;国家教委跨世纪人才基金;中国科学院百人计划的资助
【分类号】：TP391.4
【DOI】：cnki:ISSN:0254-4164.0.1998-08-002
【正文快照】：
1引言在高级的虚拟现实系统中，经常需要把人的行为（动作）加到虚拟环境系统中去．例如当交互的对象是一位教师或比赛的对手时，虚拟环境中的作用对象应该是一个可以在参数控制下进行运动的客体．我们把虚拟系统中由计算机合成的人称为虚拟人（Virtualhuman）．国际上最近一些学者考虑到军事的需要研究虚拟人的集团行为，例如列队、聚集、集合行动等，但对于单个人的行为研究则较少．为了研究多功能感知机的需要，我们近年来的目标之一是研究虚拟人行为的合成技术［‘j．虚拟人的个体行为包括一般行为和高级行为．一般行为是指自然动作，… | | |  推荐 CAJ下载  PDF下载 | | | CAJViewer7.0阅读器支持所有CNKI文件格式，AdobeReader仅支持PDF格式 | | | | SYNTHESIS OF FACIAL BEHAVIOR FOR VIRTUAL HUMAN | | | GAO Wen; CHEN Xi-Lin; YAN Jie; SONG Yi-Bo; YIN Bao-Cai(Institute of Computing Technology;Chinese Academy of Sciences;Beijing 100080)(Department of Computer Science and Engineering;Harbin Institute of Technology;Harbin 150001)(Department of Computer Sc | | | The virtual human is one of the most important parts in the virtual environment, where the research on individual behavior is author's essential target besides the collective behavior in macro-scope which has been studied by many researchers recently. The individual behaviors of human being include the natural action such as the movement of head, hand, arm and leg, and the conscious action such as the emotion, speech and the related lip movement, hand gesture etc. This paper focuses 0n the research of related technologies for facial image synthesis of conscious action such as synthesizing the lip motion and face image with emotion. The following issues are discussed in this paper, the synthesis method for the parameter-based normal face, the method of mapping the normal facial image to a special face, and the synthesis of related facial emotion image and lip motion image.
【Keyword】：Virtual reality, virtual human, facial image synthesis, facial expression synthesis, lip-motion synthesis, multimodal interface |
| | | | | | 1 | 张立臣,毛庆,冯德民,王映辉; 基于多摄像机的人脸三维建模 [J];电脑开发与应用; 2005年04期 | | 2 | 周洁萍,龚建华,陈铮,杜蔚; 协同虚拟地理环境中多用户交流交互模式及实现 [J];地理与地理信息科学; 2005年05期 | | 3 | 高法金; 浅谈基于人工智能的虚拟环境研究 [J];和田师范专科学校学报; 2006年01期 | | 4 | 王宣银,潘锋,向桂山,梁冬泰; 基于Snake模型的特定人脸三维重建方法 [J];机械工程学报; 2007年07期 | | 5 | 王志明,陶建华; 文本-视觉语音合成综述 [J];计算机研究与发展; 2006年01期 | | 6 | 冯志全,孟祥旭,蒋志方,王锐,蔡珣; 连续形变图像的追踪识别算法及其在手势识别系统中的应用研究 [J];计算机学报; 2006年01期 | | 7 | 张立臣,毛庆; 基于多幅照片的人脸三维建模 [J];和田师范专科学校学报; 2005年03期 | | 8 | 李保洲,何昕,邓雁萍,李介谷; 基于特征点的特定人脸三维网格的生成 [J];计算机工程; 1999年09期 | | 9 | 邹北骥,彭永进,伍立华,彭群生; 基于物理模型的人脸表情动画技术研究 [J];计算机学报; 2002年03期 | | 10 | 王志明,蔡莲红,艾海舟; 基于数据驱动方法的汉语文本-可视语音合成(英文) [J];软件学报; 2005年06期 |
|
| | | | | | 1 | 郑南宁,付昀,张婷,卓峰; 人脸的表情与年龄变换和非完整信息的重构技术(上) [J];电子学报; 2003年S1期 | | 2 | 艾竹君,屈志毅,赵玲,孔令旺; NMF在人脸表情识别中的应用 [J];甘肃科技; 2006年03期 | | 3 | 何良华,邹采荣,包永强,赵力; 人脸面部表情识别的研究进展 [J];电路与系统学报; 2005年01期 | | 4 | 章品正,王征,赵宏玉; 面部表情特征抽取的研究进展 [J];计算机工程与应用; 2006年09期 | | 5 | 金辉,高文; 人脸面部混合表情识别系统 [J];计算机学报; 2000年06期 | | 6 | 邹北骥,彭永进,伍立华,彭群生; 基于物理模型的人脸表情动画技术研究 [J];计算机学报; 2002年03期 | | 7 | 吴长华,章少华,王电; 大旋转角度人脸前视图的自动识别 [J];计算机工程与应用; 2001年09期 | | 8 | 吴长华,章少华; 大旋转角度人脸前视图的自动识别 [J];计算技术与自动化; 2000年04期 | | 9 | 晏洁; 文本驱动的唇动合成系统 [J];计算机工程与设计; 1998年01期 | | 10 | 刘卫红; 英语辅音音素学习对策 [J];郑州纺织工学院学报; 2000年S1期 |
|
| | | | | | 1 | 杨丹宁，郭峰，文成义; 由文本至口形的媒体变换技术的研究 [J];电子学报; 1996年01期 | | 2 | 于洪川,吴福朝,阮宗才,韦穗; 视图插补与透视同伦变换 [J];电子学报; 2001年06期 | | 3 | 贺怀清,洪炳熔; 一种虚拟人运动拟合算法 [J];电子学报; 2001年08期 | | 4 | 林学■,洪鹏宇; 基于2D几何与纹理信息分离模型的表情分析与合成 [J];电子学报; 1998年11期 | | 5 | 操勇,毛勇; TM1300嵌入式多媒体网络通信系统的设计与实现 [J];电子技术应用; 2003年10期 | | 6 | 俞能海,陈豪,刘政凯; 基于块金字塔的快速块匹配算法 [J];电路与系统学报; 2003年02期 | | 7 | 马华东; 基于时间Petri网的动画描述模型 [J];北京邮电大学学报; 1998年04期 | | 8 | 席平,刘勇; 反向工程中的曲面光顺算法 [J];北京航空航天大学学报; 2002年02期 | | 9 | 贾云得,徐一华,刘万春,杨聪,朱玉文; 微型实时多目立体视觉机设计与实现 [J];电子学报; 2003年09期 | | 10 | 李梦东,阮秋琦; 一种交互式脸部网格模型调整算法 [J];北方交通大学学报; 2002年04期 |
|
| | | | | | 1 | 黄文高; 人工生命艺术 [A];中国图象图形学会第十届全国图像图形学术会议（CIG’2001）和第一届全国虚拟现实技术研讨会（CVR’2001）论文集 [C]; 2001年 |
|
| | | | | | 1 | NOH J,NEUMANN U; A survey of facial modeling and animation techniques [M];; 1998年 | | 2 | ANSARI A,ABDEL M; 3D face modeling using two or-thogonal views and a generic face model[C] [M];Interna-tional Conference on Multimedia and Expo 2003; 2003年 | | 3 | TANG L,HUANG T; Automatic construction of 3D hu-man face models based on 2D images [M];International Conference on Image Processing; 1996年 | | 4 | CHEN Z,HO S,TSENG D; Polyhedral face reconstruc-tion and modeling from a single image with structured light [M];IEEE Transactions on Systems,Man.and Cyber-netics; 1993年 | | 5 | GARCIA E,DUGELAY J; Low cost 3D face acquisition and modeling [M];International Conference on Informa-tion Technology:Coding and Computing; 2001年 | | 6 | KASS M,WITKIN A,TERZOPOULOS D; Snakes:active contour models [M];International Journal of Com-puter Vision; 1987年 | | 7 | HU G,PENG Q,FORREST A; Robust mesh smoothing [M];Journal of Computer Science and Technology; 2004年 | | 8 | MACEACHREN A M; Cartography and GIS: extending collaborative tools to support virtual teams [M];Progress in Human Geography; 2001年 | | 9 | Horace H.S; Ip,Yin Li jun.Constructing a 3D Individualized HeadModel from Two Orthogonal Views [M];Visual Computer; 1996年 |
|
| | | | | | 1 | 张立臣,毛庆,冯德民,王映辉; 基于多摄像机的人脸三维建模 [J];电脑开发与应用; 2005年04期 | | 2 | 苗蕾,李霖; 地图与动画的结合与发展 [J];测绘科学; 2004年03期 | | 3 | 郑南宁,付昀,张婷,卓峰; 人脸的表情与年龄变换和非完整信息的重构技术(上) [J];电子学报; 2003年S1期 | | 4 | 丰江帆,张宏,闾国年,乔延春; 面向用户群的WebGIS场景设计框架初探 [J];地球信息科学; 2007年04期 | | 5 | 冯哲,孙吉贵,张长胜,王岩; 汉语语音合成的研究进展 [J];吉林大学学报(信息科学版); 2007年02期 | | 6 | 王宣银,潘锋,向桂山,梁冬泰; 基于Snake模型的特定人脸三维重建方法 [J];机械工程学报; 2007年07期 | | 7 | 张巍; 利用Kriging方法生成特定人脸的三维网格体 [J];信息技术; 2004年07期 | | 8 | 曾丹,程义民,葛仕明,李杰; 人眼3D肌肉控制模型 [J];计算机辅助设计与图形学学报; 2006年11期 | | 9 | 朱杰杰,胡维华,潘志庚; 虚拟多媒体教室的设计和实现 [J];计算机辅助设计与图形学学报; 2004年01期 | | 10 | 王敏,殷烨,陈养彬,丁友东,陈一民; 基于二维半雕刻系统的三维人脸重建 [J];计算机应用研究; 2005年12期 |
|
| | | | 1 | 晏洁,高文,尹宝才; 具有真实感的三维虚拟特定人脸生成方法[J]; 计算机学报; 1999年02期; 36-42 | | 2 | 晏洁,高文; 基于一般人脸模型修改的特定人脸合成技术[J]; 计算机辅助设计与图形学学报; 1999年05期; 6-11 | | 3 | 姜昱明,李军锋; 虚拟特定人脸的表情合成技术[J]; 计算机工程; 2004年14期; 122-124 | | 4 | 高文，金辉; 面部表情图像的分析与识别[J]; 计算机学报; 1997年09期; 782-789 | | 5 | 尹宝才,高文; 利用Bézier曲面的面部表情和口型几何造型[J]; 计算机学报; 1998年S1期; 347-350 | | 6 | 尹宝才,高文,晏洁,宋益波; 基于模型的头部运动估计和面部图像合成[J]; 计算机研究与发展; 1999年01期; 68-72 | | 7 | 方伟,张宏武,俞昌,李叔梁; 脸部表情动画的实现[J]; 清华大学学报(自然科学版); 1997年03期; 86-89 | | 8 | 蓝娟,陈益强,徐燕; 基于MPEG-4和PCA的人脸动画合成方法[J]; 计算机工程与应用; 2004年10期; 63-67 | | 9 | 王兆其,高文,陈益强,杨长水,左力,姜大龙,李治国; 虚拟人行为交互方法研究[J]; 系统仿真学报; 2001年S2期; 595-598 | | 10 | 段锦,周春光,刘小华; 三维人脸识别研究进展[J]; 小型微型计算机系统; 2004年05期; 102-106 |
|
| | | | | | 1 | 刘箴; 虚拟人的行为规划模型研究 [A];全国第16届计算机科学与技术应用（CACIS）学术会议论文集 [C]; 2004年 | | 2 | 卢晓军,李焱,贺汉根; 虚拟人行走规划仿真的研究与实现 [A];全国第13届计算机辅助设计与图形学（CAD/CG）学术会议论文集 [C]; 2004年 | | 3 | 束搏,毛天露,王兆其; 基于D3D的三维虚拟人运动显示 [A];全国第13届计算机辅助设计与图形学（CAD/CG）学术会议论文集 [C]; 2004年 | | 4 | 何雪微,龚光红; 虚拟人运动的动力学实现方法研究 [A];2003年全国系统仿真学术年会论文集 [C]; 2003年 | | 5 | 张番,陈颖,冯秀娟,温文彪,常士楠,孙红三; 智能化虚拟人操作行为仿真分析及实现 [A];二○○一年中国系统仿真学会学术年会论文集 [C]; 2001年 | | 6 | 程晨,刘英,温文彪,常士楠,孙红三; 虚拟环境适人化、虚拟人智能化及相互感知、认知的探索性研究 [A];二○○一年中国系统仿真学会学术年会论文集 [C]; 2001年 | | 7 | 邹沐昌,代玉仁,韩春颖; 虚拟人的体育运动实体仿真的研究与实现 [A];中国图象图形学会第十届全国图像图形学术会议（CIG’2001）和第一届全国虚拟现实技术研讨会（CVR’2001）论文集 [C]; 2001年 | | 8 | 赵江,冯秀娟,孙红三,温文彪,郑国磊; 虚拟人对目标物手捕获的实现 [A];2003年全国系统仿真学术年会论文集 [C]; 2003年 | | 9 | 唐勇,张国峰; 虚拟人运动控制的逆运动学方法研究 [A];2003年全国系统仿真学术年会论文集 [C]; 2003年 | | 10 | 贾文晋,王志良,刘冀伟; 基于Web的面部表情快速重构方案的设计与实现 [A];第一届中国情感计算及智能交互学术会议论文集 [C]; 2003年 |
|
|
|
