《软件学报》2000年08期 加入收藏    获取最新    用于口型识别的实时唇定位方法   姚鸿勋,高文,李静梅,吕雅娟,王瑞   　　在许多应用于有噪声环境下的语音识别系统中 ,唇读技术能有效地降低噪声的影响 ,通过视觉通道来补充仅取决于听觉通道的信息量 ,从而提高语音识别系统的识别率 .该文提出了一种有效和稳健的唇定位跟踪方法 ,以满足不用特殊标识物和规范性照明就能对信息进行有效提取的应用需求 .该方法首先用肤色模型查找脸 ;然后用迭代算法搜索脸部区域内的眼睛 ;再根据眼睛的位置来确定脸的大小和位置 ,并对脸的下半部分采用彩色坐标变换法将唇从肤色中明显地区分出来 ;最后 ,用可变模板将上下唇的内外轮廓描述出来 . 【作者单位】：哈尔滨工业大学计算机科学与工程系!哈尔滨150001(姚鸿勋;高文;吕雅娟;王瑞);哈尔滨工程大学计算机科学与信息系!哈尔滨150001(李静梅) 【关键词】：唇读;唇动;肤色模型;光流;可变模板 【基金】：国家自然科学基金! (No.6 978930 1);国家 86 3高科技项目基金! (No.86 3- 30 6 - ZT0 3- 0 1- 2 )资助 【分类号】：TP391.4 【DOI】：cnki:ISSN:1000-9825.0.2000-08-025 【正文快照】： 　　一个说话者的视觉图像为其单纯由声波带来的听觉提供了补充信息 ,有助于提高识别的准确性 ,尤其是对那些处于有大量噪声干扰或者有众多说话者的环境更为适用 .近几年 ,有关唇读研究在国外已经有人做了大量的工作 .实验表明 ,通过 HMM(hidden Markov model,隐马尔可夫模型 ) [1] 、神经网络[2 ] 或统计模式识别方法 [3 ] ,视觉信息可增进语音识别 .然而 ,这些研究大多数都是运用唇部的一些特殊标记 ,如口红、设置若干发光二极管等来进行的 ,这种限制对一般的视频输入是苛刻的 .由于音韵学与视觉信息的相关性大多数都来源于嘴和唇 ,因此 ,对…   推荐 CAJ下载           PDF下载   CAJViewer7.0阅读器支持所有CNKI文件格式，AdobeReader仅支持PDF格式   Real-Time Lip Locating Method for Lip-Movement Recognition   YAO Hong\|xun 1 GAO Wen 1 LI Jing\|mei 2 LU¨ Ya juan 1 WANG Rui 1 1(Department of Computer Science and Engineering\ Harbin Institute of Technology\ Harbin\ 150001) 2(Department of Computer Science and Information\ Harbin Shipbui   　For speech recognition systems under noisy environment, lip reading technique can effectively reduce the influence of noise and improve the accurate rate of speech recognition system by adding visual information to acoustic channel. In this paper, an effective and robust approach for lip and mouth locating and tracking is presented to enable the information extraction under abnormal illumination and without special marks. This approach first locates face region with skin color model, then finds the eyes from the face region with iterative algorithm, modifies the position and size of face according to the position of eyes, transforms the lower part of face by specific color coordinators to clearly distinguish lip color from skin color, and finally describes the outline of upper lip and lower lip with deformable template. 【Keyword】：Lip reading, lip movement, skin color model, optical flow, deformable template.   【参考文献】   共（3）篇    西文参考文献 找到 3 条   1 Finn K, Montgomery A; Automatic optically-based recognition of speech [M];Pattern Recognition; 1988年 2 Kinmanlam, Yan H; Locating and extracting the eye in human face images [M];Pattern Recognition; 1996年 3 Mase K, Pentland A; Automatic lip-reading by optical flow analysis [M];Systems and Computers in Japan; 1991年   【引证文献】   共（11）篇    中国期刊全文数据库 找到 5 条   1 李刚,王蒙军,林凌; 采用非对称唇形轮廓模型提高汉语唇形识别效果 [J];光学精密工程; 2006年03期 2 姚鸿勋,吕雅娟,高文; 基于色度分析的唇动特征提取与识别 [J];电子学报; 2002年02期 3 单卫,姚鸿勋,高文; 唇读中序列口型的分类 [J];中文信息学报; 2002年01期 4 张百振,阮秋琦; 积分投影预定位的变形模板提取嘴巴轮廓 [J];计算机工程与应用; 2006年35期 5 刘庆辉,姚鸿勋; 基于唇动的说话人识别技术 [J];计算机工程与应用; 2006年12期  中国优秀硕士学位论文全文数据库 找到 4 条   1 崔双博; 口型识别中唇的分割及曲线拟合 [D];华北电力大学（北京）; 2006年 2 解国明; 唇读技术的研究及其应用 [D];天津大学; 2005年 3 张志文; 唇部检测算法的研究与实现 [D];浙江大学; 2007年 4 王力超; 口型识别问题中若干关键技术的研究 [D];华北电力大学（北京）; 2007年  中国博士学位论文全文数据库 找到 1 条   1 钟金钢; 光学数字人体形貌三维重建技术研究 [D];暨南大学; 2006年  中国重要会议论文全文数据库 找到 1 条   1 单卫,姚鸿勋,高文; 唇读中序列口型的分类 [A];第六届全国人机语音通讯学术会议论文集 [C]; 2001年   【同被引文献】   共（62）篇    中国期刊全文数据库 找到 10 条   1 余飞鸿; 结构光三维物体面形实时测量系统 [J];光子学报; 1994年06期 2 姚鸿勋,高文,王瑞,郎咸波; 视觉语言——唇读综述 [J];电子学报; 2001年02期 3 徐光宙; 颅颌面数字化三维重建研究进展 [J];国外医学.口腔医学分册; 2003年04期 4 曲芳,钟金钢; 数字相移技术用于不连续复杂物体的三维面形测量 [J];光学技术; 2004年04期 5 梁毅雄,龚卫国,潘英俊,李伟红,刘嘉敏,张红梅; 基于奇异值分解的人脸识别方法 [J];光学精密工程; 2004年05期 6 刘维一,王肇圻,母国光,方志良; 彩色编码投影光栅三维轮廓术中分色问题的研究 [J];光学学报; 2001年04期 7 钟金刚,张永林,李丰丽,狄红卫; 空间载频条纹相位分析法中的相位不确定性 [J];光学学报; 2001年05期 8 李梦东,阮秋琦; 利用变形模板提取嘴部特征的算法 [J];北方交通大学学报; 2002年02期 9 翁嘉文,钟金钢; 加窗傅里叶变换在三维形貌测量中的应用 [J];光子学报; 2003年08期 10 李春明,李玉山,张大朴; 一种视频图像序列人脸检测方法 [J];电子测量与仪器学报; 2006年03期  西文参考文献 找到 6 条   1 ADAMS R,,BISCGOF L; Seeded region growing[J] [M];IEEE Trans on Pattern Analysis and Machine Intelligence; 1994年 2 XU C,PRINCE J L; Snakes,shapes and gradient vector flow[J] [M];IEEE Transactions on Image Processing; 1998年 3 D.G.Stork,,G.J.Wolff,and E.P.Levine; Neural Network Lipreading System for Improved Speech Recognition [M];Proceedings Intrnational Joint Conference on Neural Networks; 1992年 4 M.E.Hennecke,D.G.Stork,and K.V.Prasad; Vsionary Speech:Looking ahead to Practical Speechreading Systems [M];Speechreading by Humans and Machines; 1996年 5 W.Gao,M.B.Liu; A Hierarchical Approach to Human Face Detection in Complex Background [M];the First International Conference on Multimodal Interface; 1996年 6 A.L.Yuille,D.S.Cohen,and P.W.Hallinan; Feature Extraction from Faces Using Deformable Templates [M];IEEE Computer Society Conference on Computer Vision and Patter Recognition; 1989年   【二级引证文献】   共（17）篇    中国期刊全文数据库 找到 9 条   1 黄玮; 柱面系统无畸变指纹采集仪的光学设计 [J];光学精密工程; 2007年05期 2 李刚,王蒙军,林凌,曾锐利; 视觉驱动的语音合成系统中唇形轮廓的正交变换描述 [J];光学精密工程; 2007年07期 3 赵燕燕,王丽荣; 唇读技术及其最新发展研究概述 [J];长春大学学报; 2007年10期 4 张建明,陶宏,王良民,詹永照,宋顺林; 基于SVD的唇动视觉语音特征提取技术 [J];江苏大学学报(自然科学版); 2004年05期 5 周晔,刘万春,朱玉文; 用于说话人识别的实时唇线提取方法 [J];计算机工程; 2006年05期 6 陈蓉,姚鸿勋,洪晓鹏,万玉奇; 视觉单通道唇读系统的有效性 [J];计算机工程与应用; 2007年20期 7 周东生,张强,魏小鹏; 人脸动画中语音可视化算法研究进展 [J];计算机工程与应用; 2007年09期 8 李刚,王蒙军,林凌; 视觉驱动的语音合成系统中唇形轮廓的傅里叶描述 [J];仪器仪表学报; 2007年08期 9 李刚,王蒙军,林凌; 面向残疾人的汉语可视语音数据库 [J];中国生物医学工程学报; 2007年03期  中国优秀硕士学位论文全文数据库 找到 6 条   1 张志文; 唇部检测算法的研究与实现 [D];浙江大学; 2007年 2 邓广宏; 基于内嘴唇的口形特征提取和聚类算法的研究 [D];哈尔滨工业大学; 2006年 3 陶宏; 基于视频图像的唇读识别技术的研究 [D];江苏大学; 2005年 4 胡美燕; 基于图像识别的一次性输液针装配角度位置检测研究 [D];浙江工业大学; 2004年 5 陆汝华; 基于HMM的轴承故障音频诊断方法研究 [D];中南大学; 2007年 6 朱华勇; 汽车前照灯计算机检测图像处理技术的研究 [D];南京林业大学; 2007年  中国博士学位论文全文数据库 找到 1 条   1 冯长建; HMM动态模式识别理论、方法以及在旋转机械故障诊断中的应用 [D];浙江大学; 2002年  中国重要会议论文全文数据库 找到 1 条   1 陶建华,谭铁牛; 语音和人脸表情同步的双模态情感表达研究 [A];第一届中国情感计算及智能交互学术会议论文集 [C]; 2003年   【读者推荐文章】   共（10）篇     1 姚鸿勋,吕雅娟,高文; 基于色度分析的唇动特征提取与识别[J]; 电子学报; 2002年02期; 17-21 2 单卫,姚鸿勋,高文; 唇读中序列口型的分类[J]; 中文信息学报; 2002年01期; 32-37 3 姚鸿勋,高文,王瑞,郎咸波; 视觉语言——唇读综述[J]; 电子学报; 2001年02期; 96-103 4 王良民,张建明,牛德姣,詹永照; 实时视频图像快速唇部检测方法的研究与实现[J]; 计算机应用; 2004年01期; 70-72 5 张建明,陶宏,王良民,詹永照,宋顺林; 基于SVD的唇动视觉语音特征提取技术[J]; 江苏大学学报(自然科学版); 2004年05期; 63-66 6 赵向阳,张有为; 人脸主要特征位置标定与唇动序列跟踪[J]; 五邑大学学报(自然科学版); 2002年01期; 13-18 7 王瑞,高文; 非监督、多级嘴唇区域分割方法[J]; 计算机工程与应用; 2003年02期; 55-58 8 甘俊英,赵向阳,张有为; 人机交互中视觉语言的灰度轮廓权向量差分唇形特征模型[J]; 计算机工程与应用; 2002年13期; 17-19+52 9 王瑞,高文,马继涌; 一种快速、鲁棒的唇动检测与定位方法[J]; 计算机学报; 2001年08期; 83-88 10 姚鸿勋,刘明宝,高文,范旭彤,张洪明,吕雅娟; 基于彩色图像的色系坐标变换的面部定位与跟踪法[J]; 计算机学报; 2000年02期; 47-54   【相似文献】    中国期刊全文数据库   1 姚鸿勋,高文,李静梅,吕雅娟,王瑞; 用于口型识别的实时唇定位方法 [J];软件学报; 2000年08期; 132-138 2 董育宁; 运用可变模板进行并行图像处理的一种快速算法 [J];计算机学报; 2003年03期; 77-84 3 王滨,吕东辉; 基于贝叶斯判决的关于YCbCr空间的肤色模型查询表建立的研究(英文) [J];仪器仪表学报; 2004年S3期; 237-240+253 4 牛轶峰,伯晓晨,沈林成; 基于可变模板的前视目标跟踪算法 [J];国防科技大学学报; 2003年05期; 83-87 5 杜飞涛,陈先桥,万勇; 一种基于肤色分割的人脸检测方法 [J];湖北工业大学学报; 2004年05期; 42-44 6 韩燕丽,杨慧炯,韩焱; 基于肤色模型的人脸标准化方法 [J];电脑开发与应用; 2004年12期; 31-33 7 牛轶峰,伯晓晨,沈林成; 基于可变模板的文本倾斜检测 [J];计算机工程; 2003年16期; 97-100 8 游亚平,李明,袁保宗; 可变光照下的人脸检测 [J];信号处理; 2004年02期; 3-9 9 许成亮,胡剑凌,徐盛; 基于VFW的人脸监控系统实现 [J];电视技术; 2005年05期; 93-96 10 冯军红,刘桂林,高立新,段立娟; 基于小样本训练集的肤色模型建立方法 [J];计算机工程与应用; 2003年28期; 70-74  中国优秀硕士学位论文全文数据库   1 冯建强; 人脸分割和特征提取技术研究 [D];南京航空航天大学; 2004年 2 王正浩; 基于人脸识别技术的睡意监测系统研究 [D];华东师范大学; 2004年 3 贺新; 实时人脸检测与识别技术的研究 [D];四川大学; 2003年 4 陈艳琴; 关于司机疲劳监测的人眼检测与跟踪研究 [D];中南大学; 2004年 5 沈乐君; 基于Haar特征的多特征快速人脸检测 [D];西南师范大学; 2004年 6 毛顺兵; 复杂背景彩色图像的人脸检测算法研究 [D];西南师范大学; 2002年 7 于美菊; 基于颜色和模板匹配的人脸检测研究与实现 [D];华北电力大学（河北）; 2006年 8 庄茵芳; 关于人脸检测技术的研究 [D];同济大学; 2006年 9 贺春; 基于支持向量机的彩色人脸检测技术的研究 [D];武汉理工大学; 2006年 10 张宇; 基于彩色运动序列图像中的人脸检测系统的研究 [D];四川大学; 2005年  中国博士学位论文全文数据库   1 夏思宇; 彩色图像序列的人脸检测、跟踪与识别研究 [D];东南大学; 2006年 2 张明恒; 基于面部朝向的驾驶员精神分散监测方法研究 [D];吉林大学; 2007年 3 刘国翌; 基于视频的人体运动跟踪技术研究 [D];中国科学院研究生院（计算技术研究所）; 2005年 4 徐战武; 静态图象肤色检测研究 [D];浙江大学; 2006年 5 刘直芳; 人脸检测和识别的研究 [D];四川大学; 2004年  中国重要会议论文全文数据库   1 姚鸿勋,王晶,山世光,张洪明,王瑞; 唇读系统中的话者唇定位与跟踪 [A];第五届全国人机语音通讯学术会议论文集 [C]; 1998年 2 胡伏原,张艳宁,张广鹏; 肤色检测研究 [A];信号与信息处理技术第三届信号与信息处理全国联合学术会议论文集 [C]; 2004年 3 王滨,吕东辉; 基于贝叶斯判决的关于YCbCr空间的肤色模型查询表建立的研究(英文) [A];第五届影像科学与硬拷贝国际会议（ICISH’2004）论文集 [C]; 2004年 4 马淑燕,孔德慧,尹宝才,王珂; 基于肤色模型和AAM算法的唇部特征跟踪 [A];全国第16届计算机科学与技术应用（CACIS）学术会议论文集 [C]; 2004年 5 沈冯怡,施鹏飞; 基于肤色及脸部特征的脸像检测及其应用 [A];第十一届中国体视学与图像分析学术会议论文集 [C]; 2006年 6 邢果,戚文芽; 基于肤色模型、混合线性子空间的人脸检测 [A];第二届和谐人机环境联合学术会议(HHME2006)——第15届中国多媒体学术会议(NCMT'06)论文集 [C]; 2006年 7 黄涛; 基于肤色的人脸检测方法研究 [A];2006“数学技术应用科学” [C]; 2006年 8 解迎刚,王志良,程宁,王国江,永井正武; 人脸与眼部检测及其在情感识别中的应用 [A];第25届中国控制会议论文集（下册） [C]; 2006年 9 薛翠红,于明; 用于感兴趣区域图像编码的人脸特征的检测 [A];全国第十届企业信息化与工业工程学术年会论文集 [C]; 2006年 10 孙宁,邹采荣,赵力; 人脸检测综述 [A];通信理论与信号处理新进展——2005年通信理论与信号处理年会论文集 [C]; 2005年

相关期刊  >  电脑爱好者  >  电脑编程技巧与维护  >  电脑开发与应用  >  电脑学习  >  电脑与信息技术  >  福建电脑  >  个人电脑  >  Journal of Computer Science and Technology  >  计算机辅助工程  >  计算机工程与科学  >  计算机工程与设计  >  计算机时代  >  计算机系统应用  >  计算机应用研究  >  计算机应用与软件  >  计算机与现代化  >  微计算机应用  >  微型电脑应用  >  现代计算机(专业版)  相关机构  > 哈尔滨工业大学计算机科学与工程系  > 哈尔滨工程大学计算机科学与信息系  > 南京邮电学院信息工程系  > 上海大学工程学通信与信息工程学院  > 上海  > 国防科学技术大学机电工程与自动化学院  > 湖南长沙  > 武汉理工大学计算机科学与技术学院  > 湖北武汉  > 华北工学院  > 太原  > 长沙  > 北京交通大学信息科学研究所  > 北京  > 上海交通大学图像通信与信息处理研究所  > 北京工业大学计算机学院  > 郑州大学  > 中国科学院计算技术研究所  > 郑州  相关作者  > 姚鸿勋  > 李静梅  > 王瑞  > 王滨  > 牛轶峰  > 沈林成  > 陈先桥  > 韩燕丽  > 韩焱  > 李明  > 许成亮  > 徐盛  > 刘桂林  > 段立娟  > 高文  > 吕雅娟  > 董育宁  > 吕东辉  > 伯晓晨  > 杜飞涛  > 万勇  > 杨慧炯  > 游亚平  > 袁保宗  > 胡剑凌  > 冯军红  > 高立新