收藏本站
《计算机研究与发展》 2004年08期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于层叠隐马模型的汉语词法分析

刘群  张华平  俞鸿魁  程学旗  
【摘要】:提出了一种基于层叠隐马模型的汉语词法分析方法 ,旨在将汉语分词、词性标注、切分排歧和未登录词识别集成到一个完整的理论框架中 在分词方面 ,采取的是基于类的隐马模型 ,在这层隐马模型中 ,未登录词和词典中收录的普通词一样处理 未登录词识别引入了角色HMM :Viterbi算法标注出全局最优的角色序列 ,然后在角色序列的基础上 ,识别出未登录词 ,并计算出真实的可信度 在切分排歧方面 ,提出了一种基于N 最短路径的策略 ,即 :在早期阶段召回N个最佳结果作为候选集 ,目的是覆盖尽可能多的歧义字段 ,最终的结果会在未登录词识别和词性标注之后 ,从N个最有潜力的候选结果中选优得到 不同层面的实验表明 ,层叠隐马模型的各个层面对汉语词法分析都发挥了积极的作用 实现了基于层叠隐马模型的汉语词法分析系统ICTCLAS ,该系统在 2 0 0 2年的“九七三”专家组评测中获得第 1名 ,在 2 0 0 3年汉语特别兴趣研究组 (ACLSpecialInterestGrouponChineseLanguageProcessing ,SIGHAN)组织的第 1届国际汉语分词大赛中综合得分获得两项第 1名、一项第 2名 这表明 :ICTCLAS是目前最好的汉语词法分析系统之一 ,层叠隐马模型能够解决好汉语词法问题

【相似文献】
中国期刊全文数据库 前10条
1 刘群,张华平,俞鸿魁,程学旗;基于层叠隐马模型的汉语词法分析[J];计算机研究与发展;2004年08期
2 于江德;王希杰;樊孝忠;;字标注汉语词法分析中上文和下文孰重孰轻[J];计算机科学;2012年11期
3 于江德;胡顺义;余正涛;;三位一体字标注的汉语词法分析[J];中文信息学报;2015年06期
4 孙晓;黄德根;;基于最长次长匹配分词的一体化中文词法分析[J];大连理工大学学报;2010年06期
5 刘小晶;邓昶;;保留字在计算机翻译中的词法分析方法[J];嘉兴学院学报;2005年06期
6 张豪煜,荣广颐;自动词法分析程序生成器LEX的实现[J];小型微型计算机系统;1988年09期
7 王建波 ,刘俊英 ,石宝英;VAX/VMS Ada编译语/词法分析[J];计算机工程与设计;1989年06期
8 王继曾;罗恒;刘宽;任浩征;;应用条件随机场进行汉语词法分析研究[J];计算机工程与设计;2007年02期
9 ;词法分析[J];电子计算机参考资料;1977年10期
10 曹阳;词法分析器的设计与实现[J];新乡师范高等专科学校学报;2005年02期
中国重要会议论文全文数据库 前10条
1 于江德;王希杰;樊孝忠;;汉语词法分析中上文和下文孰重孰轻[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 郭永辉;吴保民;王炳锡;;基于规则知识的英语词法分析研究[A];现代通信理论与信号处理进展——2003年通信理论与信号处理年会论文集[C];2003年
3 周可艳;宗成庆;;汉英统计翻译系统中未登录词的处理方法[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
4 姜尚仆;陈群秀;;基于规则和统计的日语分词和词性标注的研究[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
5 赵伟;王美艳;刘闯;;基于古汉语语料数据库词的划分方法研究与探索[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
6 通拉嘎;;汉、蒙、藏、维分词与词性标注技术发展现状研究[A];第五届全国青年计算语言学研讨会论文集[C];2010年
7 帕里旦·吐尔逊;艾山·吾买尔;吐尔根·依布拉音;早克热·卡德尔;阿力木江·艾沙;;基于最大熵的维吾尔语词性标注模型[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
8 姚建民;孙俊;;基于搜索引擎查询词分类扩展的译文挖掘[A];苏州市自然科学优秀学术论文汇编(2008-2009)[C];2010年
9 孙宏纲;陆余良;;基于二元切分的互联网新闻主题词自动提取研究[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
10 孟凡东;徐金安;姜文斌;刘群;;平仄信息对中文词法分析的影响[A];机器翻译研究进展——第七届全国机器翻译研讨会论文集[C];2011年
中国博士学位论文全文数据库 前4条
1 姜维;统计中文词法分析及其强化学习机制的研究[D];哈尔滨工业大学;2007年
2 孙晓;中文词法分析的研究及其应用[D];大连理工大学;2010年
3 刘秀磊;基于词法分析和语义分析的本体集成研究[D];北京邮电大学;2012年
4 古丽拉·阿东别克(Gulila ALTENBEK);基于规则和统计的哈萨克语词法分析和短语识别方法研究[D];哈尔滨工业大学;2017年
中国硕士学位论文全文数据库 前10条
1 俞鸿魁;基于层次隐马尔可夫模型的汉语词法分析和命名实体识别技术[D];北京化工大学;2004年
2 郁振庭;基于神经网络的词法分析研究[D];南京大学;2017年
3 王奇;基于语素的汉语词法分析方法研究[D];黑龙江大学;2011年
4 徐伟;基于神经网络的中文词法分析系统的研究与实现[D];哈尔滨工业大学;2017年
5 叶子语;汉语词法分析平台的构建[D];大连理工大学;2016年
6 韩晓东;缅甸语词法分析方法研究[D];昆明理工大学;2016年
7 罗恒;应用条件随机场进行汉语词法分析、语块分析研究[D];兰州理工大学;2006年
8 王晶;日语词法分析及在跨语言信息检索中的应用研究[D];哈尔滨工业大学;2008年
9 张会鹏;中文词法分析技术的研究与实现[D];哈尔滨工业大学;2006年
10 伍仕剑;AntiSpam中全文分词技术的实现与应用研究[D];昆明理工大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026