收藏本站
《中文信息学报》 2001年01期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于分解与动态规划策略的汉语未登录词识别

吕雅娟  赵铁军  杨沐昀  于浩  李生  
【摘要】：:未登录词的识别是汉语自动分词中的主要问题。本文以对中国人名 ,中国地名和外国译名进行整体识别为目标 ,采用分解处理策略降低了整体处理难度 ,并使用动态规划方法实现了最佳路径的搜索 ,较好地解决了未登录词之间的冲突问题。通过对真实语料识别的测试 ,证明该方法可以全面提高未登录词识别的正确率和召回率
【作者单位】： 哈尔滨工业大学计算机科学与技术学院!哈尔滨150001 哈尔滨工业大学计算机科学与技术学院!哈尔滨150001 哈尔滨工业大学计算机科学与技术学院!哈尔滨150001 哈尔滨工业大学计算机科学与技术学院!哈尔滨150001 哈尔滨工业大学计算机科学与技术学院!哈尔滨150001
【基金】：国家 8 63计划! ( 863 -30 6-ZT0 3 -0 6-3 / 863 -30 6-ZD13 -0 4 -4 ) 国家自然科学基金! ( 697750 17)
【分类号】：TP391.2

手机知网App
【引证文献】
中国期刊全文数据库 前10条
1 周蕾;;基于碎片分词的未登录词识别方法[J];常熟理工学院学报;2007年02期
2 高红;黄德根;杨元生;;汉语自动分词中中文地名识别[J];大连理工大学学报;2006年04期
3 张云涛,龚玲,王永成;面向自然语言提问的检索技术[J];广西师范大学学报(自然科学版);2003年01期
4 王源媛;何中市;;基于词性探测的中文姓名识别算法[J];计算机科学;2005年04期
5 黄德根;孙迎红;;中文地名的自动识别[J];计算机工程;2006年03期
6 周蕾;朱巧明;;基于统计和规则的未登录词识别方法研究[J];计算机工程;2007年08期
7 张滨,晏蒲柳,李文翔,夏德麟;基于汉语句模的中文分词算法[J];计算机工程;2004年01期
8 周波;杨国纬;;基于贝叶斯算法的中国人名识别[J];计算机应用;2006年04期
9 张华平,刘群;基于角色标注的中国人名自动识别研究[J];计算机学报;2004年01期
10 李丽双;黄德根;陈春荣;杨元生;;SVM与规则相结合的中文地名自动识别[J];中文信息学报;2006年05期
中国重要会议论文全文数据库 前1条
1 俞鸿魁;张华平;刘群;;基于角色标注的中文机构名识别[A];Advances in Computation of Oriental Languages--Proceedings of the 20th International Conference on Computer Processing of Oriental Languages[C];2003年
中国博士学位论文全文数据库 前6条
1 郑逢斌;关于计算机理解自然查询语言的研究[D];西南交通大学;2004年
2 隋岩;基于“动态流通语料库”的“有效字符串”提取研究[D];北京语言大学;2004年
3 张素香;信息抽取中关键技术的研究[D];北京邮电大学;2007年
4 王立欣;翻译标准自动量化方法研究[D];上海外国语大学;2007年
5 高红;基于统计语言模型的汉语浅层分析研究[D];大连理工大学;2007年
6 孙凌云;面向产品概念设计的专利地图技术研究[D];浙江大学;2008年
中国硕士学位论文全文数据库 前10条
1 章成志;基于文本层次模型的Web概念挖掘研究[D];南京农业大学;2002年
2 罗智勇;现代汉语通用分词系统的技术与实现[D];北京工业大学;2002年
3 周蕾;中文未登录词识别的研究及在汉字输入法中的应用[D];苏州大学;2005年
4 王坚;化工类专业搜索引擎中的中文分词设计[D];北京化工大学;2005年
5 王兴义;基于模式匹配的中文专有名词识别[D];山西大学;2005年
6 王源媛;中文未登录名词短语的识别方法研究[D];重庆大学;2004年
7 庄明;装备发展战略研究信息化平台中汉语文本信息提取技术的研究[D];国防科学技术大学;2003年
8 张金伟;基于Agent网络答疑系统的设计与实现[D];华东师范大学;2006年
9 杨孝光;中文文本自动分类系统研究—汉语分词及分类器的设计[D];电子科技大学;2004年
10 朱代华;基于分词技术的智能答疑系统[D];重庆大学;2004年
【参考文献】
中国期刊全文数据库 前1条
1 孙茂松，黄昌宁，高海燕，方捷;中文姓名的自动辨识[J];中文信息学报;1995年02期
【共引文献】
中国期刊全文数据库 前10条
1 黄昌宁,孙茂松;中文信息处理最新成果的检阅——记新加坡中文电脑国际会议ICCC’96[J];当代语言学;1996年04期
2 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
3 黄德根,马玉霞,杨元生;基于互信息的中文姓名识别方法[J];大连理工大学学报;2004年05期
4 刘利东;基于组合度的汉语分词决策算法研究[J];德州学院学报;2003年02期
5 马颖华,王永成,苏贵洋;一种在汉语文本中抽取重复字串的快速算法[J];电子学报;2002年S1期
6 王显芳,杜利民;一种能够检测所有交叉歧义的汉语分词算法[J];电子学报;2004年01期
7 李建华,王晓龙;中文人名自动识别的一种有效方法[J];高技术通讯;2000年02期
8 王力红,杨剑,尹荧,李云波,孙亚萍;旅游信息数据库汉语智能接口的研究[J];计算机工程与应用;2002年01期
9 张仰森,徐波,曹元大,宗成庆;基于姓氏驱动的中国姓名自动识别方法[J];计算机工程与应用;2003年04期
10 王力红,杨剑,李洪,李云波,孙亚萍;汉语智能接口的自动分词研究[J];计算机工程;2001年08期
中国重要会议论文全文数据库 前3条
1 马玉霞;黄德根;杨元生;;一种改进的中文姓名识别方法[A];Advances in Computation of Oriental Languages--Proceedings of the 20th International Conference on Computer Processing of Oriental Languages[C];2003年
2 俞鸿魁;张华平;刘群;;基于角色标注的中文机构名识别[A];Advances in Computation of Oriental Languages--Proceedings of the 20th International Conference on Computer Processing of Oriental Languages[C];2003年
3 余军;陈晓鸥;;命名实体识别：One-at-a-time or All-at-once?Word-based or Character-based?[A];中国计算技术与语言问题研究——第七届中文信息处理国际会议论文集[C];2007年
中国博士学位论文全文数据库 前6条
1 刘忠;性质语意理论的提出与自然语言理解及其实现的研究[D];华东师范大学;2004年
2 隋岩;基于“动态流通语料库”的“有效字符串”提取研究[D];北京语言大学;2004年
3 冯敏萱;论汉英平行语料的平行处理[D];南京师范大学;2006年
4 李晓光;XML非完全结构查询处理中若干关键技术的研究[D];东北大学;2006年
5 张素香;信息抽取中关键技术的研究[D];北京邮电大学;2007年
6 常娥;古籍智能处理技术研究[D];南京农业大学;2007年
中国硕士学位论文全文数据库 前10条
1 何燕;任意类型的未登录词的识别研究[D];北京语言文化大学;2000年
2 王省;基地统计和规则的中文姓名识别系统的研制[D];大连理工大学;2000年
3 李卫亮;现代汉语分词系统中专名识别的实用策略[D];北京工业大学;2000年
4 许勇;基于百科词典的知识获取系统的研究与实现[D];北京工业大学;2001年
5 罗智勇;现代汉语通用分词系统的技术与实现[D];北京工业大学;2002年
6 章成志;基于文本层次模型的Web概念挖掘研究[D];南京农业大学;2002年
7 张艳丽;中文机构名称的自动识别[D];大连理工大学;2003年
8 刘东旭;在自然汉语中进行分词和词性标注[D];电子科技大学;2003年
9 王丁;基于中文文本分类的自动诊病系统[D];哈尔滨理工大学;2003年
10 骆彬;汉语新词语辅助识别系统的研制[D];中国社会科学院研究生院;2003年
【同被引文献】
中国期刊全文数据库 前10条
1 王厚峰,戴大为;基于语料库句法结构分析的动态规划模型[J];计算机学报;1999年10期
2 李成城,赵述芳,刘建毅,钟义信;基于动态规划算法的专有名词切分[J];计算机应用研究;2005年07期
3 周刚;连词产生和发展的历史要略[J];安徽大学学报(哲学社会科学版);2003年01期
4 徐勇;知识发现及其相关技术的研究[J];安徽教育学院学报;2005年03期
5 张德鑫;“水至清则无鱼”——我的新生词语规范观[J];北京大学学报(哲学社会科学版);2000年05期
6 王化鹏;论现代汉语词的双音节化及其发展规律[J];北方论丛;2000年06期
7 胡俊峰,俞士汶;唐宋诗之计算机辅助深层研究[J];北京大学学报(自然科学版);2001年05期
8 龚汉明,周长胜;汉语分词技术综述[J];北京机械工业学院学报;2004年03期
9 姜少峰,朱群雄;Bayesian推理在远程答疑专家系统中的应用[J];北京化工大学学报(自然科学版);2003年06期
10 许云,樊孝忠,张锋;基于知网的语义相关度计算[J];北京理工大学学报;2005年05期
中国重要会议论文全文数据库 前1条
1 俞鸿魁;张华平;刘群;;基于角色标注的中文机构名识别[A];Advances in Computation of Oriental Languages--Proceedings of the 20th International Conference on Computer Processing of Oriental Languages[C];2003年
中国博士学位论文全文数据库 前10条
1 肖明;WWW科技信息资源自动标引的理论与实践研究[D];中国科学院文献情报中心;2001年
2 王强军;基于动态流通语料库（DCC）的信息技术领域新术语自动提取研究[D];北京语言文化大学;2003年
3 郑逢斌;关于计算机理解自然查询语言的研究[D];西南交通大学;2004年
4 于满泉;面向人物追踪的知识挖掘研究[D];中国科学院研究生院（计算技术研究所）;2006年
5 詹卫东;面向中文信息处理的现代汉语短语结构规则研究[D];北京大学;1999年
6 曹海龙;基于词汇化统计模型的汉语句法分析研究[D];哈尔滨工业大学;2006年
7 张榕;术语定义抽取、聚类与术语识别研究[D];北京语言大学;2006年
8 任永功;面向聚类的数据可视化方法及相关技术研究[D];东北大学;2006年
9 邱明;语义相似性度量及其在设计管理系统中的应用[D];浙江大学;2006年
10 黄晓云;生态政治理论体系研究[D];华中师范大学;2007年
中国硕士学位论文全文数据库 前10条
1 何燕;任意类型的未登录词的识别研究[D];北京语言文化大学;2000年
2 李卫亮;现代汉语分词系统中专名识别的实用策略[D];北京工业大学;2000年
3 罗智勇;现代汉语通用分词系统的技术与实现[D];北京工业大学;2002年
4 章成志;基于文本层次模型的Web概念挖掘研究[D];南京农业大学;2002年
5 朱珣;中文自动分词系统的研究[D];华中师范大学;2004年
6 王蕊;仿词造词研究[D];山东师范大学;2004年
7 吴召兵;伊斯兰原教旨主义探析[D];苏州大学;2004年
8 罗小虎;基于蚁群算法的汉语自动分词的研究与实现[D];苏州大学;2004年
9 阮若林;基于多Agent的远程协同教学环境的研究与设计[D];武汉理工大学;2005年
10 张涛;中文文本中未知词语的词义知识获取[D];山西大学;2005年
【二级引证文献】
中国期刊全文数据库 前10条
1 高红;黄德根;杨元生;;汉语自动分词中中文地名识别[J];大连理工大学学报;2006年04期
2 王一蕾;吴英杰;;基于数据量的文本分词算法选取的研究[J];福建电脑;2006年09期
3 谢春发;中文信息处理在智能答疑系统中的应用研究[J];福建广播电视大学学报;2005年02期
4 周生明;本体上的代数结构[J];广西师范大学学报(自然科学版);2004年04期
5 赵欣欣;索红光;刘玉树;;基于改进汉宁窗的信息检索模型[J];广西师范大学学报(自然科学版);2006年04期
6 刘群,张华平,俞鸿魁,程学旗;基于层叠隐马模型的汉语词法分析[J];计算机研究与发展;2004年08期
7 张素娟,郑庆华,胡云华,孙霞;一种面向网络答疑的汉语切分歧义消除算法[J];计算机工程与应用;2004年25期
8 刘迁;贾惠波;;中文信息处理中自动分词技术的研究与展望[J];计算机工程与应用;2006年03期
9 余祖波;高庆狮;方淼;;中文姓名自动识别系统的设计与实现[J];计算机工程与应用;2006年10期
10 毋琳;郑逢斌;乔保军;汤赛丽;;HENU汉语分词系统中的中文人名识别算法[J];计算机工程与应用;2006年14期
中国重要会议论文全文数据库 前3条
1 高嵩;周强;;一种中文分词后处理反馈算法[A];中国计算技术与语言问题研究——第七届中文信息处理国际会议论文集[C];2007年
2 何楠;毛新年;董远;王海拉;;基于转换的错误学习方法在中文分词后处理中的应用[A];中国计算技术与语言问题研究——第七届中文信息处理国际会议论文集[C];2007年
3 塞麦提·麦麦提敏;亚森·伊明;;基于转换规则的汉文—维文专有名词自动翻译研究[A];中国计算技术与语言问题研究——第七届中文信息处理国际会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 彭强;复杂系统远程智能故障诊断技术研究[D];南京理工大学;2004年
2 刘华;基于关键短语的文本内容标引研究[D];北京语言大学;2005年
3 余传明;基于本体的语义信息系统研究[D];武汉大学;2005年
4 于满泉;面向人物追踪的知识挖掘研究[D];中国科学院研究生院（计算技术研究所）;2006年
5 刘涛;现代信息检索中的文本分类及图像恢复研究[D];北京邮电大学;2006年
6 史艳岚;基于中国主流报纸动态流通语料库的对外汉语报刊新闻主题词群及相关研究[D];北京语言大学;2006年
7 谢学敏;基于动态流通语料库（DCC）的流行语释义信息自动提取研究[D];北京语言大学;2006年
8 张春霞;领域文本知识获取方法研究及其在考古领域中的应用[D];中国科学院研究生院（计算技术研究所）;2005年
9 张华平;语言浅层分析与句子级新信息检测研究[D];中国科学院研究生院（计算技术研究所）;2005年
10 姜韶华;科研项目管理中的文本挖掘方法研究及应用[D];大连理工大学;2006年
中国硕士学位论文全文数据库 前10条
1 罗智勇;现代汉语通用分词系统的技术与实现[D];北京工业大学;2002年
2 关宏超;基于统计的开放式汉语自动分词[D];大连理工大学;2002年
3 杨明;面向空间数据的专题文本数据挖掘技术的研究[D];北京工业大学;2002年
4 钱揖丽;中文文本分词及词性标注自动校对方法研究[D];山西大学;2003年
5 骆彬;汉语新词语辅助识别系统的研制[D];中国社会科学院研究生院;2003年
6 王用源;废“离合词”兴“组合词”[D];天津大学;2004年
7 蒋超;轨道交通自动门远程监控系统中的智能故障诊断技术研究[D];南京理工大学;2004年
8 夏洪斌;基于知识分词算法的病案全文检索系统[D];第二军医大学;2004年
9 谢晓燕;基于眼动技术和动态流通语料库（DCC）的汉语阅读注视块研究[D];北京语言大学;2005年
10 乔羽;基于最大熵模型的中文人名识别方法研究[D];山西大学;2005年
【相似文献】
中国期刊全文数据库 前10条
1 高东平;;基于类型论的汉语分词系统TTCS[J];重庆理工大学学报(社会科学);2011年08期
2 李文;李淼;梁青;朱海;应玉龙;乌达巴拉;;基于短语统计机器翻译模型蒙古文形态切分[J];中文信息学报;2011年04期
3 姜文斌;吴金星;乌日力嘎;那顺乌日图;刘群;;蒙古语有向图形态分析器的判别式词干词缀切分[J];中文信息学报;2011年04期
4 辛浩;;基于关联规则的中文姓名识别方法[J];宿州学院学报;2011年05期
5 张永兴;孙四明;张峰;;基于本体的信息检索系统研究[J];微计算机信息;2011年07期
6 刘兴林;郑启伦;马千里;;中文合成词识别及分词修正[J];计算机应用研究;2011年08期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 雷静;;汉语机构名的构成模式[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 何伟;侯敏;;利用词汇时间分布信息提取未登录词[A];第九届全国人机语音通讯学术会议论文集[C];2007年
3 郝博一;夏云庆;郑方;;OPINAX：一个有效的产品属性挖掘系统[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年
4 李双龙;刘乐中;刘群;;利用单字碎片过滤改进汉语分词性能[A];第二届全国信息检索与内容安全学术会议（NCIRCS-2005）论文集[C];2005年
5 张玥杰;徐智婷;钱晶;张涛;;自然语言处理中专名识别方法的研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
6 郭志立;;使用互信息辅助在篇章范围内识别命名实体[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
7 李斌;陈小荷;;面向中文陌生文本的人机交互式分词方法[A];第三届学生计算语言学研讨会论文集[C];2006年
8 张云涛;龚玲;王永成;;识别中文文本中的未登录专有名词的类别[A];2007年中国智能自动化会议论文集[C];2007年
9 黄昌宁;赵海;;由字构词——中文分词新方法[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
10 江丰;刘慧;陈玉泉;陆汝占;;一个可扩展的汉语词法和句法分析一体化系统[A];全国第八届计算语言学联合学术会议（JSCL-2005）论文集[C];2005年
中国博士学位论文全文数据库 前6条
1 孙晓;中文词法分析的研究及其应用[D];大连理工大学;2010年
2 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年
3 黄魏;植物营养诊断自动应答网络专家系统研究[D];华中农业大学;2007年
4 高红;基于统计语言模型的汉语浅层分析研究[D];大连理工大学;2007年
5 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年
6 孙越恒;基于统计的NLP技术在中文信息检索中的应用研究[D];天津大学;2005年
中国硕士学位论文全文数据库 前10条
1 国玮玮;基于网络资源的未登录词扩展研究[D];安徽大学;2012年
2 闻玉彪;一种基于组合模型的中文未登录词词性猜测方法[D];云南大学;2011年
3 都菁;基于论坛语料的未登录词自动识别新方法[D];西南大学;2010年
4 魏莎莎;一种中文未登录词识别及词典设计新方法[D];西南大学;2011年
5 周蕾;中文未登录词识别的研究及在汉字输入法中的应用[D];苏州大学;2005年
6 张淑梅;词典与后缀数组相结合的中文分词[D];吉林大学;2006年
7 孔海霞;基于最大熵的汉语词性标注[D];大连理工大学;2007年
8 崔明明;基于机器学习的中文分词的研究与实现[D];沈阳工业大学;2009年
9 张卫;中文词性标注的研究与实现[D];南京师范大学;2007年
10 张剑锋;规则与统计相结合的中文分词方法研究[D];山西大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026

同方知网数字出版技术股份有限公司
地址：北京清华大学 84-48信箱 大众知识服务
京ICP证040441号
京公网安备11010802020475号

订购热线：400-819-9993 010-62982499
服务热线：010-62985026 010-62791813
在线咨询：http://help.cnki.net
传真：010-62780361