收藏本站
《计算机研究与发展》 1999年09期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

汉语词语边界自动划分的模型与算法

付国宏  王晓龙  
【摘要】:在引入词形和汉字结合点等概念基础上,文中分别描述了一个基于字串构词能力的词形模型和一个基于词语内部、外部汉字结合度的汉字结合点模型,并采用线性插值方法将两种模型融合于一体进行汉语词语边界划分.在分析汉语切分候选空间的基础上,文中还给出了相应的优化搜索算法.与一般的统计方法相比,文中方法的模型参数可直接从未经加工粗语料中得到,具有较强的适应能力.初步试验表明该方法是有效和可靠的

【引证文献】
中国期刊全文数据库 前5条
1 陈清才,王晓龙;一种基于词矢量的汉语语义量化模型[J];计算机研究与发展;2001年02期
2 张长利,赫枫龄,左万利;一种基于后缀数组的无词典分词方法[J];吉林大学学报(理学版);2004年04期
3 金翔宇,孙正兴,张福炎;一种中文文档的非受限无词典抽词方法[J];中文信息学报;2001年06期
4 黄德根,杨元生,王省,张艳丽,钟万勰;基于统计方法的中文姓名识别[J];中文信息学报;2001年02期
5 张春霞,郝天永;汉语自动分词的研究现状与困难[J];系统仿真学报;2005年01期
中国博士学位论文全文数据库 前6条
1 郑逢斌;关于计算机理解自然查询语言的研究[D];西南交通大学;2004年
2 李素建;汉语组块计算的若干研究[D];中国科学院研究生院(计算技术研究所);2002年
3 王秀娟;文本检索中若干问题研究[D];北京邮电大学;2006年
4 李晓光;XML非完全结构查询处理中若干关键技术的研究[D];东北大学;2006年
5 张素香;信息抽取中关键技术的研究[D];北京邮电大学;2007年
6 常娥;古籍智能处理技术研究[D];南京农业大学;2007年
中国硕士学位论文全文数据库 前10条
1 王省;基地统计和规则的中文姓名识别系统的研制[D];大连理工大学;2000年
2 崔晓阳;基于局城网的考试管理信息系统[D];太原理工大学;2002年
3 陈红英;Internet信息过滤Agent的研究和实现[D];广东工业大学;2002年
4 关宏超;基于统计的开放式汉语自动分词[D];大连理工大学;2002年
5 朱伟军;基于BBS的网上群体学习的答疑系统的研究[D];湘潭大学;2002年
6 傅赛香;基于Internet的智能信息检索技术研究[D];广西师范大学;2002年
7 庄明;装备发展战略研究信息化平台中汉语文本信息提取技术的研究[D];国防科学技术大学;2003年
8 张淑梅;词典与后缀数组相结合的中文分词[D];吉林大学;2006年
9 张旭洁;基于语义网络的类自然语言的知识获取与转换的研究[D];云南师范大学;2006年
10 贺胜;面向现代汉语文本处理的全文检索、自动分词通用系统[D];南京师范大学;2006年
【参考文献】
中国期刊全文数据库 前1条
1 吴胜远;一种汉语分词方法[J];计算机研究与发展;1996年04期
【共引文献】
中国期刊全文数据库 前10条
1 冯志伟;汉字和汉语的计算机处理[J];当代语言学;2001年01期
2 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
3 黄德根,马玉霞,杨元生;基于互信息的中文姓名识别方法[J];大连理工大学学报;2004年05期
4 于源,衣袭;中文全切分快速分词方法[J];大连铁道学院学报;2005年02期
5 刘禹孜,何中市;一种基于SVM和规则消除组合型歧义的算法[J];重庆大学学报(自然科学版);2005年10期
6 陈桂林,王永成;Internet网络信息自动摘要的研究[J];高技术通讯;1999年02期
7 张仰森,徐波,曹元大;自然语言处理中的语言模型及其比较研究[J];广西师范大学学报(自然科学版);2003年01期
8 王虹,张仰森;基于词二元接续的中文文本自动查错研究[J];贵州大学学报(自然科学版);2001年01期
9 林绮屏;基于词形的最佳路径分词算法[J];华南师范大学学报(自然科学版);2002年04期
10 陈桂林,王永成,韩客松,王刚;一种改进的快速分词算法[J];计算机研究与发展;2000年04期
中国重要会议论文全文数据库 前1条
1 赫琳;;论“X 从小 Y”的词切分——“从小”语义指向计算机识别的再思考[A];中国计算技术与语言问题研究——第七届中文信息处理国际会议论文集[C];2007年
中国博士学位论文全文数据库 前7条
1 王兰成;基于XMARC信息描述的知识标引与概念检索研究[D];东华大学;2004年
2 刘忠;性质语意理论的提出与自然语言理解及其实现的研究[D];华东师范大学;2004年
3 郑逢斌;关于计算机理解自然查询语言的研究[D];西南交通大学;2004年
4 刘涛;现代信息检索中的文本分类及图像恢复研究[D];北京邮电大学;2006年
5 李晓光;XML非完全结构查询处理中若干关键技术的研究[D];东北大学;2006年
6 张春霞;领域文本知识获取方法研究及其在考古领域中的应用[D];中国科学院研究生院(计算技术研究所);2005年
7 张鹏洲;文语转换系统研究与应用[D];中国科学院研究生院(计算技术研究所);1999年
中国硕士学位论文全文数据库 前10条
1 王省;基地统计和规则的中文姓名识别系统的研制[D];大连理工大学;2000年
2 陈红英;Internet信息过滤Agent的研究和实现[D];广东工业大学;2002年
3 罗智勇;现代汉语通用分词系统的技术与实现[D];北京工业大学;2002年
4 关宏超;基于统计的开放式汉语自动分词[D];大连理工大学;2002年
5 傅赛香;基于Internet的智能信息检索技术研究[D];广西师范大学;2002年
6 朱伟军;基于BBS的网上群体学习的答疑系统的研究[D];湘潭大学;2002年
7 钱揖丽;中文文本分词及词性标注自动校对方法研究[D];山西大学;2003年
8 陈宣荣;[D];电子科技大学;2003年
9 许彦彬;基于Java技术的生物资源专业搜索引擎的研究与开发[D];昆明理工大学;2004年
10 杨晴雯;电子政务中综合资源信息服务平台的关键技术研究及其实现[D];新疆大学;2004年
【同被引文献】
中国期刊全文数据库 前10条
1 刘利东;基于组合度的汉语分词决策算法研究[J];德州学院学报;2003年02期
2 吴应良,韦岗,李海洲;一种基于N-gram模型和机器学习的汉语分词算法[J];电子与信息学报;2001年11期
3 李向阳,张亚非;一种Hash高速分词算法[J];解放军理工大学学报(自然科学版);2004年02期
4 张素娟,郑庆华,胡云华,孙霞;一种面向网络答疑的汉语切分歧义消除算法[J];计算机工程与应用;2004年25期
5 温滔,朱巧明,吕强;一种快速汉语分词算法[J];计算机工程;2004年19期
6 刘芳,赵铁军,于浩,杨沐昀,方高林;基于统计的汉语组块分析[J];中文信息学报;2000年06期
7 王建会,王雷,胡运发;词语间依存关系的定量识别[J];中文信息学报;2005年04期
8 文庭孝,邱均平,侯经川;汉语自动分词研究展望[J];现代图书情报技术;2004年07期
9 袁毓林;;一价名词的认知研究[J];中国语文;1994年04期
10 刘海涛;依存语法和机器翻译[J];语言文字应用;1997年03期
中国重要会议论文全文数据库 前1条
1 周健;;探索汉语阅读的微技能[A];第六届国际汉语教学讨论会论文选[C];1999年
中国博士学位论文全文数据库 前10条
1 李刚;知识发现的图模型方法[D];中国科学院软件研究所;2001年
2 张毅波;史文结构化信息检索系统的研究与实现[D];中国科学院研究生院(软件研究所);2001年
3 于洪;Rough Set理论及其在数据挖掘中的应用研究[D];重庆大学;2003年
4 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
5 王建会;中文信息处理中若干关键技术的研究[D];复旦大学;2004年
6 李荣陆;文本分类及其相关技术研究[D];复旦大学;2005年
7 钱晓东;基于神经网络等技术的数据与文本聚分类研究[D];天津大学;2005年
8 王秀娟;文本检索中若干问题研究[D];北京邮电大学;2006年
9 周瑛;神经网络作为分类器的算法研究及在信息检索中的应用[D];安徽大学;2006年
10 曹玲;农业古籍数字化整理研究[D];南京农业大学;2006年
中国硕士学位论文全文数据库 前10条
1 高建忠;汉语动宾搭配的自动识别研究[D];北京语言文化大学;2000年
2 娄(王廷);现代汉语分词系统通用性设计及切分歧义处理[D];北京工业大学;2000年
3 易靖;基于信息粒度原理的文本分类方法的研究[D];北京工业大学;2001年
4 朱毅华;智能搜索引擎中的同义词识别算法研究[D];南京农业大学;2001年
5 罗智勇;现代汉语通用分词系统的技术与实现[D];北京工业大学;2002年
6 关宏超;基于统计的开放式汉语自动分词[D];大连理工大学;2002年
7 张丽静;规则与统计相结合的兼类词处理机制[D];大连理工大学;2002年
8 傅赛香;基于Internet的智能信息检索技术研究[D];广西师范大学;2002年
9 杨斌;中文文本数据挖掘研究[D];湘潭大学;2002年
10 许林杰;中文文本分词研究[D];山东师范大学;2003年
【二级引证文献】
中国期刊全文数据库 前10条
1 黄德根,马玉霞,杨元生;基于互信息的中文姓名识别方法[J];大连理工大学学报;2004年05期
2 马颖华,王永成,苏贵洋;一种在汉语文本中抽取重复字串的快速算法[J];电子学报;2002年S1期
3 卢志茂;刘挺;李生;;统计词义消歧的研究进展[J];电子学报;2006年02期
4 王一蕾;吴英杰;;基于数据量的文本分词算法选取的研究[J];福建电脑;2006年09期
5 章兰,杨季文,江浩;基于VSM模型的动态文本分类器的设计[J];河海大学常州分校学报;2004年02期
6 张长利,赫枫龄,左万利;一种基于后缀数组的无词典分词方法[J];吉林大学学报(理学版);2004年04期
7 赫枫龄;左万利;张雪松;;高性能网页索引器JU_Indexer的实现[J];吉林大学学报(理学版);2006年01期
8 翟凤文;赫枫龄;左万利;;基于统计规则的交集型歧义处理方法[J];吉林大学学报(理学版);2006年02期
9 王浩鸣,张曰贤,吴志军,史西兵;基于智能Agent的中文元搜索引擎模型研究[J];计算机工程与应用;2005年31期
10 余祖波;高庆狮;方淼;;中文姓名自动识别系统的设计与实现[J];计算机工程与应用;2006年10期
中国重要会议论文全文数据库 前3条
1 马玉霞;黄德根;杨元生;;一种改进的中文姓名识别方法[A];Advances in Computation of Oriental Languages--Proceedings of the 20th International Conference on Computer Processing of Oriental Languages[C];2003年
2 何楠;毛新年;董远;王海拉;;基于转换的错误学习方法在中文分词后处理中的应用[A];中国计算技术与语言问题研究——第七届中文信息处理国际会议论文集[C];2007年
3 余军;陈晓鸥;;命名实体识别:One-at-a-time or All-at-once?Word-based or Character-based?[A];中国计算技术与语言问题研究——第七届中文信息处理国际会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 郑泽芝;基于动态流通语料库(DCC)的汉语字母词语识别及考察研究[D];北京语言大学;2005年
2 郑逢斌;关于计算机理解自然查询语言的研究[D];西南交通大学;2004年
3 刘华;基于关键短语的文本内容标引研究[D];北京语言大学;2005年
4 乔林;基于多关键词检索的企业竞争情报搜集方法研究[D];中国科学技术大学;2006年
5 刘涛;现代信息检索中的文本分类及图像恢复研究[D];北京邮电大学;2006年
6 王平;大规模网络蠕虫检测与传播抑制[D];哈尔滨工业大学;2006年
7 张春霞;领域文本知识获取方法研究及其在考古领域中的应用[D];中国科学院研究生院(计算技术研究所);2005年
8 姜韶华;科研项目管理中的文本挖掘方法研究及应用[D];大连理工大学;2006年
9 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年
10 黄魏;植物营养诊断自动应答网络专家系统研究[D];华中农业大学;2007年
中国硕士学位论文全文数据库 前10条
1 何尧;基于半监督学习的中文文档分类技术研究[D];中南大学;2005年
2 贾丽洁;基于最大熵模型的分词技术研究[D];山东师范大学;2007年
3 翟凤文;统计与字典相结合的中文分词[D];吉林大学;2005年
4 葛强;亲属关系逻辑推理专家系统的研究[D];河南大学;2005年
5 胡业江;中文姓名自动识别技术研究[D];华侨大学;2005年
6 朱珣;中文自动分词系统的研究[D];华中师范大学;2004年
7 章成志;基于文本层次模型的Web概念挖掘研究[D];南京农业大学;2002年
8 张艳丽;中文机构名称的自动识别[D];大连理工大学;2003年
9 代学武;基于神经网络的用户建模和Web信息过滤研究[D];西南师范大学;2003年
10 周晓梅;网络信息传播中的农业词语研究[D];山西大学;2004年
【二级参考文献】
中国期刊全文数据库 前1条
1 揭春雨 ,刘源 ,梁南元;论汉语自动分词方法[J];中文信息学报;1989年01期
【相似文献】
中国期刊全文数据库 前10条
1 卡哈尔江·阿比的热西提;吐尔根·依布拉音;姚天昉;艾山·吾买尔;艾山·毛力尼亚孜;;一种改进的维吾尔语句子相似度计算方法[J];中文信息学报;2011年04期
2 安见才让;;藏语句子相似度算法的研究[J];中文信息学报;2011年04期
3 秦元巧;孙国强;;改进的句子相似度计算在问答系统中的应用[J];微计算机信息;2011年08期
4 ;[J];;年期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 尚英;;动词重叠形式的自动识别方法研究[A];第二届全国学生计算语言学研讨会论文集[C];2004年
2 丁大斌;黄昌宁;;汉语同音词调查及拼音输入法基线模型研究[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
3 王洁;荀恩东;罗智勇;宋柔;;现代汉语多音词自动标音研究[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
4 吴宏林;刘绍明;;基于二部图最大匹配的汉日词对齐[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
5 黄浩炜;王挺;陈火旺;;SVM与错误驱动学习相结合的生物实体识别方法[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
6 洪嘉馡;柯淑津;黄居仁;安可思;李冠勋;;词义预测研究:以语料库驱动的研究方法[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
7 于丽丽;丁德鑫;曲维光;陈小荷;石民;;基于多分类器集成的古代汉语词义消歧[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
8 宋晓雷;王素格;李红霞;;面向特定领域产品评价对象自动识别研究[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
9 董兴华;杨雅婷;陈丽娟;周喜;吐尔洪·吾司曼;;基于统计的词素切分算法[A];第五届全国青年计算语言学研讨会论文集[C];2010年
10 杨尔弘;米丽萍;郝秀兰;;基于《知网》的词义排岐方法[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
中国硕士学位论文全文数据库 前2条
1 刘大伟;基于WordNet本体库的文本分类方法[D];北京交通大学;2008年
2 陈慧芳;文本分类中特征向量空间降维方法研究[D];东南大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026