收藏本站
《电子学报》 2004年01期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

一种能够检测所有交叉歧义的汉语分词算法

王显芳  杜利民  
【摘要】:本文给出了一种能够检测句子中所有交叉歧义的汉语分词算法 .该算法基于“长词优先”的切分原则 .它解决了切分路径数随句子长度的增长而呈几何级数增长的问题 ,并且提供了一种方法可将句子的覆盖歧义和交叉歧义分开处理 .算法的运算复杂度为O(N) ,N为句子长度 .它的输出使得进行下一步处理的运算量大大减少 .

手机知网App
【引证文献】
中国期刊全文数据库 前2条
1 于源,衣袭;中文全切分快速分词方法[J];大连铁道学院学报;2005年02期
2 方冰;张一中;;高性能FTP搜索引擎的设计[J];南京邮电大学学报(自然科学版);2007年03期
中国重要会议论文全文数据库 前1条
1 陈晓;;中文文本自动分词研究述要[A];第四届全国语言文字应用学术研讨会论文集[C];2005年
中国博士学位论文全文数据库 前3条
1 冯敏萱;论汉英平行语料的平行处理[D];南京师范大学;2006年
2 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年
3 刘政怡;中文整句智能输入方法研究[D];安徽大学;2007年
中国硕士学位论文全文数据库 前10条
1 张旭洁;基于语义网络的类自然语言的知识获取与转换的研究[D];云南师范大学;2006年
2 杨超;基于最大匹配的书面汉语自动分词研究[D];湖南大学;2004年
3 魏进;中文分词技术在公安信息系统中的应用研究[D];解放军信息工程大学;2007年
4 程冲;信息检索用汉语分词与未登录词识别技术研究[D];南京农业大学;2007年
5 龙军;基于角色标注的中文POI名称匹配的研究及原型系统实现[D];西南大学;2008年
6 陈平;基于SVM的中文文本分类相关算法的研究与实现[D];西北大学;2008年
7 王思力;面向大规模信息检索的中文分词技术研究[D];中国科学院研究生院(计算技术研究所);2006年
8 朱祥玉;基于向量空间模型的自适应文本过滤系统研究[D];山东师范大学;2006年
9 刘宽;现代汉语自动分词歧义分析及其消歧处理研究[D];兰州理工大学;2006年
10 张晓淼;基于神经网络的中文分词算法的研究[D];大连理工大学;2006年
【参考文献】
中国期刊全文数据库 前2条
1 孙茂松,黄昌宁,高海燕,方捷;中文姓名的自动辨识[J];中文信息学报;1995年02期
2 孙茂松,左正平,邹嘉彦;高频最大交集型歧义切分字段在汉语自动分词中的作用[J];中文信息学报;1999年01期
【共引文献】
中国期刊全文数据库 前10条
1 张锋,樊孝忠;基于最大熵模型的交集型切分歧义消解[J];北京理工大学学报;2005年07期
2 黄昌宁,孙茂松;中文信息处理最新成果的检阅——记新加坡中文电脑国际会议ICCC’96[J];当代语言学;1996年04期
3 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
4 黄德根,马玉霞,杨元生;基于互信息的中文姓名识别方法[J];大连理工大学学报;2004年05期
5 杜永萍,郑家恒;分词及词性标注一致性校对系统的设计与实现[J];电脑开发与应用;2001年10期
6 张辉,徐健;中国组织机构名自动识别系统的设计与实现[J];电脑开发与应用;2002年01期
7 刘利东;基于组合度的汉语分词决策算法研究[J];德州学院学报;2003年02期
8 马颖华,王永成,苏贵洋;一种在汉语文本中抽取重复字串的快速算法[J];电子学报;2002年S1期
9 王显芳,杜利民;利用覆盖歧义检测法和统计语言模型进行汉语自动分词[J];电子与信息学报;2003年09期
10 刘禹孜,何中市;一种基于SVM和规则消除组合型歧义的算法[J];重庆大学学报(自然科学版);2005年10期
中国重要会议论文全文数据库 前10条
1 曾华琳;史晓东;李堂秋;;基于上下文信息提取的概率分词算法[A];第六届汉语词汇语义学研讨会论文集[C];2005年
2 周蕾;李培峰;朱巧明;杨季文;;碎片分词与词结合提取的未登录词识别方法[A];第六届汉语词汇语义学研讨会论文集[C];2005年
3 侯敏;侯敞;;汉英机译系统译文质量的评测[A];世纪之交的中国应用语言学研究——第二届全国语言文字应用学术研讨会论文集[C];1998年
4 靳光瑾;郭曙纶;肖航;章云帆;;语料库加工中的规范问题——谈《信息处理用现代汉语词类标记集规范》[A];语言文字应用研究论文集(Ⅱ)[C];2004年
5 陈晓;;中文文本自动分词研究述要[A];第四届全国语言文字应用学术研讨会论文集[C];2005年
6 张树武;徐波;黄泰翼;;汉语大词汇/连续语音识别语言建模技术分析[A];第四届全国人机语音通讯学术会议论文集[C];1996年
7 高山;张艳;徐波;宗成庆;韩兆兵;;基于三元统计模型的汉语分词及标注一体化研究[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
8 季姮;罗振声;;基于反比概率模型和规则的中文姓名自动辨识系统[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
9 何燕;;基于单字词转移概率的未登录词识别[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 侯敏;;汉语自动分析中的若干问题与对策[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
中国博士学位论文全文数据库 前10条
1 王强军;基于动态流通语料库(DCC)的信息技术领域新术语自动提取研究[D];北京语言文化大学;2003年
2 宋春阳;面向信息处理的现代汉语“名+名”逻辑语义研究[D];上海师范大学;2003年
3 张蕾;概念结构及其应用[D];西北工业大学;2001年
4 刘忠;性质语意理论的提出与自然语言理解及其实现的研究[D];华东师范大学;2004年
5 隋岩;基于“动态流通语料库”的“有效字符串”提取研究[D];北京语言大学;2004年
6 郑逢斌;关于计算机理解自然查询语言的研究[D];西南交通大学;2004年
7 王建会;中文信息处理中若干关键技术的研究[D];复旦大学;2004年
8 杨建国;基于动态流通语料库(DCC)的汉语熟语单位研究[D];北京语言大学;2005年
9 郑泽芝;基于动态流通语料库(DCC)的汉语字母词语识别及考察研究[D];北京语言大学;2005年
10 刘伟;现代汉语代词隐现的动态研究[D];北京语言大学;2005年
中国硕士学位论文全文数据库 前10条
1 何燕;任意类型的未登录词的识别研究[D];北京语言文化大学;2000年
2 王省;基地统计和规则的中文姓名识别系统的研制[D];大连理工大学;2000年
3 李卫亮;现代汉语分词系统中专名识别的实用策略[D];北京工业大学;2000年
4 吴思;聚类分析及其在农业物种信息自动提取中的应用[D];湘潭大学;2001年
5 许勇;基于百科词典的知识获取系统的研究与实现[D];北京工业大学;2001年
6 罗智勇;现代汉语通用分词系统的技术与实现[D];北京工业大学;2002年
7 陆文彦;概念网的建模、实现与应用[D];中南大学;2002年
8 任春艳;HSK作文评分客观化探讨[D];北京语言文化大学;2001年
9 廉竹钧;汉语组合型切分歧义字段消歧方法研究[D];北京语言文化大学;2002年
10 关宏超;基于统计的开放式汉语自动分词[D];大连理工大学;2002年
【同被引文献】
中国期刊全文数据库 前10条
1 孙宏林,俞士汶;浅层句法分析方法概述[J];当代语言学;2000年02期
2 刘利东;基于组合度的汉语分词决策算法研究[J];德州学院学报;2003年02期
3 张素娟,郑庆华,胡云华,孙霞;一种面向网络答疑的汉语切分歧义消除算法[J];计算机工程与应用;2004年25期
4 王建会,王雷,胡运发;词语间依存关系的定量识别[J];中文信息学报;2005年04期
5 冯志伟;论歧义结构的潜在性[J];中文信息学报;1995年04期
6 刘伟权,王明会,钟义信;建立现代汉语依存关系的层次体系[J];中文信息学报;1996年02期
7 黄曾阳;HNC理论概要[J];中文信息学报;1997年04期
8 袁毓林;;一价名词的认知研究[J];中国语文;1994年04期
9 黄昌宁;关于处理大规模真实文本的谈话[J];语言文字应用;1993年02期
10 刘海涛;依存语法和机器翻译[J];语言文字应用;1997年03期
中国重要会议论文全文数据库 前2条
1 柏晓静;常宝宝;詹卫东;吴拥华;;构建大规模的汉英双语平行语料库[A];机器翻译研究进展——2002年全国机器翻译研讨会论文集[C];2002年
2 朱凯;周杰;何婷婷;;因特网语料自动下载分析软件的设计[A];第一届学生计算语言学研讨会论文集[C];2002年
中国博士学位论文全文数据库 前8条
1 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
2 李荣陆;文本分类及其相关技术研究[D];复旦大学;2005年
3 陈清才;基于粗集的汉语建模及其应用研究[D];哈尔滨工业大学;2003年
4 钱晓东;基于神经网络等技术的数据与文本聚分类研究[D];天津大学;2005年
5 王秀娟;文本检索中若干问题研究[D];北京邮电大学;2006年
6 周瑛;神经网络作为分类器的算法研究及在信息检索中的应用[D];安徽大学;2006年
7 丁国栋;基于统计语言建模的信息检索及相关研究[D];中国科学院研究生院(计算技术研究所);2006年
8 李素建;汉语组块计算的若干研究[D];中国科学院研究生院(计算技术研究所);2002年
中国硕士学位论文全文数据库 前10条
1 何燕;任意类型的未登录词的识别研究[D];北京语言文化大学;2000年
2 易靖;基于信息粒度原理的文本分类方法的研究[D];北京工业大学;2001年
3 廉竹钧;汉语组合型切分歧义字段消歧方法研究[D];北京语言文化大学;2002年
4 杨斌;中文文本数据挖掘研究[D];湘潭大学;2002年
5 石霞军;邮件信息过滤算法研究与实现[D];湖南大学;2002年
6 周威成;信息过滤方法的研究与应用[D];华北电力大学(北京);2003年
7 胡蓉;中文Web文档倾向性自动分类研究[D];四川大学;2003年
8 刘钢;基于神经网络的文本分类系统NNTCS的设计和实现[D];中国科学院研究生院(软件研究所);2003年
9 薛松;汉英平行语料库中名词短语对齐算法的研究[D];中国科学院研究生院(软件研究所);2003年
10 陈波;中文统计自然语言处理隐马模型的研究[D];重庆大学;2003年
【二级引证文献】
中国期刊全文数据库 前1条
1 孙巍;;一种面向中文信息检索的汉语自动分词方法[J];现代图书情报技术;2006年07期
中国重要会议论文全文数据库 前1条
1 陈晓苏;邹园斌;张文珂;;全切分图与路径表达式在分词算法中的应用[A];第三届学生计算语言学研讨会论文集[C];2006年
中国博士学位论文全文数据库 前1条
1 黄魏;植物营养诊断自动应答网络专家系统研究[D];华中农业大学;2007年
中国硕士学位论文全文数据库 前7条
1 吕青普;科技文档的分类与查重[D];天津财经大学;2007年
2 陈静;基于本体的信息抽取研究[D];苏州大学;2007年
3 魏进;中文分词技术在公安信息系统中的应用研究[D];解放军信息工程大学;2007年
4 单大力;中文WEB文本倾向性分类研究[D];北京交通大学;2008年
5 徐照财;基于Agent的专题搜索引擎爬虫的研究[D];江苏大学;2007年
6 王美方;信息过滤系统中特征选择算法的研究[D];山东师范大学;2008年
7 孔凡壬;基于本体的制造业领域Web信息集成[D];广西师范大学;2008年
【二级参考文献】
中国期刊全文数据库 前1条
1 刘开瑛;现代汉语自动分词评测技术研究[J];语言文字应用;1997年01期
【相似文献】
中国期刊全文数据库 前10条
1 辛浩;;基于关联规则的中文姓名识别方法[J];宿州学院学报;2011年05期
2 ;[J];;年期
3 ;[J];;年期
4 ;[J];;年期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 黄昌宁;高剑峰;李沐;;对自动分词的反思[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 孙承杰;黄昌宁;关毅;;基于标注语料库的组合歧义检测与消解[A];第三届学生计算语言学研讨会论文集[C];2006年
3 黄昌宁;林娟;孙承杰;;何谓金本位[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
4 杨尔弘;方莹;乔羽;;汉语自动分词和词性标注评测[A];第二届全国学生计算语言学研讨会论文集[C];2004年
5 罗智勇;宋柔;荀恩东;;一种基于可信度的人名识别方法[A];第二届全国学生计算语言学研讨会论文集[C];2004年
6 李斌;陈小荷;;面向中文陌生文本的人机交互式分词方法[A];第三届学生计算语言学研讨会论文集[C];2006年
7 许超;陈小荷;;试评两种商用机译软件的汉语分析能力[A];机器翻译研究进展——2002年全国机器翻译研讨会论文集[C];2002年
8 吴岩;蔺荪;;中文自动查错与人机交互纠错系统的研究与实现—简介语科中文自动校对系统[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
9 江荻;;藏语文本信息处理的历程与进展[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
10 付国宏;王晓龙;龚永红;;基于词形的汉语文本切分方法[A];第五届全国人机语音通讯学术会议论文集[C];1998年
中国重要报纸全文数据库 前1条
1 田梦;软件篇软件只是工具[N];计算机世界;2007年
中国博士学位论文全文数据库 前1条
1 黄魏;植物营养诊断自动应答网络专家系统研究[D];华中农业大学;2007年
中国硕士学位论文全文数据库 前10条
1 许荣荣;中文文本自动分词技术与算法研究[D];郑州大学;2010年
2 朱珣;中文自动分词系统的研究[D];华中师范大学;2004年
3 刘宽;现代汉语自动分词歧义分析及其消歧处理研究[D];兰州理工大学;2006年
4 杨孝光;中文文本自动分类系统研究—汉语分词及分类器的设计[D];电子科技大学;2004年
5 付蕾;知识元标引系统的设计与实现[D];华中师范大学;2009年
6 胡业江;中文姓名自动识别技术研究[D];华侨大学;2005年
7 张敏;基于Internet的个性化信息检索关键技术研究[D];燕山大学;2006年
8 陈云;基于受限汉语和模块组合的自动程序设计研究[D];重庆大学;2008年
9 张敏;生物学文献的自动标引系统的研究与开发[D];东华大学;2006年
10 刘伟;基于限定领域的问句相似度[D];天津师范大学;2008年
中国知网广告投放
相关期刊
>宿州学院学报
相关机构
>合肥工业大学计算机与信息...
相关作者
>辛浩
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026