收藏本站
《中文信息学报》 1991年02期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

书面汉语自动分词专家系统设计原理

何克抗  徐辉  孙波  
【摘要】:本文深入地分析了歧义切分字段产生的根源和性质,把歧义字段从性质上划分为四类,并给出了消除每一类歧义切分字段的有效方法。在对歧义字段进行统计分析的基础上提出了切分精度的“四级指标体系”,井论证了专家系统方法是实现自动分词系统的最佳方案。

【引证文献】
中国期刊全文数据库 前10条
1 唐振民,靳从,杨静宇;档案文献主题词微机自动标引系统[J];兵工自动化;1993年02期
2 王玉美,阮晓钢;基于人的语言认知行为的汉语文法分析专家系统[J];北京工业大学学报;2003年01期
3 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
4 刘挺,吴岩,王开铸;最大概率分词问题及其解法[J];哈尔滨工业大学学报;1998年06期
5 林亚平,李彦,童调生,尹锋;汉语自动分词中的神经网络技术研究[J];湖南大学学报(自然科学版);1997年06期
6 王锡江;王启祥;陈家骏;;基于邻接知识的汉语自动分词系统[J];计算机研究与发展;1992年11期
7 罗智勇;宋柔;;现代汉语通用分词系统中歧义切分的实用技术[J];计算机研究与发展;2006年06期
8 殷峰,何克抗;语句级拼音┐汉字转换系统的设计与实现[J];计算机研究与发展;1997年05期
9 林琳;黄南天;;基于得分点的简答题评分系统设计[J];吉林化工学院学报;2007年03期
10 陈其晖,应志伟,柴佩琪;基于歧义二叉树的汉语分词方法[J];计算机辅助工程;1999年04期
中国重要会议论文全文数据库 前5条
1 贺前华;徐秉铮;;神经网络在汉语自动分词中的应用[A];第二届全国人机语音通讯学术会议论文集[C];1992年
2 陈玉忠;李保利;俞士汶;兰措吉;;基于格助词和接续特征的藏文自动分词方案[A];第一届学生计算语言学研讨会论文集[C];2002年
3 黄昌宁;高剑峰;李沐;;对自动分词的反思[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
4 杨尔弘;方莹;乔羽;;汉语自动分词和词性标注评测[A];第二届全国学生计算语言学研讨会论文集[C];2004年
5 通拉嘎;;汉、蒙、藏、维分词与词性标注技术发展现状研究[A];第五届全国青年计算语言学研讨会论文集[C];2010年
中国博士学位论文全文数据库 前4条
1 屠晓;英文地址图像识别与翻译研究[D];华东师范大学;2011年
2 隋岩;基于“动态流通语料库”的“有效字符串”提取研究[D];北京语言大学;2004年
3 贺前华;汉语自动分词及机器翻译研究[D];华南理工大学;1993年
4 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年
中国硕士学位论文全文数据库 前10条
1 李丹;基于规则与统计的汉语自动分词研究[D];长春工业大学;2010年
2 陈磊;用例图到顺序图转换的研究[D];西安电子科技大学;2009年
3 林冬盛;中文分词算法的研究与实现[D];西北大学;2011年
4 蒋才智;中文自动分词及人名识别技术研究[D];合肥工业大学;2011年
5 高超;一种基于综合背景概念格的中文自动文摘方法[D];中南大学;2011年
6 陶敏;基于支持向量机的中文客户评论情感文本分类研究[D];武汉纺织大学;2011年
7 任丽芸;搜索引擎中文分词技术研究[D];重庆理工大学;2011年
8 娄(王廷);现代汉语分词系统通用性设计及切分歧义处理[D];北京工业大学;2000年
9 李朝阳;经济文献数据库计算机标引研究[D];南京农业大学;2000年
10 罗智勇;现代汉语通用分词系统的技术与实现[D];北京工业大学;2002年
【参考文献】
中国期刊全文数据库 前2条
1 梁南元;书面汉语自动分词系统—CDWS[J];中文信息学报;1987年02期
2 揭春雨 ,刘源 ,梁南元;论汉语自动分词方法[J];中文信息学报;1989年01期
【共引文献】
中国期刊全文数据库 前10条
1 胡锡衡;;正向最大匹配法在中文分词技术中的应用[J];鞍山师范学院学报;2008年02期
2 李国和;刘光胜;吴卫江;孙红军;唐先明;韩宝东;;基于最大匹配和歧义检测的中文分词粗分方法[J];北京信息科技大学学报(自然科学版);2010年S2期
3 张锋,樊孝忠;基于最大熵模型的交集型切分歧义消解[J];北京理工大学学报;2005年07期
4 高东平;;基于类型论的汉语分词系统TTCS[J];重庆理工大学学报(社会科学);2011年08期
5 赵春红;高希龙;王柠;赵威;刘国华;;一种应用分治策略的中文分词方法[J];燕山大学学报;2009年05期
6 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
7 黄德根,朱和合,王昆仑,杨元生,钟万勰;基于最长次长匹配的汉语自动分词[J];大连理工大学学报;1999年06期
8 曲卫华;王群;;搜索引擎原理介绍与分析[J];电脑知识与技术;2006年35期
9 李艳欣;;搜索引擎中中文分词的研究[J];电脑知识与技术(学术交流);2007年08期
10 梁晓弘;杨文安;;分词技术在信息处理中的研究综述[J];电脑知识与技术(学术交流);2007年22期
中国重要会议论文全文数据库 前5条
1 孙茂松;;汉语自动分词研究的若干最新进展——清华大学相关工作简介[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
2 董强;郝长伶;董振东;;基于《知网》的中文语块抽取器[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
3 李斌;陈小荷;方芳;徐艳华;;高频最大交集型歧义字段问题研究[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
4 孙承杰;黄昌宁;关毅;;基于标注语料库的组合歧义检测与消解[A];第三届学生计算语言学研讨会论文集[C];2006年
5 张霄军;董宇;陈小荷;;基于语料考察的“组合型歧义”与“切分变异”辨析[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 隋岩;基于“动态流通语料库”的“有效字符串”提取研究[D];北京语言大学;2004年
2 余传明;基于本体的语义信息系统研究[D];武汉大学;2005年
3 贺前华;汉语自动分词及机器翻译研究[D];华南理工大学;1993年
4 冯敏萱;论汉英平行语料的平行处理[D];南京师范大学;2006年
5 张亮;面向开放域的中文问答系统问句处理相关技术研究[D];南京理工大学;2006年
6 宗成庆;音字转换与句子规范化处理研究[D];中国科学院研究生院(计算技术研究所);1998年
7 张大军;汉语文语转换系统HJ-TTS关键技术的研究与实现[D];中国科学院研究生院(计算技术研究所);2000年
8 张华平;语言浅层分析与句子级新信息检测研究[D];中国科学院研究生院(计算技术研究所);2005年
9 张磊;个性化信息分发及概念检索的研究[D];中国科学院研究生院(计算技术研究所);2002年
10 姜韶华;科研项目管理中的文本挖掘方法研究及应用[D];大连理工大学;2006年
中国硕士学位论文全文数据库 前10条
1 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
2 王有权;基于Web的智能答疑技术研究与实现[D];南京财经大学;2010年
3 巫昌凯;企业知识库系统中复杂查询系统的设计与实现[D];华南理工大学;2010年
4 李丹;基于规则与统计的汉语自动分词研究[D];长春工业大学;2010年
5 蔡蕊;一种新的搜索引擎分词词典的研究[D];山东大学;2010年
6 杨伟;基于数据库的自然语言查询技术研究与实现[D];西安电子科技大学;2010年
7 兰冲;基于统计规则的中文分词研究[D];西安电子科技大学;2011年
8 王俊俊;面向企业竞争情报的Web文本挖掘关键技术的研究与实现[D];西安电子科技大学;2010年
9 郭凯;面向Web文本的数据清洗关键技术的研究与实现[D];西安电子科技大学;2009年
10 王荔;统计全切分中文分词系统的研究与实现[D];西安电子科技大学;2009年
【同被引文献】
中国期刊全文数据库 前10条
1 张德鑫;“水至清则无鱼”——我的新生词语规范观[J];北京大学学报(哲学社会科学版);2000年05期
2 苏培成;面向21世纪的中国语文现代化[J];北京大学学报(哲学社会科学版);2001年01期
3 丁丰,董娜,林碧琴,袁保宗;自然语言处理系统中自动分词的研究[J];北方交通大学学报;1999年06期
4 刘晓志;黄厚宽;尚文倩;;带专业词库的特征选择[J];北京交通大学学报;2006年02期
5 曹德和;;中文分词连写的问题与对策[J];北华大学学报(社会科学版);2006年01期
6 王卫兵;;中文分词连写可行性考察[J];北华大学学报(社会科学版);2006年01期
7 吴文超;;中文需要分词连写[J];北华大学学报(社会科学版);2007年05期
8 邓志鸿,唐世渭,张铭,杨冬青,陈捷;Ontology研究综述[J];北京大学学报(自然科学版);2002年05期
9 罗智勇;宋柔;;基于多特征的自适应新词识别[J];北京工业大学学报;2007年07期
10 龚汉明,周长胜;汉语分词技术综述[J];北京机械工业学院学报;2004年03期
中国重要会议论文全文数据库 前3条
1 高山;张艳;徐波;宗成庆;韩兆兵;;基于三元统计模型的汉语分词及标注一体化研究[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
2 俞士汶;;计算语言学的应用研究与基础研究[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
3 蒲宇达;关毅;王强;;基于数据挖掘思想的网页正文抽取方法的研究[A];第三届学生计算语言学研讨会论文集[C];2006年
中国博士学位论文全文数据库 前7条
1 王建会;中文信息处理中若干关键技术的研究[D];复旦大学;2004年
2 李荣陆;文本分类及其相关技术研究[D];复旦大学;2005年
3 李晓黎;WEB信息检索与分类中的数据采掘研究[D];中国科学院研究生院(计算技术研究所);2001年
4 卜东波;聚类/分类理论研究及其在文本挖掘中的应用[D];中国科学院研究生院(计算技术研究所);2000年
5 熊云波;文本信息处理的若干关键技术研究[D];复旦大学;2006年
6 尹世群;Web文本分类关键技术研究[D];西南大学;2008年
7 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年
中国硕士学位论文全文数据库 前10条
1 李海升;垂直搜索引擎的研究与实现[D];西安电子科技大学;2009年
2 杜佳伦;面向用户体验需求的垂直搜索引擎的研究[D];吉林大学;2011年
3 李宜兵;基于搜索引擎网页排序算法研究[D];沈阳理工大学;2011年
4 杨成宝;我国搜索引擎市场发展趋势与策略研究[D];山东大学;2011年
5 任丽芸;搜索引擎中文分词技术研究[D];重庆理工大学;2011年
6 仇亚东;面向农业领域的垂直搜索技术的研究[D];南京农业大学;2010年
7 何燕;任意类型的未登录词的识别研究[D];北京语言文化大学;2000年
8 娄(王廷);现代汉语分词系统通用性设计及切分歧义处理[D];北京工业大学;2000年
9 罗智勇;现代汉语通用分词系统的技术与实现[D];北京工业大学;2002年
10 关宏超;基于统计的开放式汉语自动分词[D];大连理工大学;2002年
【二级引证文献】
中国期刊全文数据库 前10条
1 葛文英;吕靖;;基于条件随机场的中文人名识别[J];安阳师范学院学报;2010年05期
2 丁丰,董娜,林碧琴,袁保宗;自然语言处理系统中自动分词的研究[J];北方交通大学学报;1999年06期
3 杨尔弘;;媒体5年词语使用情况调查分析[J];北华大学学报(社会科学版);2011年04期
4 马志强;周长胜;丁维;杨娜;;校园网搜索引擎的研究与实现[J];北京机械工业学院学报;2007年01期
5 李国和;刘光胜;吴卫江;孙红军;唐先明;韩宝东;;基于最大匹配和歧义检测的中文分词粗分方法[J];北京信息科技大学学报(自然科学版);2010年S2期
6 文庭孝;汉语自动分词研究进展[J];图书与情报;2005年05期
7 葛宇;梁静;陈晓敏;;搜索引擎系统中热点问题的探讨[J];成都电子机械高等专科学校学报;2009年04期
8 何嘉;陈琳;;基于神经网络汉语分词模型的优化[J];成都信息工程学院学报;2006年06期
9 官礼和,杨刚,李永礼;基于词典的法律案例自动归类系统的开发[J];重庆交通学院学报;2004年01期
10 陈玉忠,俞士汶;藏文信息处理技术的研究现状与展望[J];中国藏学;2003年04期
中国重要会议论文全文数据库 前10条
1 梁莹;肖健;李玥;;多引擎印刷体汉字识别系统研发[A];广西计算机学会25周年纪念会暨2011年学术年会论文集[C];2011年
2 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
3 修驰;宋柔;;基于“大词”实例的中文分词研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
4 柯登峰;彭星源;赵知;陈振标;王士进;徐波;;基于词汇等级的汉语作文自动评分技术[A];第十一届全国人机语音通讯学术会议论文集(一)[C];2011年
5 曾华琳;史晓东;李堂秋;;基于上下文信息提取的概率分词算法[A];第六届汉语词汇语义学研讨会论文集[C];2005年
6 王慧慧;杨国纬;;基于事例的问答系统研究[A];贵州制约逻辑学会2005年学术年会暨首届全国性逻辑系统专题研讨会论文集[C];2005年
7 陈晓;;中文文本自动分词研究述要[A];第四届全国语言文字应用学术研讨会论文集[C];2005年
8 刮俊杰;吴树国;伊胜伟;;基于词效应的中文术语提取方法[A];第三届中国智能计算大会论文集[C];2009年
9 许超;陈小荷;;试评两种商用机译软件的汉语分析能力[A];机器翻译研究进展——2002年全国机器翻译研讨会论文集[C];2002年
10 朱晓旭;;汉字输入教学系统中词组切分方法的设计[A];中国中文信息学会汉字编码专业委员会第八届年会、中国计算机学会中文信息技术专业委员会第六届年会暨汉字输入技术与应用研讨会论文集[C];2002年
中国博士学位论文全文数据库 前10条
1 蔡盈芳;基于本体的航空产品知识库构建研究[D];北京交通大学;2011年
2 张海军;基于大规模语料的中文新词识别技术研究[D];中国科学技术大学;2011年
3 屠晓;英文地址图像识别与翻译研究[D];华东师范大学;2011年
4 杨抒;基于WEB的林产品信息资源整合方法研究[D];北京林业大学;2011年
5 经有国;面向消费类机电产品大规模定制的客户需求信息交互式获取及处理方法[D];重庆大学;2011年
6 王迈;语言形式化原理[D];上海外国语大学;2011年
7 朱锁玲;命名实体识别在方志内容挖掘中的应用研究[D];南京农业大学;2011年
8 黄水清;非相关文献知识发现方法及在农业经济学中的应用[D];南京农业大学;2010年
9 罗芳;意见挖掘中若干关键问题研究[D];武汉理工大学;2011年
10 王强军;基于动态流通语料库(DCC)的信息技术领域新术语自动提取研究[D];北京语言文化大学;2003年
中国硕士学位论文全文数据库 前10条
1 吕万里;中文文本分类技术研究[D];山东科技大学;2010年
2 尹丽玲;基于人工免疫算法的Web文本挖掘研究[D];哈尔滨工程大学;2010年
3 刘伟丽;基于粒子群算法和支持向量机的中文文本分类研究[D];河南工业大学;2010年
4 冯晶晶;面向软件测试领域的自动问答系统[D];河南理工大学;2010年
5 王思丽;藏文网页自动发现与采集技术研究[D];西北民族大学;2010年
6 苏俊峰;基于HMM的藏语语料库词性自动标注研究[D];西北民族大学;2010年
7 杨鼎;基于朴素贝叶斯的中文文本情感倾向分类研究[D];湖南工业大学;2010年
8 郭瞳康;基于词典的中文分词技术研究[D];哈尔滨理工大学;2010年
9 左石凯;语音合成算法研究与FPGA实现[D];哈尔滨理工大学;2010年
10 李丹;基于规则与统计的汉语自动分词研究[D];长春工业大学;2010年
【二级参考文献】
中国期刊全文数据库 前4条
1 梁南元;书面汉语的自动分词与一个自动分词系统—CDWS[J];北京航空学院学报;1984年04期
2 梁南元;书面汉语自动分词综述[J];计算机应用与软件;1987年03期
3 刘源,梁南元;汉语处理的基础工程——现代汉语词频统计[J];中文信息学报;1986年01期
4 关英春 ,秦蓓;汉语文字自动统计系统CWSS[J];中文信息学报;1986年01期
【相似文献】
中国期刊全文数据库 前10条
1 王彩荣;汉语自动分词专家系统的设计与实现[J];微处理机;2004年03期
2 郑延斌;自动分词中的歧义处理[J];微型机与应用;1998年06期
3 郑延斌;书面汉语自动分词及歧义分析[J];河南师范大学学报(自然科学版);1997年04期
4 张培颖;李村合;;一种改进的上下文相关的歧义字段切分算法[J];计算机系统应用;2006年05期
5 郑家恒;张剑锋;谭红叶;;中文分词中歧义切分处理策略[J];山西大学学报(自然科学版);2007年02期
6 郑逢斌,付征叶,乔保军,毋琳;HENU汉语自动分词系统中歧义字段消除算法[J];河南大学学报(自然科学版);2004年04期
7 徐秉铮,詹剑,贺前华;基于神经网络的分词方法[J];中文信息学报;1993年02期
8 李蓉,刘少辉,叶世伟,史忠植;基于SVM和k-NN结合的汉语交集型歧义切分方法[J];中文信息学报;2001年06期
9 何国斌;赵晶璐;;汉语文本自动分词算法的研究[J];计算机工程与应用;2010年03期
10 曹焕光,郑家恒;自动分词软件质量的评价模型[J];中文信息学报;1992年04期
中国重要会议论文全文数据库 前10条
1 徐艳华;;面向自动分词的三音节新词语构词法研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 丁德鑫;曲维光;于丽丽;陈小荷;李惠;;基于词频和语义信息的组合型歧义消解[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
3 杨尔弘;方莹;乔羽;;汉语自动分词和词性标注评测[A];第二届全国学生计算语言学研讨会论文集[C];2004年
4 李小明;王亚莉;易立夫;杨静;孙金城;;自动分词中的单字虚词处理[A];新世纪的现代语音学——第五届全国现代语音学学术会议论文集[C];2001年
5 刘开瑛;;专有名词与网络词语识别软件技术研究[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
6 李玉梅;靳光瑾;黄昌宁;;中文分词规范中的歧义字段消解细则[A];第五届全国语言文字应用学术研讨会论文集[C];2007年
7 黄昌宁;高剑峰;李沐;;对自动分词的反思[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
8 许超;陈小荷;;试评两种商用机译软件的汉语分析能力[A];机器翻译研究进展——2002年全国机器翻译研讨会论文集[C];2002年
9 孙承杰;黄昌宁;关毅;;基于标注语料库的组合歧义检测与消解[A];第三届学生计算语言学研讨会论文集[C];2006年
10 李晰;肖东昀;;装备保障力量部署方案评估系统设计[A];'2008系统仿真技术及其应用学术会议论文集[C];2008年
中国重要报纸全文数据库 前5条
1 王萍;Web文本的知识化管理[N];计算机世界;2006年
2 教育部语信司;语言资源监测与服务论坛举行[N];语言文字周报;2010年
3 实习生 康晨;网络没有唯一:国内中文搜索引擎之比较[N];中国消费者报;2005年
4 田梦;软件篇软件只是工具[N];计算机世界;2007年
5 教育部语信司;国家语言资源监测与研究中心召开2007数据发布专题研讨会[N];语言文字周报;2008年
中国博士学位论文全文数据库 前5条
1 冯敏萱;论汉英平行语料的平行处理[D];南京师范大学;2006年
2 贺前华;汉语自动分词及机器翻译研究[D];华南理工大学;1993年
3 秦颖;汉语词和短语的歧义消解研究[D];北京邮电大学;2008年
4 黄魏;植物营养诊断自动应答网络专家系统研究[D];华中农业大学;2007年
5 熊英;中文自然语言理解中基于条件随机场理论的词法分析研究[D];上海交通大学;2009年
中国硕士学位论文全文数据库 前10条
1 柴宝杰;中文自动分词若干技术的研究[D];燕山大学;2007年
2 朱珣;中文自动分词系统的研究[D];华中师范大学;2004年
3 蔡灿民;基于词典的智能分词系统的研究与实现[D];昆明理工大学;2008年
4 普布旦增;藏文自动分词技术方法研究[D];西藏大学;2010年
5 吴虹;基于本体与模糊数学的自动分词系统研究[D];北京理工大学;2008年
6 贺胜;面向现代汉语文本处理的全文检索、自动分词通用系统[D];南京师范大学;2006年
7 陈鹏宇;现代汉语自动分词研究及几个算法的实现[D];电子科技大学;2008年
8 王广正;基于知网语义相关度计算的汉语自动分词方法的研究[D];云南师范大学;2006年
9 段倩倩;面向信息处理的带典型前缀派生词的识别分析[D];上海师范大学;2010年
10 许林杰;中文文本分词研究[D];山东师范大学;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026