收藏本站
《计算机研究与发展》 1999年09期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

汉语词语边界自动划分的模型与算法

付国宏  王晓龙  
【摘要】:在引入词形和汉字结合点等概念基础上,文中分别描述了一个基于字串构词能力的词形模型和一个基于词语内部、外部汉字结合度的汉字结合点模型,并采用线性插值方法将两种模型融合于一体进行汉语词语边界划分.在分析汉语切分候选空间的基础上,文中还给出了相应的优化搜索算法.与一般的统计方法相比,文中方法的模型参数可直接从未经加工粗语料中得到,具有较强的适应能力.初步试验表明该方法是有效和可靠的

知网文化
【引证文献】
中国期刊全文数据库 前10条
1 陈清才,王晓龙;一种基于词矢量的汉语语义量化模型[J];计算机研究与发展;2001年02期
2 张长利,赫枫龄,左万利;一种基于后缀数组的无词典分词方法[J];吉林大学学报(理学版);2004年04期
3 于铁军;耿玉良;;中文网页聚类系统的研究与设计[J];江苏广播电视大学学报;2007年03期
4 闫蓉;张蕾;;基于遗传算法的汉语未登录词识别[J];计算机应用与软件;2008年07期
5 黄德根,杨元生,王省,张艳丽,钟万勰;基于统计方法的中文姓名识别[J];中文信息学报;2001年02期
6 金翔宇,孙正兴,张福炎;一种中文文档的非受限无词典抽词方法[J];中文信息学报;2001年06期
7 张会平;周宁;陈立孚;;跨语言信息检索可视化研究[J];情报科学;2007年01期
8 曾碚凯,岳峰;应用VRML实现手语的网络应用[J];沈阳工业大学学报;2001年03期
9 刘京城;刘锋;;一种改进的基于后缀数组的无词典分词方法[J];计算机技术与发展;2011年11期
10 张春霞,郝天永;汉语自动分词的研究现状与困难[J];系统仿真学报;2005年01期
中国博士学位论文全文数据库 前7条
1 郑逢斌;关于计算机理解自然查询语言的研究[D];西南交通大学;2004年
2 王秀娟;文本检索中若干问题研究[D];北京邮电大学;2006年
3 李晓光;XML非完全结构查询处理中若干关键技术的研究[D];东北大学;2006年
4 李素建;汉语组块计算的若干研究[D];中国科学院研究生院(计算技术研究所);2002年
5 张素香;信息抽取中关键技术的研究[D];北京邮电大学;2007年
6 常娥;古籍智能处理技术研究[D];南京农业大学;2007年
7 熊英;中文自然语言理解中基于条件随机场理论的词法分析研究[D];上海交通大学;2009年
中国硕士学位论文全文数据库 前10条
1 高爽;基于语料库的海事英语术语提取研究[D];大连海事大学;2011年
2 朱世猛;中文分词算法的研究与实现[D];电子科技大学;2011年
3 许庚寅;基于粗糙集的Web文本分类技术研究[D];电子科技大学;2011年
4 刘京城;竞争对手网站商业情报挖掘[D];安徽大学;2011年
5 姜亚华;基于Hownet的汽车领域产品评论挖掘方法研究[D];哈尔滨工业大学;2011年
6 王振佶;面向销售服务的自动问答系统的设计与实现[D];电子科技大学;2011年
7 刘国辉;面向互动电视的影视节目搜索系统研究与实现[D];复旦大学;2011年
8 王省;基地统计和规则的中文姓名识别系统的研制[D];大连理工大学;2000年
9 陈红英;Internet信息过滤Agent的研究和实现[D];广东工业大学;2002年
10 关宏超;基于统计的开放式汉语自动分词[D];大连理工大学;2002年
【参考文献】
中国期刊全文数据库 前2条
1 吴胜远;一种汉语分词方法[J];计算机研究与发展;1996年04期
2 孙茂松,黄昌宁,邹嘉彦,陆方,沈达阳;利用汉字二元语法关系解决汉语自动分词中的交集型歧义[J];计算机研究与发展;1997年05期
【共引文献】
中国期刊全文数据库 前10条
1 杨树林;基于Web的开放式答疑系统的设计与实现[J];北京印刷学院学报;2005年01期
2 葛宇;梁静;陈晓敏;;搜索引擎系统中热点问题的探讨[J];成都电子机械高等专科学校学报;2009年04期
3 窦嵘;加羊吉;黄伟;;统计与规则相结合的藏文人名自动识别研究[J];长春工程学院学报(自然科学版);2010年02期
4 赵春红;高希龙;王柠;赵威;刘国华;;一种应用分治策略的中文分词方法[J];燕山大学学报;2009年05期
5 冯志伟;汉字和汉语的计算机处理[J];当代语言学;2001年01期
6 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
7 黄德根,马玉霞,杨元生;基于互信息的中文姓名识别方法[J];大连理工大学学报;2004年05期
8 于源,衣袭;中文全切分快速分词方法[J];大连铁道学院学报;2005年02期
9 周健欣;张启蕊;;医药文献中文分词研究[J];电脑知识与技术;2012年17期
10 朱小娟;陈特放;;词频统计中文分词技术的研究[J];仪器仪表用户;2007年03期
中国重要会议论文全文数据库 前5条
1 付国宏;王晓龙;龚永红;;基于词形的汉语文本切分方法[A];第五届全国人机语音通讯学术会议论文集[C];1998年
2 朱晓丹;刁倩;周富秋;;汉语词语的两字hash算法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
3 王思力;王斌;;基于双字耦合度的中文分词交叉歧义处理方法[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
4 丁德鑫;曲维光;于丽丽;陈小荷;李惠;;基于词频和语义信息的组合型歧义消解[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
5 通拉嘎;;汉、蒙、藏、维分词与词性标注技术发展现状研究[A];第五届全国青年计算语言学研讨会论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 朱振方;基于微粒群和遗传优化的文本过滤关键技术研究[D];山东师范大学;2012年
2 王兰成;基于XMARC信息描述的知识标引与概念检索研究[D];东华大学;2004年
3 刘忠;性质语意理论的提出与自然语言理解及其实现的研究[D];华东师范大学;2004年
4 郑逢斌;关于计算机理解自然查询语言的研究[D];西南交通大学;2004年
5 刘涛;现代信息检索中的文本分类及图像恢复研究[D];北京邮电大学;2006年
6 李晓光;XML非完全结构查询处理中若干关键技术的研究[D];东北大学;2006年
7 张春霞;领域文本知识获取方法研究及其在考古领域中的应用[D];中国科学院研究生院(计算技术研究所);2005年
8 张鹏洲;文语转换系统研究与应用[D];中国科学院研究生院(计算技术研究所);1999年
9 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年
10 李志国;面向分布式文本知识管理的中文分词与文本分类研究[D];重庆大学;2008年
中国硕士学位论文全文数据库 前10条
1 江涛;基于藏文web舆情分析的热点发现算法研究[D];西北民族大学;2010年
2 胡家豪;基于互联网的WEB舆情问答系统[D];电子科技大学;2011年
3 马东;基于Nutch搜索引擎的中文分词算法研究与实现[D];内蒙古农业大学;2011年
4 雷丰云;智能搜索引擎的理论分析与应用研究[D];中南大学;2007年
5 朱世猛;中文分词算法的研究与实现[D];电子科技大学;2011年
6 罗武;农业知识库知识录入系统关键技术研究与实现[D];湖南农业大学;2011年
7 韩月阳;基于S-EK图最短路径中文分词的研究[D];云南大学;2011年
8 刘京城;竞争对手网站商业情报挖掘[D];安徽大学;2011年
9 魏博诚;中文分词交集型歧义处理研究[D];安徽大学;2011年
10 谢扬才;中文文本分类核心技术研究[D];广西师范大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 李季,迟呈英;中文问答系统的研究[J];鞍山科技大学学报;2003年06期
2 宋作艳;;字族化与汉语未登录词的自动提取[J];北京大学学报(哲学社会科学版);2007年02期
3 罗万;彭泽润;;GH高浓缩汉语拼写方案及其原理[J];北华大学学报(社会科学版);2006年06期
4 彭泽润;林思佳;;从两个国家标准看汉语的词[J];北华大学学报(社会科学版);2006年06期
5 胡俊峰,俞士汶;唐宋诗之计算机辅助深层研究[J];北京大学学报(自然科学版);2001年05期
6 李文斌;刘椿年;陈嶷瑛;;基于特征信息增益权重的文本分类算法[J];北京工业大学学报;2006年05期
7 罗智勇;宋柔;;基于多特征的自适应新词识别[J];北京工业大学学报;2007年07期
8 龚汉明,周长胜;汉语分词技术综述[J];北京机械工业学院学报;2004年03期
9 谢宇;张仰森;肖建涛;;规则与统计相结合的汉语词义消歧模型[J];北京机械工业学院学报;2007年03期
10 梁南元;书面汉语的自动分词与一个自动分词系统—CDWS[J];北京航空学院学报;1984年04期
中国重要会议论文全文数据库 前4条
1 高山;张艳;徐波;宗成庆;韩兆兵;;基于三元统计模型的汉语分词及标注一体化研究[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
2 施水才;肖诗斌;王弘蔚;王洪俊;苏东庄;;TRS中文文本信息检索技术的发展——从全文检索到基于自然语言处理的知识检索[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
3 朱凯;周杰;何婷婷;;因特网语料自动下载分析软件的设计[A];第一届学生计算语言学研讨会论文集[C];2002年
4 钱小飞;侯敏;;中文基本地名识别[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 李刚;知识发现的图模型方法[D];中国科学院软件研究所;2001年
2 张毅波;中文结构化信息检索系统的研究与实现[D];中国科学院研究生院(软件研究所);2001年
3 于洪;Rough Set理论及其在数据挖掘中的应用研究[D];重庆大学;2003年
4 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
5 王建会;中文信息处理中若干关键技术的研究[D];复旦大学;2004年
6 李荣陆;文本分类及其相关技术研究[D];复旦大学;2005年
7 钱晓东;基于神经网络等技术的数据与文本聚分类研究[D];天津大学;2005年
8 王秀娟;文本检索中若干问题研究[D];北京邮电大学;2006年
9 周瑛;神经网络作为分类器的算法研究及在信息检索中的应用[D];安徽大学;2006年
10 曹玲;农业古籍数字化整理研究[D];南京农业大学;2006年
中国硕士学位论文全文数据库 前10条
1 高建忠;汉语动宾搭配的自动识别研究[D];北京语言文化大学;2000年
2 娄(王廷);现代汉语分词系统通用性设计及切分歧义处理[D];北京工业大学;2000年
3 易靖;基于信息粒度原理的文本分类方法的研究[D];北京工业大学;2001年
4 朱毅华;智能搜索引擎中的同义词识别算法研究[D];南京农业大学;2001年
5 罗智勇;现代汉语通用分词系统的技术与实现[D];北京工业大学;2002年
6 关宏超;基于统计的开放式汉语自动分词[D];大连理工大学;2002年
7 张丽静;规则与统计相结合的兼类词处理机制[D];大连理工大学;2002年
8 傅赛香;基于Internet的智能信息检索技术研究[D];广西师范大学;2002年
9 杨斌;中文文本数据挖掘研究[D];湘潭大学;2002年
10 许林杰;中文文本分词研究[D];山东师范大学;2003年
【二级引证文献】
中国期刊全文数据库 前10条
1 焦毓梅;于鹏;;泰国留学生阅读有无词界标汉文本的眼动研究[J];武陵学刊;2011年01期
2 张林曼;吴升;;地理编码系统中地名地址分词算法研究[J];测绘科学;2010年02期
3 赵晓琴;孙毅中;薛晓蕾;;基于知识单元的自然语言结构化解析模型——以城市规划领域规则为例[J];测绘科学;2010年06期
4 王蓓;;信息检索可视化模型[J];成功(教育);2012年06期
5 林鹏,李祖枢,刘朝涛,曹志娟;自然语言处理与情报检索[J];重庆工业高等专科学校学报;2004年04期
6 向毅;王成敏;;基于Abney的组块识别方法研究[J];重庆科技学院学报(自然科学版);2008年04期
7 黄德根,马玉霞,杨元生;基于互信息的中文姓名识别方法[J];大连理工大学学报;2004年05期
8 陈频;;基于自然语言处理的中文科技论文特征提取研究[J];电脑知识与技术(学术交流);2007年16期
9 马婷婷;;中文自动分词系统概述[J];电脑知识与技术;2010年33期
10 孔峰;王丽君;吴俊华;;基于独立分量分析的文本特征提取算法[J];电子技术;2012年02期
中国重要会议论文全文数据库 前10条
1 赛依旦·阿不力米提;吐尔根·依布拉音;;基于规则与统计的维吾尔族人名识别研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 刮俊杰;吴树国;伊胜伟;;基于词效应的中文术语提取方法[A];第三届中国智能计算大会论文集[C];2009年
3 朱红垒;郑德权;赵铁军;;跨语言信息检索中的用户查询翻译方法研究[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
4 张艳丽;黄德根;张丽静;杨元生;;统计和规则相结合的中文机构名称识别[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
5 朱江涛;赵丽奎;蔡东风;;基于最大熵模型的中文姓名识别方法初探[A];第二届全国学生计算语言学研讨会论文集[C];2004年
6 庞文斌;张国煊;曹恬;;基于规则和统计的汉语浅层句法分析的研究[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
7 李斌;陈小荷;;面向中文陌生文本的人机交互式分词方法[A];第三届学生计算语言学研讨会论文集[C];2006年
8 朱丽丽;郑家恒;;一种基于实例学习的人名识别方法[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
9 郭鸿志;陈清才;康永燕;王晓龙;;一种基于网站特征识别的搜索引擎排序算法[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
10 刘之涛;陈清才;孟宪军;王晓龙;;基于特征短语的网页在线聚类方法[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
中国博士学位论文全文数据库 前10条
1 李滨;自然空间查询语言解译机制研究[D];解放军信息工程大学;2009年
2 杨先明;0-5岁汉语儿童语言发展的认知研究[D];武汉大学;2010年
3 陈曦;基于子串的文本分割与主题标注研究[D];武汉大学;2009年
4 孙静宇;基于CBR的协同Web搜索研究[D];太原理工大学;2010年
5 刘铭;大规模文档聚类中若干关键问题的研究[D];哈尔滨工业大学;2010年
6 范冬梅;基于统计学习的词义识别方法研究[D];哈尔滨工程大学;2011年
7 沈洁;基于自动机的XML数据过滤研究[D];哈尔滨工程大学;2010年
8 朱锁玲;命名实体识别在方志内容挖掘中的应用研究[D];南京农业大学;2011年
9 陈冬玲;基于潜在语义的个性化搜索关键技术研究[D];东北大学;2009年
10 单建芳;面向事件的文本表示研究[D];上海大学;2012年
中国硕士学位论文全文数据库 前10条
1 程国斌;基于指示词语义扩展的词义识别方法的研究[D];哈尔滨工程大学;2010年
2 刘洋;基于本体的医保审计知识库构建研究[D];哈尔滨工程大学;2010年
3 刘靖媛;个性搜索引擎中用户兴趣模型研究[D];哈尔滨工程大学;2010年
4 王东亮;基于条件随机场模型的中文人名识别的研究[D];大连理工大学;2010年
5 廖文平;基于CRF的中文地名识别研究[D];大连理工大学;2010年
6 刘辉;基于KNN算法的中文Web文本分类技术研究[D];辽宁工程技术大学;2010年
7 潘正高;基于内容的Web新闻文本自动分类问题研究[D];合肥工业大学;2010年
8 李丹;基于规则与统计的汉语自动分词研究[D];长春工业大学;2010年
9 吕靖;互联网搜索词分类关键技术研究[D];浙江大学;2011年
10 梁桢;基于尾字词典的逆向回溯中文分词技术研究[D];武汉工业学院;2010年
【二级参考文献】
中国期刊全文数据库 前2条
1 关英春 ,秦蓓;汉语文字自动统计系统CWSS[J];中文信息学报;1986年01期
2 揭春雨 ,刘源 ,梁南元;论汉语自动分词方法[J];中文信息学报;1989年01期
【相似文献】
中国期刊全文数据库 前10条
1 付国宏,王平,王晓龙;汉语分词和词性标注一体化分析的方法研究[J];计算机应用研究;2001年07期
2 林绮屏;基于词形的最佳路径分词算法[J];华南师范大学学报(自然科学版);2002年04期
3 孙建军,陈肇雄,薛选民,郭喜林,侯敏;基于多功能逻辑运算分析技术的汉语分词[J];计算机研究与发展;1998年05期
4 张海营;;全二分快速自动分词算法构建[J];现代图书情报技术;2007年04期
5 尹锋;基于神经网络的汉语自动分词系统的设计与分析[J];情报学报;1998年01期
6 王晓龙,王开铸,李仲荣,白小华;最少分词问题及其解法[J];科学通报;1989年13期
7 王科,高常波,翟雪峰,罗万伯;汉语分词的主要技术及其应用展望[J];通信技术;2003年06期
8 火善栋;;有限状态机在中文文本分词中的应用[J];现代计算机(专业版);2010年06期
9 沈达阳,孙茂松,黄昌宁;汉语分词系统中的信息集成和最佳路径搜索方法[J];中文信息学报;1997年02期
10 翟伟斌;周振柳;蒋卓明;许榕生;;汉语分词词典设计[J];计算机工程与应用;2007年01期
中国重要会议论文全文数据库 前10条
1 李博渊;奚宁;黄书剑;张建兵;陈家骏;;一种适用于机器翻译的汉语分词方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 陈鄞;赵铁军;吕雅娟;于浩;;汉英机器翻译中数词的识别和翻译[A];机器翻译研究进展——2002年全国机器翻译研讨会论文集[C];2002年
3 徐冰;姚建民;杨沐昀;赵铁军;;汉语分词在机器翻译评价中的影响[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
4 杨艳;;入门级对外汉语教材词汇的计量研究——基于四套教材与大纲的比较[A];首届全国教育教材语言专题学术研讨会论文集[C];2006年
5 万升华;杨沐昀;李生;赵铁军;;基于字词混合翻译短语的统计机器翻译[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
6 李月伦;常宝宝;;基于最大间隔马尔可夫网模型的汉语分词方法[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
7 袁明军;;《现代汉语词典》里的拟声词[A];第六届汉语词汇语义学研讨会论文集[C];2005年
8 段绮丽;段之宓;;机器翻译中自然语言的梯级表示模型[A];机器翻译研究进展——2002年全国机器翻译研讨会论文集[C];2002年
9 付国宏;王晓龙;龚永红;;基于词形的汉语文本切分方法[A];第五届全国人机语音通讯学术会议论文集[C];1998年
10 李双龙;刘乐中;刘群;;利用单字碎片过滤改进汉语分词性能[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
中国重要报纸全文数据库 前10条
1 本报记者 潘国霖;教育系统如何贯彻《第一批异形词整理表》[N];中国教育报;2002年
2 杨锡彭;形旁面面观[N];语言文字周报;2009年
3 李行健(作者为异形词规范的起草人、原国家语委委员);异形词不算错别字?[N];北京日报;2002年
4 李韵;请“交代”清楚“身份”[N];光明日报;2002年
5 本报记者 温红彦;规范异形词 教育界先行[N];人民日报;2002年
6 ;第一批异形词整理表[N];新华每日电讯;2001年
7 舒晋瑜;单词能否用拼音记[N];中华读书报;2003年
8 刘永耕;“弘、宏、洪、鸿”四字的分工和异形词整理[N];语言文字周报;2007年
9 蔡维藩;抗震救灾报道中词语的规范用法[N];中国新闻出版报;2008年
10 常 锦;主板给中小企业板块脸色看[N];证券日报;2004年
中国博士学位论文全文数据库 前10条
1 张夏;《红楼梦》词汇研究[D];山东大学;2009年
2 温昌衍;客家方言特征词研究[D];暨南大学;2001年
3 何静;第二语言伴随性词汇习得中任务含量的研究[D];复旦大学;2008年
4 段颖玲;《十二楼》的动词研究[D];山东大学;2010年
5 张华平;语言浅层分析与句子级新信息检测研究[D];中国科学院研究生院(计算技术研究所);2005年
6 李永新;湘江流域汉语方言地理学研究[D];湖南师范大学;2009年
7 周俊勋;魏晋南北朝志怪小说词汇研究[D];四川大学;2003年
8 石德富;台湾卑南语构词法研究[D];中央民族大学;2004年
9 王斯日古楞;基于混合策略的汉蒙机器翻译及相关技术研究[D];内蒙古大学;2009年
10 徐红梅;皖北方言词汇比较研究[D];暨南大学;2003年
中国硕士学位论文全文数据库 前10条
1 苏勇;基于理解的汉语分词系统的设计与实现[D];电子科技大学;2011年
2 蒋龙;基于统计的汉语分词在机械产品设计中的应用[D];西安电子科技大学;2012年
3 解秋菊;秉承结构功能主义的分类尝试[D];东北师范大学;2005年
4 赵伟国;新时期汉语商标词研究[D];河北大学;2006年
5 范梅;关于现代日语中的“方位词”[D];中国海洋大学;2005年
6 宋洪民;李贤的语言观[D];山东师范大学;2001年
7 王向阳;《红楼梦》词汇在现代汉语中的变化考察[D];河北大学;2005年
8 王新萍;外语词汇迁移及其教学策略[D];东北师范大学;2006年
9 苏珊娜;基于三个平面的网络字母词语研究[D];辽宁师范大学;2007年
10 庞红俊;诗歌中的象似性若干问题研究[D];华侨大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026