收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

全二分快速自动分词算法构建

张海营  
【摘要】:分析现有分词算法存在的不足,在此基础上提出一种新的分词词典,通过为分词词典建立首字Hash表和词索引表两级索引,使得该分词词典支持全二分最大匹配分词算法,利用该分词算法进行自动分词,其时间复杂度实现了大的改善。

知网文化
【相似文献】
中国期刊全文数据库 前10条
1 关英春;秦蓓;;汉字自动统计系统CWSS[J];计算机研究与发展;1985年12期
2 李国臣,刘开瑛,张永奎;汉语自动分词及歧义组合结构的处理[J];中文信息学报;1988年03期
3 韩世欣,王开铸;基于短语结构文法的分词研究[J];中文信息学报;1992年03期
4 曹焕光,郑家恒;自动分词软件质量的评价模型[J];中文信息学报;1992年04期
5 蔡莲红,魏华武;汉语文-语转换系统的研究与实现[J];应用声学;1994年06期
6 亢临生,张永奎;利用分词属性解决歧义切分[J];电脑开发与应用;1994年04期
7 亢临生,张永奎;基于标记的分词算法[J];山西大学学报(自然科学版);1994年03期
8 王兵,苏恩泽;具有学习功能的书面汉语自动分词系统[J];计算机工程;1995年04期
9 叶新明;基于《中图法》的中文文献自动分类[J];情报学报;1995年06期
10 唐棠,戎启俊;一种实用型汉语词汇处理系统CWP之设计[J];中文信息学报;1997年01期
中国重要会议论文全文数据库 前10条
1 魏华武;蔡莲红;;汉语普通话全音语句合成系统及其语音编码方法[A];第二届全国人机语音通讯学术会议论文集[C];1992年
2 孙玉琦;张凯;王晓龙;徐志明;;基于规则和统计相结合的多音字研究[A];第五届全国人机语音通讯学术会议论文集[C];1998年
3 曹娟;周经野;;隐式分词连写输入方法——解决汉语分词问题的根本途径[A];第二届全国学生计算语言学研讨会论文集[C];2004年
4 杨超;李仁发;蒋斌;;一种高效的汉语自动分词词典机制[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
5 曾华琳;史晓东;李堂秋;;基于上下文信息提取的概率分词算法[A];第六届汉语词汇语义学研讨会论文集[C];2005年
6 林小俊;田浩;王馨浩;杜蕴璇;许敏;吴玺宏;迟惠生;;语言模型训练语料处理方法及解码词典的设计[A];第八届全国人机语音通讯学术会议论文集[C];2005年
7 陈晓苏;邹园斌;张文珂;;全切分图与路径表达式在分词算法中的应用[A];第三届学生计算语言学研讨会论文集[C];2006年
8 孙茂松;;分词国际标准中的核心概念体系[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
9 古丽拉.阿东别克;达吾勒.阿布都哈依尔;;基于规则的哈萨克语词干提取系统的研究[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
10 苏亮;孙斌;;一种基于Lucene的Hash改进中文分词算法的实现[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集(上册)[C];2007年
中国硕士学位论文全文数据库 前8条
1 王浩;基于概念关联和作者关联的科技论文检索研究[D];中南大学;2002年
2 王崑崙;中文网页自动分类的一种实现[D];大连理工大学;2002年
3 高雷;网络智能过滤系统的设计与实现[D];广东工业大学;2003年
4 袁宏;基于移动Agent的中文信息搜索引擎系统模型的研究[D];沈阳工业大学;2003年
5 张春国;工艺语句汉英计算机辅助翻译系统关键技术研究[D];南京航空航天大学;2004年
6 徐爱华;面向文本分类的中文文本挖掘技术研究及实现[D];武汉理工大学;2004年
7 贺艳艳;基于词表结构的中文分词算法研究[D];中国地质大学(北京);2007年
8 陈宏彦;规则和统计相结合的分词算法[D];太原理工大学;2007年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978