收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

一种基于N-gram模型和机器学习的汉语分词算法

吴应良  韦岗  李海洲  
【摘要】:汉语的自动分词,是计算机中文信息处理领域中一个基础而困难的课题。该文提出了一种将汉语文本句子切分成词的新方法,这种方法以N-gram模型为基础,并结合有效的Viterbi搜索算法来实现汉语句子的切词。由于采用了基于机器学习的自组词算法,无需人工编制领域词典。该文还讨论了评价分词算法的两个定量指标,即查准率和查全率的定义,在此基础上,用封闭语料库和开放语料库对该文提出的汉语分词模型进行了实验测试,表明该模型和算法具有较高的查准率和查全率。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 孙建军,陈肇雄,薛选民,郭喜林,侯敏;基于多功能逻辑运算分析技术的汉语分词[J];计算机研究与发展;1998年05期
2 张海营;;全二分快速自动分词算法构建[J];现代图书情报技术;2007年04期
3 尹锋;基于神经网络的汉语自动分词系统的设计与分析[J];情报学报;1998年01期
4 王晓龙,王开铸,李仲荣,白小华;最少分词问题及其解法[J];科学通报;1989年13期
5 付国宏,王平,王晓龙;汉语分词和词性标注一体化分析的方法研究[J];计算机应用研究;2001年07期
6 王科,高常波,翟雪峰,罗万伯;汉语分词的主要技术及其应用展望[J];通信技术;2003年06期
7 火善栋;;有限状态机在中文文本分词中的应用[J];现代计算机(专业版);2010年06期
8 沈达阳,孙茂松,黄昌宁;汉语分词系统中的信息集成和最佳路径搜索方法[J];中文信息学报;1997年02期
9 翟伟斌;周振柳;蒋卓明;许榕生;;汉语分词词典设计[J];计算机工程与应用;2007年01期
10 王厚峰;;计算语言学歧义消解研究——兼介绍北京大学计算语言学教育部重点实验室[J];术语标准化与信息技术;2010年03期
11 马婷婷;;中文自动分词系统概述[J];电脑知识与技术;2010年33期
12 李正伟;汉语分词与词典自学习系统[J];内蒙古煤炭经济;2001年05期
13 文庭孝;汉语自动分词研究进展[J];图书与情报;2005年05期
14 周波;杨国纬;;基于贝叶斯算法的中国人名识别[J];计算机应用;2006年04期
15 刘利东;基于组合度的汉语分词决策算法研究[J];德州学院学报;2003年02期
16 蔡之让;汉语自动分词输入/输出模块的设计[J];宿州师专学报;2002年02期
17 邓曙光,曾朝晖;汉语分词中一种逐词匹配算法的研究[J];湖南城市学院学报(自然科学版);2005年01期
18 刘晓英;汉语自动分词研究的发展趋势[J];高校图书馆工作;2005年04期
19 金澎;刘毅;王树梅;;汉语分词对中文搜索引擎检索性能的影响[J];情报学报;2006年01期
20 于江德;睢丹;樊孝忠;;基于字的词位标注汉语分词[J];山东大学学报(工学版);2010年05期
中国重要会议论文全文数据库 前10条
1 李月伦;常宝宝;;基于最大间隔马尔可夫网模型的汉语分词方法[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
2 徐礼胜;李乃民;王宽全;张冬雨;耿斌;姜晓睿;陈超海;罗贵存;;机器学习在中医计算机诊断识别系统中的应用思考[A];第一届全国中西医结合诊断学术会议论文选集[C];2006年
3 夏诏杰;郭力;李晓霞;;化学主题网络爬虫的研究[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年
4 谢世朋;胡茂林;;基于局部仿射区域对稀疏纹理分类的研究[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
5 张郴;;基于神经网络集成的旅游需求预测模型[A];中国地理学会百年庆典学术论文摘要集[C];2009年
6 吴宪祥;于培松;万旻;倪伟;郭宝龙;;RoboCup中智能体的参数优化和学习[A];马斯特杯2003年中国机器人大赛及研讨会论文集[C];2003年
7 杜晓凤;丁友东;;FloatBag选择性神经网络集成及其在人脸检测中的应用[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
8 杨磊;黎志成;胡斌;;基于人工神经网络的调度规则确定专家系统[A];第七届计算机模拟与信息技术学术会议论文集[C];1999年
9 张燕;张付志;;跨系统个性化服务方法和用户模型研究[A];第三届和谐人机环境联合学术会议(HHME2007)论文集[C];2007年
10 陈时敏;韩心慧;;基于机器学习的网页木马识别方法研究[A];第26次全国计算机安全学术交流会论文集[C];2011年
中国博士学位论文全文数据库 前10条
1 何斌;基于可拓逻辑的机器学习理论与方法[D];华南理工大学;2005年
2 王国胜;支持向量机的理论与算法研究[D];北京邮电大学;2008年
3 胡崇海;基于图的半监督机器学习[D];浙江大学;2008年
4 刘长安;基于实例归纳的工艺规划方法及集成CAPP系统研究[D];山东大学;2003年
5 李忠伟;支持向量机学习算法研究[D];哈尔滨工程大学;2006年
6 钟志;基于异常行为辨识的智能监控技术研究[D];上海交通大学;2008年
7 易勇;计算机辅助诗词创作中的风格辨析及联语应对研究[D];重庆大学;2005年
8 徐海祥;基于支持向量机方法的图像分割与目标分类[D];华中科技大学;2005年
9 牛晓太;多模式智能谈判支持系统的理论与方法研究[D];武汉大学;2004年
10 赵玉鹏;机器学习的哲学探索[D];大连理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 苏勇;基于理解的汉语分词系统的设计与实现[D];电子科技大学;2011年
2 蒋龙;基于统计的汉语分词在机械产品设计中的应用[D];西安电子科技大学;2012年
3 刘孟旭;基于EP的多分类器表决分类算法[D];郑州大学;2004年
4 向光;基于机器学习和数据挖掘的入侵检测技术研究[D];东北大学;2005年
5 亢华爱;入侵检测系统中基于代价敏感分类算法的研究[D];太原理工大学;2005年
6 张金伟;基于Agent网络答疑系统的设计与实现[D];华东师范大学;2006年
7 王晶;支持向量机及其在癌症诊断中的应用研究[D];东北师范大学;2006年
8 万辉;自主载体语义级环境建模和规划的研究与实现[D];沈阳工业大学;2006年
9 黄际洲;聊天机器人知识库自动抽取算法的研究与实现[D];重庆大学;2006年
10 孟祥山;工作流流程优化技术的应用研究[D];国防科学技术大学;2004年
中国重要报纸全文数据库 前10条
1 黎骊/文 [美] Tom M.Mitchell 著;机器学习与智能化社会[N];中国邮政报;2003年
2 本报记者 余建斌;机器学习与互联网搜索[N];人民日报;2011年
3 记者 何边;网络化激活人工智能[N];计算机世界;2001年
4 本报记者 张晔通讯员 李玮;周志华:永不墨守成规[N];科技日报;2008年
5 何清 史忠植 王伟;搜索引擎的前沿技术[N];计算机世界;2006年
6 傅秋瑛;默默耕耘数十载 自主创新结硕果[N];科技日报;2006年
7 王育昕吴红梅;高水平原创性科技成果大量涌现[N];新华日报;2008年
8 杰逊;微软的第一个搜索技术掌门[N];中国计算机报;2006年
9 冯卫东;科技将这样改变我们的生活[N];科技日报;2008年
10 记者 刘垠;首届中美视觉夏令营开营[N];大众科技报;2009年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978