收藏本站
《郑州大学学报(工学版)》 2011年04期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

CRF模型中参数f在字标注汉语分词中的适用性研究

赵晓凡  胡顺义  刘永革  
【摘要】:汉语分词作为中文信息处理的首要环节,其精确度对后续步骤的准确度和处理速度成逐级放大性影响.如何提高分词的准确度和处理速度成为近年研究的重点.采用条件随机场模型进行汉语分词,通过定量分析CRF工具包训练参数f,研究减少特征对分词准确度以及模型大小的影响程度,实验分别在国际汉语分词评测Bakeoff2005提供的北京大学和微软亚洲研究院两个语料上进行封闭测试,并对比采用不同模板时增加f参数值对分词性能的影响,最终得出实验结果:随着f参数值的增加,分词的准确度和生成的模型大小成正比,且F值减小的程度相对训练生成模型大小的减小程度要小得多.

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 于江德;谷川;葛文英;樊孝忠;;一种基于字和子串联合标注的汉语分词方法[J];山西大学学报(自然科学版);2011年03期
2 高东平;;基于类型论的汉语分词系统TTCS[J];重庆理工大学学报(社会科学);2011年08期
3 史晓东;卢亚军;;央金藏文分词系统[J];中文信息学报;2011年04期
4 ;[J];;年期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
11 ;[J];;年期
12 ;[J];;年期
13 ;[J];;年期
14 ;[J];;年期
15 ;[J];;年期
16 ;[J];;年期
17 ;[J];;年期
18 ;[J];;年期
19 ;[J];;年期
20 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 李博渊;奚宁;黄书剑;张建兵;陈家骏;;一种适用于机器翻译的汉语分词方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 徐冰;姚建民;杨沐昀;赵铁军;;汉语分词在机器翻译评价中的影响[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
3 万升华;杨沐昀;李生;赵铁军;;基于字词混合翻译短语的统计机器翻译[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
4 李月伦;常宝宝;;基于最大间隔马尔可夫网模型的汉语分词方法[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
5 付国宏;王晓龙;龚永红;;基于词形的汉语文本切分方法[A];第五届全国人机语音通讯学术会议论文集[C];1998年
6 李双龙;刘乐中;刘群;;利用单字碎片过滤改进汉语分词性能[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
7 穆飞;李维佳;薛巍;舒继武;;一种分布式信息检索系统的设计与实现[A];全国网络与信息安全技术研讨会论文集(下册)[C];2007年
8 朱鉴;张建;李淼;强静;杨攀;;面向民族语言信息处理的汉语分词方法[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
9 邢红兵;;从分词的不一致性看汉语分词的难点[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
10 于江德;王希杰;樊孝忠;;汉语词法分析中上文和下文孰重孰轻[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
中国重要报纸全文数据库 前1条
1 记者 侯梅竹;汉语语料检索系统问世[N];计算机世界;2004年
中国博士学位论文全文数据库 前1条
1 张华平;语言浅层分析与句子级新信息检测研究[D];中国科学院研究生院(计算技术研究所);2005年
中国硕士学位论文全文数据库 前10条
1 王红雨;网络教学汉语答疑系统关键技术的研究与应用[D];大连理工大学;2006年
2 周波;汉语语言处理中专有名词的提取和识别[D];电子科技大学;2006年
3 李楠;基于遗传算法的汉语文本主题词提取研究[D];吉林大学;2007年
4 冯蜀茗;网络环境下协作学习监控研究[D];西南师范大学;2005年
5 郭翠珍;基于网格的分词服务系统的研究与实现[D];苏州大学;2006年
6 吴雪敏;汉语语句的计算机分析[D];电子科技大学;2001年
7 于长远;应用条件随机场进行汉语分词和词性标注的研究[D];辽宁科技大学;2008年
8 沈勤中;基于条件随机场的汉语分词研究[D];苏州大学;2008年
9 颜军;基于条件随机场的中文分词研究与应用[D];武汉理工大学;2009年
10 曾立胜;教学资源的元数据表示及自然语义查询[D];电子科技大学;2008年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978