收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于最大熵模型的词位标注汉语分词

于江德  王希杰  樊孝忠  
【摘要】:近年来基于字的词位标注汉语分词方法极大地提高了分词的性能,该方法将汉语分词转化为字的词位标注问题,借助于优秀的序列标注模型,词位标注汉语分词逐渐成为汉语分词的主要技术路线.该方法中特征模板集设定和词位标注集的选择至关重要,采用不同的词位标注集,使用最大熵模型进一步研究了词位标注汉语分词技术.在国际汉语分词评测Bakeoff2005的语料上进行了封闭测试,并对比了不同词位标注集对分词性能的影响.实验表明所采用的六词位标注集配合相应的特征模板集TMPT-6较其他词位标注集分词性能要好.

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李双龙;刘群;王成耀;;基于条件随机场的汉语分词系统[J];微计算机信息;2006年28期
2 于江德;睢丹;樊孝忠;;基于字的词位标注汉语分词[J];山东大学学报(工学版);2010年05期
3 孙建军,陈肇雄,薛选民,郭喜林,侯敏;基于多功能逻辑运算分析技术的汉语分词[J];计算机研究与发展;1998年05期
4 张海营;;全二分快速自动分词算法构建[J];现代图书情报技术;2007年04期
5 尹锋;基于神经网络的汉语自动分词系统的设计与分析[J];情报学报;1998年01期
6 王晓龙,王开铸,李仲荣,白小华;最少分词问题及其解法[J];科学通报;1989年13期
7 付国宏,王平,王晓龙;汉语分词和词性标注一体化分析的方法研究[J];计算机应用研究;2001年07期
8 王科,高常波,翟雪峰,罗万伯;汉语分词的主要技术及其应用展望[J];通信技术;2003年06期
9 火善栋;;有限状态机在中文文本分词中的应用[J];现代计算机(专业版);2010年06期
10 沈达阳,孙茂松,黄昌宁;汉语分词系统中的信息集成和最佳路径搜索方法[J];中文信息学报;1997年02期
11 翟伟斌;周振柳;蒋卓明;许榕生;;汉语分词词典设计[J];计算机工程与应用;2007年01期
12 马婷婷;;中文自动分词系统概述[J];电脑知识与技术;2010年33期
13 李正伟;汉语分词与词典自学习系统[J];内蒙古煤炭经济;2001年05期
14 文庭孝;汉语自动分词研究进展[J];图书与情报;2005年05期
15 周波;杨国纬;;基于贝叶斯算法的中国人名识别[J];计算机应用;2006年04期
16 贾宁;张全;;基于最大熵模型的中文姓名识别[J];计算机工程;2007年09期
17 潘炜;沈超;;面向层次分类标签的词性标注系统[J];计算机工程;2009年21期
18 刘利东;基于组合度的汉语分词决策算法研究[J];德州学院学报;2003年02期
19 李荣陆,王建会,陈晓云,陶晓鹏,胡运发;使用最大熵模型进行中文文本分类[J];计算机研究与发展;2005年01期
20 牛晓妍;;基于最大熵的汉语人名识别方法研究[J];福建电脑;2008年04期
中国重要会议论文全文数据库 前10条
1 赵伟;赵法兴;王东海;韩达奇;;一种基于改进的最大熵模型的汉语词性自动标注的新方法[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
2 李博渊;奚宁;黄书剑;张建兵;陈家骏;;一种适用于机器翻译的汉语分词方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
3 陈鄞;赵铁军;吕雅娟;于浩;;汉英机器翻译中数词的识别和翻译[A];机器翻译研究进展——2002年全国机器翻译研讨会论文集[C];2002年
4 徐冰;姚建民;杨沐昀;赵铁军;;汉语分词在机器翻译评价中的影响[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
5 冯娟娟;李晗静;李生;;基于句法分析的中文语义角色标注实现[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
6 万升华;杨沐昀;李生;赵铁军;;基于字词混合翻译短语的统计机器翻译[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
7 李月伦;常宝宝;;基于最大间隔马尔可夫网模型的汉语分词方法[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
8 孙涌;韦小丽;;领域本体构建研究及在专利信息服务中的应用[A];江苏省系统工程学会第十一届学术年会论文集[C];2009年
9 朱江涛;赵丽奎;蔡东风;;基于最大熵模型的中文姓名识别方法初探[A];第二届全国学生计算语言学研讨会论文集[C];2004年
10 辛霄;范士喜;王轩;王晓龙;;基于最大熵的依存句法分析[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
中国博士学位论文全文数据库 前10条
1 周雅倩;最大熵方法及其在自然语言处理中的应用[D];复旦大学;2005年
2 李荣陆;文本分类及其相关技术研究[D];复旦大学;2005年
3 秦莉娟;基于内容的自动视频监控研究[D];浙江大学;2006年
4 何奇瑾;我国玉米种植分布与气候关系研究[D];中国气象科学研究院;2012年
5 何奇瑾;我国玉米种植分布与气候关系研究[D];南京信息工程大学;2012年
6 刘文陆;基于激光热凝固效应的眼角膜屈光矫正原理及预测技术研究[D];武汉理工大学;2009年
7 张华平;语言浅层分析与句子级新信息检测研究[D];中国科学院研究生院(计算技术研究所);2005年
8 段居琦;我国水稻种植分布及其对气候变化的响应[D];中国气象科学研究院;2012年
9 段居琦;我国水稻种植分布及其对气候变化的响应[D];南京信息工程大学;2012年
10 李茹;汉语句子框架语义结构分析技术研究[D];山西大学;2012年
中国硕士学位论文全文数据库 前10条
1 苏勇;基于理解的汉语分词系统的设计与实现[D];电子科技大学;2011年
2 蒋龙;基于统计的汉语分词在机械产品设计中的应用[D];西安电子科技大学;2012年
3 岳金媛;面向专利文献的汉语分词技术研究[D];北京交通大学;2013年
4 颜军;基于条件随机场的中文分词研究与应用[D];武汉理工大学;2009年
5 梅灿华;基于最大熵模型的迁移学习算法研究[D];合肥工业大学;2011年
6 杨芹;基于最大熵模型的中文网页分类器设计和实现[D];苏州大学;2010年
7 王慧;最大熵模型的语义句法分析在问答系统中的应用研究[D];大连交通大学;2010年
8 张晓艳;基于混合统计模型的汉语命名实体识别方法的研究与实现[D];国防科学技术大学;2004年
9 王奇;基于语素的汉语词法分析方法研究[D];黑龙江大学;2011年
10 乔羽;基于最大熵模型的中文人名识别方法研究[D];山西大学;2005年
中国重要报纸全文数据库 前1条
1 记者 侯梅竹;汉语语料检索系统问世[N];计算机世界;2004年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978