收藏本站
《计算机工程与应用》 2012年14期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

综合最大匹配和歧义检测的中文分词粗分方法

李国和  刘光胜  秦波波  吴卫江  李洪奇  
【摘要】:中文分词是中文文本信息处理的重要预处理。针对目前中文分词中存在的准确率低和粗分结果集大的问题,在最大匹配算法基础上,采用文本切分时的组合歧义检测和交叉歧义检测以及全切分算法,提高了文本粗分的准确率,并减小了粗分结果集的规模,为进一步正确分词奠定基础。通过公共语料库数据集的实验对比,取得很好的效果。

【参考文献】
中国期刊全文数据库 前6条
1 刘春辉;金顺福;刘国华;李颖;;基于优化最大匹配与统计结合的汉语分词方法[J];燕山大学学报;2009年02期
2 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
3 梁南元;书面汉语自动分词系统—CDWS[J];中文信息学报;1987年02期
4 揭春雨 ,刘源 ,梁南元;论汉语自动分词方法[J];中文信息学报;1989年01期
5 万建成,杨春花;书面汉语的全切分分词算法模型[J];小型微型计算机系统;2003年07期
6 黄昌宁;中文信息处理中的分词问题[J];语言文字应用;1997年01期
【共引文献】
中国期刊全文数据库 前10条
1 胡锡衡;;正向最大匹配法在中文分词技术中的应用[J];鞍山师范学院学报;2008年02期
2 周宏宇;张政;;中文分词技术综述[J];安阳师范学院学报;2010年02期
3 赵晓凡;胡顺义;;基于正向最大匹配的汉语分词[J];安阳师范学院学报;2010年05期
4 龚汉明,周长胜;汉语分词技术综述[J];北京机械工业学院学报;2004年03期
5 马志强;周长胜;丁维;杨娜;;校园网搜索引擎的研究与实现[J];北京机械工业学院学报;2007年01期
6 李国和;刘光胜;吴卫江;孙红军;唐先明;韩宝东;;基于最大匹配和歧义检测的中文分词粗分方法[J];北京信息科技大学学报(自然科学版);2010年S2期
7 张锋,樊孝忠;基于最大熵模型的交集型切分歧义消解[J];北京理工大学学报;2005年07期
8 文庭孝;汉语自动分词研究进展[J];图书与情报;2005年05期
9 毛影;黄明和;徐斌;;对启发式算法实现图着色的优化[J];江西师范大学学报(自然科学版);2009年06期
10 王珏;;重叠型P2P网络中的查询负载均衡策略研究[J];江西师范大学学报(自然科学版);2012年03期
中国重要会议论文全文数据库 前10条
1 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
2 胡晨鹏;郑康锋;罗群;;基于网络处理器的IP网络仿真系统[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
3 王春慧;曲战胜;魏哲浩;;可视化人机界面仿真系统[A];全国第二届嵌入式技术联合学术会议论文集[C];2007年
4 王慧慧;杨国纬;;基于事例的问答系统研究[A];贵州制约逻辑学会2005年学术年会暨首届全国性逻辑系统专题研讨会论文集[C];2005年
5 靳光瑾;郭曙纶;肖航;章云帆;;语料库加工中的规范问题——谈《信息处理用现代汉语词类标记集规范》[A];语言文字应用研究论文集(Ⅱ)[C];2004年
6 陈晓;;中文文本自动分词研究述要[A];第四届全国语言文字应用学术研讨会论文集[C];2005年
7 王冬;张丽果;杜慧敏;韩俊刚;;基于R-Torus结构和最短路径算法的NoC建模[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(上册)[C];2008年
8 王春慧;周前祥;周诗华;赵岩;;可视化人体工程数据库[A];全国第二届信号处理与应用学术会议专刊[C];2008年
9 孙茂松;;汉语自动分词研究的若干最新进展——清华大学相关工作简介[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
10 陶建华;蔡莲红;赵晟;;汉语语音合成中的文本分析和韵律处理[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
中国博士学位论文全文数据库 前10条
1 陈宇;电容层析成像反问题求解及图像重建算法研究[D];哈尔滨理工大学;2010年
2 张海军;基于大规模语料的中文新词识别技术研究[D];中国科学技术大学;2011年
3 杨抒;基于WEB的林产品信息资源整合方法研究[D];北京林业大学;2011年
4 王迈;语言形式化原理[D];上海外国语大学;2011年
5 刘新;多级机站通风方式下的网络算法理论研究[D];辽宁工程技术大学;2010年
6 黄水清;非相关文献知识发现方法及在农业经济学中的应用[D];南京农业大学;2010年
7 王强军;基于动态流通语料库(DCC)的信息技术领域新术语自动提取研究[D];北京语言文化大学;2003年
8 张蕾;概念结构及其应用[D];西北工业大学;2001年
9 张伟;基于WWW的聚类引擎研究[D];重庆大学;2003年
10 隋岩;基于“动态流通语料库”的“有效字符串”提取研究[D];北京语言大学;2004年
中国硕士学位论文全文数据库 前10条
1 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
2 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年
3 于帅;基于图切的图像纹理合成与尺寸缩减[D];大连理工大学;2010年
4 红霞;基于层叠条件随机场的中文机构名识别的研究[D];大连理工大学;2010年
5 毛影;树型结构的应用与平衡查找树的研究[D];江西师范大学;2010年
6 王有权;基于Web的智能答疑技术研究与实现[D];南京财经大学;2010年
7 杨鼎;基于朴素贝叶斯的中文文本情感倾向分类研究[D];湖南工业大学;2010年
8 巫昌凯;企业知识库系统中复杂查询系统的设计与实现[D];华南理工大学;2010年
9 李丹;基于规则与统计的汉语自动分词研究[D];长春工业大学;2010年
10 梁桢;基于尾字词典的逆向回溯中文分词技术研究[D];武汉工业学院;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 梁南元;书面汉语的自动分词与一个自动分词系统—CDWS[J];北京航空学院学报;1984年04期
2 王显芳,杜利民;利用覆盖歧义检测法和统计语言模型进行汉语自动分词[J];电子与信息学报;2003年09期
3 王东;陈笑蓉;;一种改进的高效分词词典机制[J];贵州大学学报(自然科学版);2007年04期
4 蒋斌;杨超;赵欢;;基于二字词位图表的汉语自动分词词典机制[J];湖南大学学报(自然科学版);2006年01期
5 孙茂松,黄昌宁,邹嘉彦,陆方,沈达阳;利用汉字二元语法关系解决汉语自动分词中的交集型歧义[J];计算机研究与发展;1997年05期
6 陈其晖,应志伟,柴佩琪;基于歧义二叉树的汉语分词方法[J];计算机辅助工程;1999年04期
7 郑德权,于凤,王开涛 ,赵铁军;基于汉语二字应成词的歧义字段切分方法[J];计算机工程与应用;2003年01期
8 朱鉴;张建;李淼;;一种有效解决汉语歧义切分的方法[J];计算机工程与应用;2007年11期
9 金瑜,陆启明,高峰;基于上下文相关的最大概率汉语自动分词算法[J];计算机工程;2004年16期
10 马玉春,宋瀚涛;Web中文文本分词技术研究[J];计算机应用;2004年04期
【相似文献】
中国期刊全文数据库 前10条
1 张磊;张代远;;中文分词算法解析[J];电脑知识与技术;2009年01期
2 习明;王增辉;庄怡;;基于双层哈希表的中文分词算法优化[J];软件导刊;2010年10期
3 岳晓光;梁晓诚;麦范金;赵子强;;基于.NET的中文分词系统设计与实现[J];微计算机信息;2010年12期
4 陈飞;王秀峰;饶一梅;;一种混合的中文分词算法[J];南开大学学报(自然科学版);2007年05期
5 徐飞;孙劲光;;基于一种粗切分的最短路径中文分词研究[J];计算机与信息技术;2007年11期
6 徐飞;孙劲光;;中文分词切分技术研究[J];计算机工程与科学;2008年05期
7 朱岸青;黄杰;;基于Lucene的全文检索系统模型的研究和开发[J];暨南大学学报(自然科学与医学版);2009年05期
8 盛启东;谭守标;徐超;冯二媛;陈军宁;;巧用黑盒法逆推百度中文分词算法[J];计算机技术与发展;2010年04期
9 赵海;揭春雨;;基于有效子串标注的中文分词[J];中文信息学报;2007年05期
10 许华;刘勇;;中文分词词典机制的研究[J];福建电脑;2010年03期
中国重要会议论文全文数据库 前10条
1 王敏;叶宽余;薛峰;;一种面向网店商品搜索的中文分词系统设计[A];全国第22届计算机技术与应用学术会议(CACIS·2011)暨全国第3届安全关键技术与应用(SCA·2011)学术会议论文摘要集[C];2011年
2 韩冬煦;常宝宝;;基于边界熵和卡方统计量的多领域适应性中文分词方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
3 修驰;宋柔;;基于“大词”实例的中文分词研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
4 张梅山;邓知龙;车万翔;刘挺;;统计与词典相结合的领域自适应中文分词[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
5 彭辉;翟翔;;AutoCAD 2008自动翻译软件研发[A];全国冶金自动化信息网2010年年会论文集[C];2010年
6 赵海;揭春雨;;基于子串标注的中文分词:寻找更佳的标注单元[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
7 王屹林;朱慕华;朱靖波;;针对SVM中文分词特性的个性化后处理设计[A];第三届学生计算语言学研讨会论文集[C];2006年
8 刘东生;尹宝生;张桂平;徐立军;苗雪雷;;面向专利文献的中文分词技术的研究[A];第五届全国信息检索学术会议论文集[C];2009年
9 戴莉;周明全;武仲科;王永恒;王燕妮;周曼;;Lucene在智能答疑系统中的应用研究[A];图像图形技术与应用进展——第三届图像图形技术与应用学术会议论文集[C];2008年
10 李寿山;黄居仁;;基于词边界分类的中文分词方法[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
中国重要报纸全文数据库 前10条
1 清华大学IT可用性实验室;2005中文搜索引擎质量对比[N];计算机世界;2005年
2 本报记者 张彤;让计算机说中国话[N];网络世界;2004年
3 记者 吴苡婷;用技术挖出网络信息中“金子”[N];上海科技报;2009年
4 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
5 贺俊;汇聚亿万草根智慧 奇虎发布经验搜索[N];证券日报;2006年
6 记者 杨朝晖;医药搜索:不再“众里寻他千百度”[N];科技日报;2007年
7 王翌;互联网2005:个性化生存[N];计算机世界;2005年
8 张韬;谷歌推出“谷歌拼音”力拼百度[N];上海证券报;2007年
9 记者 李霆钧;国内首个“影视剧植入广告分析系统”出炉[N];中国电影报;2010年
10 王宾;加速争夺中国搜索市场[N];北京商报;2006年
中国博士学位论文全文数据库 前10条
1 何嘉;基于遗传算法优化的中文分词研究[D];电子科技大学;2012年
2 孙越恒;基于统计的NLP技术在中文信息检索中的应用研究[D];天津大学;2005年
3 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年
4 孙道军;文本挖掘预处理相关基础技术分析与应用研究[D];北京邮电大学;2008年
5 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年
6 任飞亮;高适应性基于实例的机器翻译中关键技术研究[D];东北大学;2008年
7 张京楣;基于统计方法的文本风格分析研究[D];山东大学;2012年
8 张友华;面向智能服务的Web内容计算研究与应用[D];中国科学技术大学;2006年
9 汤步洲;序列标注问题的监督学习方法及应用[D];哈尔滨工业大学;2011年
10 董建设;协作式垃圾邮件过滤关键技术研究[D];兰州理工大学;2009年
中国硕士学位论文全文数据库 前10条
1 马忠宝;基于支持向量机的中文文本分类系统研究[D];武汉理工大学;2006年
2 杨彦;基于Hash结构的机械统计分词系统[D];中南大学;2005年
3 戚晶;基于RSS的搜索引擎的研究与实现[D];吉林大学;2006年
4 马莉;基于SVM的垃圾邮件过滤的研究[D];山东大学;2005年
5 王新梅;基于内容挖掘的垃圾邮件过滤技术[D];武汉理工大学;2006年
6 李培国;基于人工神经网的中文垃圾邮件过滤器的设计与实现[D];暨南大学;2007年
7 刘琨;搜索引擎的研究与实现[D];西安电子科技大学;2004年
8 王圆;文本内容过滤的关键技术研究[D];东北师范大学;2006年
9 李东海;基于Nutch技术的主题搜索引擎实现[D];吉林大学;2008年
10 孟美华;桌面搜索引擎的设计与实现[D];大连理工大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026