收藏本站
《计算机研究与发展》 2010年05期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于子词的双层CRFs中文分词

黄德根  焦世斗  周惠巍  
【摘要】:提出了基于子词的双层CRFs(conditional random fields)中文分词方法,旨在解决中文分词中切分歧义与未登录词的问题.该方法是建立在基于子词的序列标注模型上.方法第1层利用基于字CRFs模型来识别待测语料中的子词,这样做是为了减少子词的跨越标记错误和增加子词识别的精确率;第2层利用CRFs模型学习基于子词的序列标注,对第1层的输出进行测试,进而得到分词结果.在2006年SIGHAN Bakeoff的中文简体语料上进行了测试,包括UPUC和MSRA语料,分别在F值上达到了93.3%和96.1%的精度.实验表明,基于子词的双层CRFs模型能够更加有效地利用子词来提高中文分词的精度.

【引证文献】
中国期刊全文数据库 前4条
1 刘昌;王振武;;基于LINQ技术的海量数据查询匹配算法研究[J];电脑编程技巧与维护;2010年24期
2 周雪燕;韩建敏;;基于条件随机场汉语分词的语料规模量化研究[J];电脑与电信;2012年07期
3 王希杰;;词位标注汉语分词中上下文有效范围定量分析[J];计算机应用;2012年05期
4 于江德;王希杰;樊孝忠;;词位标注汉语分词中特征模板定量研究[J];计算机工程与设计;2012年03期
中国博士学位论文全文数据库 前1条
1 周惠巍;模糊限制信息检测中融合方法的研究[D];大连理工大学;2012年
中国硕士学位论文全文数据库 前2条
1 红霞;基于层叠条件随机场的中文机构名识别的研究[D];大连理工大学;2010年
2 唐涛;面向特定领域的中文分词技术的研究[D];沈阳航空航天大学;2012年
【参考文献】
中国期刊全文数据库 前4条
1 周俊生;戴新宇;尹存燕;陈家骏;;基于层叠条件随机场模型的中文机构名自动识别[J];电子学报;2006年05期
2 刘群,张华平,俞鸿魁,程学旗;基于层叠隐马模型的汉语词法分析[J];计算机研究与发展;2004年08期
3 黄昌宁;赵海;;中文分词十年回顾[J];中文信息学报;2007年03期
4 赵海;揭春雨;;基于有效子串标注的中文分词[J];中文信息学报;2007年05期
【共引文献】
中国期刊全文数据库 前10条
1 于江德;王希杰;;词位标注汉语分词技术详解[J];安阳师范学院学报;2010年05期
2 马志强;周长胜;丁维;杨娜;;校园网搜索引擎的研究与实现[J];北京机械工业学院学报;2007年01期
3 刘文华;康海燕;;领域问答系统生成器的研究[J];北京信息科技大学学报(自然科学版);2009年03期
4 李玉森;张雪英;袁正午;;面向GIS的地理命名实体识别研究[J];重庆邮电大学学报(自然科学版);2008年06期
5 傅鹂;孙坚;付春雷;;基于语义的音乐检索系统[J];重庆理工大学学报(自然科学版);2011年01期
6 李建平;王慧强;卢爱平;郝洪亮;冯光升;;基于条件随机场的网络安全态势量化感知方法[J];传感器与微系统;2010年10期
7 田占霄;韩宪忠;王克俭;;一种改进的长词优先逆向最大匹配分词消歧策略[J];河北农业大学学报;2009年04期
8 李跃民;王浩;赵生慧;;有词典中文分词算法研究[J];滁州学院学报;2008年03期
9 曲维光;唐旭日;俞敬松;;超大规模语料库精加工技术研究[J];当代语言学;2009年02期
10 朱维彬;;语音合成中的语言学计算模型:现状及展望[J];当代语言学;2009年02期
中国重要会议论文全文数据库 前10条
1 ;Foreign Person Name Recognition in Chinese Texts[A];Proceedings of the second Asia-Pacific International Conference on Computational Methods in Engineering(ICOME2006)[C];2006年
2 李玉梅;靳光瑾;黄昌宁;;中文分词规范中的歧义字段消解细则[A];第五届全国语言文字应用学术研讨会论文集[C];2007年
3 俞鸿魁;张华平;刘群;吕学强;施水才;;基于层叠隐马尔可夫模型的中文命名实体识别[A];全国网络与信息安全技术研讨会'2005论文集(下册)[C];2005年
4 宋柔;;自然语言处理中语言知识的基础性地位[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
5 孙晓;黄德根;;基于FSVM层叠模型的中文命名实体识别[A];中国计算技术与语言问题研究——第七届中文信息处理国际会议论文集[C];2007年
6 刘开瑛;;汉语框架语义网(CFN)构建现状[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年
7 王东波;陈小荷;年洪东;;基于条件随机场的有标记联合结构自动识别[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年
8 郑亚斌;曹嘉伟;刘知远;;基于最大匹配和马尔科夫模型的对联系统[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年
9 刘开瑛;陈雪艳;李济洪;;汉语框架元素自动标注实验报告[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
10 王芳;万常选;;基于可信度的中文完整词自动识别[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
中国博士学位论文全文数据库 前10条
1 刘朝涛;中文问答系统中的句型理论及其应用研究[D];重庆大学;2010年
2 余传明;基于本体的语义信息系统研究[D];武汉大学;2005年
3 张素香;信息抽取中关键技术的研究[D];北京邮电大学;2007年
4 高红;基于统计语言模型的汉语浅层分析研究[D];大连理工大学;2007年
5 周顺先;文本信息抽取模型及算法研究[D];湖南大学;2007年
6 常娥;古籍智能处理技术研究[D];南京农业大学;2007年
7 傅魁;基于Web的本体学习研究[D];武汉理工大学;2007年
8 秦颖;汉语词和短语的歧义消解研究[D];北京邮电大学;2008年
9 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年
10 车海燕;面向中文自然语言Web文档的自动知识抽取和知识融合[D];吉林大学;2008年
中国硕士学位论文全文数据库 前10条
1 罗义兵;领域文本相似度计算方法研究[D];山东科技大学;2010年
2 冯海瑛;《万历野获编》分词理论与实践[D];广西师范学院;2010年
3 张燕丽;基于Winnow算法和CAPTCHA的垃圾短信过滤研究[D];郑州大学;2010年
4 于洪霞;基于SVM的中文垃圾邮件过滤[D];哈尔滨工程大学;2009年
5 刘金宁;词性标注体系对中文分词的影响[D];大连理工大学;2010年
6 王东亮;基于条件随机场模型的中文人名识别的研究[D];大连理工大学;2010年
7 红霞;基于层叠条件随机场的中文机构名识别的研究[D];大连理工大学;2010年
8 程波波;基于文本的茶学本体学习方法研究[D];安徽农业大学;2010年
9 陈旭;地理编码引擎的设计与实现[D];辽宁工程技术大学;2009年
10 刘伟丽;基于粒子群算法和支持向量机的中文文本分类研究[D];河南工业大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 罗静;陈宁;;一种分布式环境中海量XML数据的有效查询机制[J];重庆交通大学学报(自然科学版);2009年04期
2 黄德根;李泽中;万如;;基于SVM和CRF的双层模型中文机构名识别[J];大连理工大学学报;2010年05期
3 周俊生;戴新宇;尹存燕;陈家骏;;基于层叠条件随机场模型的中文机构名自动识别[J];电子学报;2006年05期
4 冯元勇;孙乐;张大鲲;李文波;;基于小规模尾字特征的中文命名实体识别研究[J];电子学报;2008年09期
5 宇缨;王晓龙;刘秉权;;一种基于SVM/RS的中文机构名称自动识别方法[J];电子与信息学报;2006年05期
6 冯茵;周榕;;学术论文摘要中模糊限制语的调查与分析——基于英语专业毕业论文与国外期刊论文的对比研究[J];外国语言文学;2007年02期
7 张五辈;白宇;王裴岩;张桂平;;一种中医名词术语自动抽取方法[J];沈阳航空航天大学学报;2011年01期
8 赵欢;朱红权;;基于双数组Trie树中文分词研究[J];湖南大学学报(自然科学版);2009年05期
9 丁伟,林容容,倪良胜;一种面向海量实时数据的信息检索算法[J];华南理工大学学报(自然科学版);2004年S1期
10 王舟;;英汉学术论文摘要中模糊限制语的对比研究——一项基于语料库的研究[J];华中科技大学学报(社会科学版);2008年06期
中国重要会议论文全文数据库 前2条
1 宁海燕;刘秉权;张德园;刘远超;王晓龙;;基于统计的中文领域术语自动抽取方法的比较研究[A];第五届全国信息检索学术会议论文集[C];2009年
2 王海雄;郭剑毅;余正涛;毛存礼;张朝胜;雷春雅;;基于CRFs的中文领域术语自动抽取研究[A];第六届全国信息检索学术会议论文集[C];2010年
中国博士学位论文全文数据库 前2条
1 王正群;手写体汉字识别研究[D];南京理工大学;2001年
2 钱龙华;命名实体间语义关系抽取研究[D];苏州大学;2009年
中国硕士学位论文全文数据库 前2条
1 许顺;中文分词规范可计算化的研究与实现[D];苏州大学;2006年
2 王靖;基于机械切分和标注的中文分词研究[D];湖南大学;2009年
【二级引证文献】
中国硕士学位论文全文数据库 前1条
1 张红岩;面向读者服务的民办高校图书馆网站建设[D];黑龙江大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
2 刘群,张华平,俞鸿魁,程学旗;基于层叠隐马模型的汉语词法分析[J];计算机研究与发展;2004年08期
3 张华平,刘群;基于角色标注的中国人名自动识别研究[J];计算机学报;2004年01期
4 梁南元;书面汉语自动分词系统—CDWS[J];中文信息学报;1987年02期
5 张华平,刘群;基于N-最短路径方法的中文词语粗分模型[J];中文信息学报;2002年05期
6 杨尔弘;方莹;刘冬明;乔羽;;汉语自动分词和词性标注评测[J];中文信息学报;2006年01期
7 黄昌宁;赵海;;中文分词十年回顾[J];中文信息学报;2007年03期
8 张小衡,王玲玲;中文机构名称的识别与分析[J];中文信息学报;1997年04期
9 黄昌宁;中文信息处理中的分词问题[J];语言文字应用;1997年01期
10 刘开瑛;现代汉语自动分词评测技术研究[J];语言文字应用;1997年01期
中国重要会议论文全文数据库 前1条
1 高山;张艳;徐波;宗成庆;韩兆兵;;基于三元统计模型的汉语分词及标注一体化研究[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
【相似文献】
中国期刊全文数据库 前10条
1 熊桂喜;李政;;基于规则和语料库的中文姓名识别研究[J];计算机与信息技术;2007年12期
2 李跃民;王浩;赵生慧;;有词典中文分词算法研究[J];滁州学院学报;2008年03期
3 许高建;胡学钢;路遥;王庆人;;一种改进的中文分词歧义消除算法研究[J];合肥工业大学学报(自然科学版);2008年10期
4 孙殿哲;魏海平;陈岩;;Nutch中庖丁解牛中文分词的实现与评测[J];计算机与现代化;2010年06期
5 杨文涛;司应硕;张森;;GA-BP神经网络算法在中文分词分析中的应用研究[J];河南机电高等专科学校学报;2010年04期
6 孙乐;方自金;;基于互联网的信息采集系统的设计与实现[J];河北大学成人教育学院学报;2010年04期
7 陈红英,李卫华;智能信息Agent的研究和实现[J];计算机工程与应用;2002年12期
8 林珊,宁国宁,赵之霖;中文分词在邮件过滤系统中的应用[J];华南理工大学学报(自然科学版);2004年S1期
9 王坚,赵恒永;专业搜索引擎中文分词算法的实现与研究[J];福建电脑;2005年07期
10 许敏;周伟灿;;CAD电子图管理系统中全文检索的研究[J];微计算机信息;2006年19期
中国重要会议论文全文数据库 前10条
1 王敏;叶宽余;薛峰;;一种面向网店商品搜索的中文分词系统设计[A];全国第22届计算机技术与应用学术会议(CACIS·2011)暨全国第3届安全关键技术与应用(SCA·2011)学术会议论文摘要集[C];2011年
2 韩冬煦;常宝宝;;基于边界熵和卡方统计量的多领域适应性中文分词方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
3 修驰;宋柔;;基于“大词”实例的中文分词研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
4 张梅山;邓知龙;车万翔;刘挺;;统计与词典相结合的领域自适应中文分词[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
5 赵海;揭春雨;;基于子串标注的中文分词:寻找更佳的标注单元[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
6 彭辉;翟翔;;AutoCAD 2008自动翻译软件研发[A];全国冶金自动化信息网2010年年会论文集[C];2010年
7 王屹林;朱慕华;朱靖波;;针对SVM中文分词特性的个性化后处理设计[A];第三届学生计算语言学研讨会论文集[C];2006年
8 戴莉;周明全;武仲科;王永恒;王燕妮;周曼;;Lucene在智能答疑系统中的应用研究[A];图像图形技术与应用进展——第三届图像图形技术与应用学术会议论文集[C];2008年
9 刘东生;尹宝生;张桂平;徐立军;苗雪雷;;面向专利文献的中文分词技术的研究[A];第五届全国信息检索学术会议论文集[C];2009年
10 黄昌宁;赵海;;由字构词——中文分词新方法[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
中国重要报纸全文数据库 前10条
1 清华大学IT可用性实验室;2005中文搜索引擎质量对比[N];计算机世界;2005年
2 本报记者 张彤;让计算机说中国话[N];网络世界;2004年
3 记者 吴苡婷;用技术挖出网络信息中“金子”[N];上海科技报;2009年
4 贺俊;汇聚亿万草根智慧 奇虎发布经验搜索[N];证券日报;2006年
5 记者 杨朝晖;医药搜索:不再“众里寻他千百度”[N];科技日报;2007年
6 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
7 张韬;谷歌推出“谷歌拼音”力拼百度[N];上海证券报;2007年
8 王翌;互联网2005:个性化生存[N];计算机世界;2005年
9 李永胜;在中文网页搜索质量上 Google险胜百度[N];中国计算机报;2007年
10 蔡勇北京师范大学珠海分校软件研究所所长助理;让中药查询省时省力[N];科技日报;2007年
中国博士学位论文全文数据库 前8条
1 孙越恒;基于统计的NLP技术在中文信息检索中的应用研究[D];天津大学;2005年
2 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年
3 孙道军;文本挖掘预处理相关基础技术分析与应用研究[D];北京邮电大学;2008年
4 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年
5 任飞亮;高适应性基于实例的机器翻译中关键技术研究[D];东北大学;2008年
6 张友华;面向智能服务的Web内容计算研究与应用[D];中国科学技术大学;2006年
7 汤步洲;序列标注问题的监督学习方法及应用[D];哈尔滨工业大学;2011年
8 董建设;协作式垃圾邮件过滤关键技术研究[D];兰州理工大学;2009年
中国硕士学位论文全文数据库 前10条
1 马忠宝;基于支持向量机的中文文本分类系统研究[D];武汉理工大学;2006年
2 杨彦;基于Hash结构的机械统计分词系统[D];中南大学;2005年
3 戚晶;基于RSS的搜索引擎的研究与实现[D];吉林大学;2006年
4 马莉;基于SVM的垃圾邮件过滤的研究[D];山东大学;2005年
5 王新梅;基于内容挖掘的垃圾邮件过滤技术[D];武汉理工大学;2006年
6 李培国;基于人工神经网的中文垃圾邮件过滤器的设计与实现[D];暨南大学;2007年
7 刘琨;搜索引擎的研究与实现[D];西安电子科技大学;2004年
8 王圆;文本内容过滤的关键技术研究[D];东北师范大学;2006年
9 李东海;基于Nutch技术的主题搜索引擎实现[D];吉林大学;2008年
10 孟美华;桌面搜索引擎的设计与实现[D];大连理工大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026