收藏本站
《软件学报》 2013年05期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于条件随机场方法的开放领域新词发现

陈飞  刘奕群  魏超  张云亮  张敏  马少平  
【摘要】:开放领域新词发现研究对于中文自然语言处理的性能提升有着重要的意义.利用条件随机场(condition random field,简称CRF)可对序列输入标注的特点,将新词发现问题转化为预测已分词词语边界是否为新词边界的问题.在对海量规模中文互联网语料进行分析挖掘的基础上,提出了一系列区分新词边界的统计特征,并采用CRF方法综合这些特征实现了开放领域新词发现的算法,同时比较了K-Means聚类、等频率、基于信息增益这3种离散化方法对新词发现结果的影响.通过在SogouT大规模中文语料库上的新词发现实验,验证了所提出的方法有较好的效果.

【参考文献】
中国期刊全文数据库 前4条
1 贾美英;杨炳儒;郑德权;杨靖;;采用CRF技术的军事情报术语自动抽取研究[J];计算机工程与应用;2009年32期
2 张华平,刘群;基于角色标注的中国人名自动识别研究[J];计算机学报;2004年01期
3 李丽双;黄德根;陈春荣;杨元生;;SVM与规则相结合的中文地名自动识别[J];中文信息学报;2006年05期
4 李丽双,黄德根,陈春荣,杨元生;用支持向量机进行中文地名识别的研究[J];小型微型计算机系统;2005年08期
【共引文献】
中国期刊全文数据库 前10条
1 葛文英;吕靖;;基于条件随机场的中文人名识别[J];安阳师范学院学报;2010年05期
2 李玉森;张雪英;袁正午;;面向GIS的地理命名实体识别研究[J];重庆邮电大学学报(自然科学版);2008年06期
3 高红;黄德根;杨元生;;汉语自动分词中中文地名识别[J];大连理工大学学报;2006年04期
4 孙晓;黄德根;;基于最长次长匹配分词的一体化中文词法分析[J];大连理工大学学报;2010年06期
5 李丽双;党延忠;廖文平;黄德根;张颖;;CRF与规则相结合的中文地名识别[J];大连理工大学学报;2012年02期
6 高国洋;戚银城;潘德锋;;基于条件随机场与规则相结合的中文地名识别[J];电脑开发与应用;2009年08期
7 蔡勇智;;未登录词识别算法的改进[J];福建电脑;2006年03期
8 罗安;王勇;张福浩;刘纪平;;基于角色标注的中文POI名称语义分类方法[J];测绘通报;2012年S1期
9 叶娜;陈小芳;蔡东风;;面向专利文献的术语自动处理技术[J];沈阳航空工业学院学报;2010年04期
10 唐涛;周俏丽;张桂平;;统计与规则相结合的术语抽取[J];沈阳航空航天大学学报;2011年05期
中国重要会议论文全文数据库 前8条
1 俞鸿魁;张华平;刘群;吕学强;施水才;;基于层叠隐马尔可夫模型的中文命名实体识别[A];全国网络与信息安全技术研讨会'2005论文集(下册)[C];2005年
2 钱小飞;陈小荷;董宇;何晓丽;;面向大型叙事作品的指人成分识别[A];第三届学生计算语言学研讨会论文集[C];2006年
3 郑家恒;谭红叶;王兴义;;基于模式匹配的中文专有名词识别[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
4 王芳;万常选;;基于可信度的中文完整词自动识别[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
5 李诺;张全;;基于概念属性特征的中文地名识别处理[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
6 甘甜;莫倩;张华平;;基于搜索引擎的人物社会关系抽取研究[A];第五届全国信息检索学术会议论文集[C];2009年
7 李渝勤;孙丽华;;面向互联网舆情的热词分析技术[A];第六届全国信息检索学术会议论文集[C];2010年
8 罗安;王勇;张福浩;刘纪平;;基于角色标注的中文POI名称语义分类方法[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年
中国博士学位论文全文数据库 前10条
1 荆涛;面向领域网页的语义标注若干问题研究[D];吉林大学;2011年
2 杜萍;基于本体的中国行政区划地名识别与抽取研究[D];兰州大学;2011年
3 朱锁玲;命名实体识别在方志内容挖掘中的应用研究[D];南京农业大学;2011年
4 余传明;基于本体的语义信息系统研究[D];武汉大学;2005年
5 于满泉;面向人物追踪的知识挖掘研究[D];中国科学院研究生院(计算技术研究所);2006年
6 张华平;语言浅层分析与句子级新信息检测研究[D];中国科学院研究生院(计算技术研究所);2005年
7 张素香;信息抽取中关键技术的研究[D];北京邮电大学;2007年
8 高红;基于统计语言模型的汉语浅层分析研究[D];大连理工大学;2007年
9 傅魁;基于Web的本体学习研究[D];武汉理工大学;2007年
10 车海燕;面向中文自然语言Web文档的自动知识抽取和知识融合[D];吉林大学;2008年
中国硕士学位论文全文数据库 前10条
1 廖文平;基于CRF的中文地名识别研究[D];大连理工大学;2010年
2 红霞;基于层叠条件随机场的中文机构名识别的研究[D];大连理工大学;2010年
3 金璐钰;基于框架的事件抽取关键技术研究[D];苏州大学;2010年
4 钟晓旭;基于Web招聘信息的文本挖掘系统研究[D];合肥工业大学;2010年
5 杨晓东;中文命名实体识别及若干相关问题的研究[D];江苏大学;2010年
6 李丹;基于规则与统计的汉语自动分词研究[D];长春工业大学;2010年
7 张庐颖;基于粗糙集的K-means研究[D];北京交通大学;2011年
8 林渌;基于新闻主题模型的热点工作挖掘系统[D];浙江大学;2011年
9 王强;基于反编译的可疑行为标注技术的研究与实现[D];解放军信息工程大学;2009年
10 吴波;改进的编辑距离算法的研究及其在电子政务中的应用[D];电子科技大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 王国胜,钟义信;支持向量机的若干新进展[J];电子学报;2001年10期
2 谭红叶,郑家恒,刘开瑛;中国地名自动识别系统的设计与实现[J];计算机工程;2002年08期
3 何婷婷;张勇;;基于质子串分解的中文术语自动抽取[J];计算机工程;2006年23期
4 吕雅娟,赵铁军,杨沐昀,于浩,李生;基于分解与动态规划策略的汉语未登录词识别[J];中文信息学报;2001年01期
5 黄德根,杨元生,王省,张艳丽,钟万勰;基于统计方法的中文姓名识别[J];中文信息学报;2001年02期
6 张华平,刘群;基于N-最短路径方法的中文词语粗分模型[J];中文信息学报;2002年05期
7 黄德根,岳广玲,杨元生;基于统计的中文地名识别[J];中文信息学报;2003年02期
8 张艳,宗成庆,徐波;汉语术语定义的结构分析和提取[J];中文信息学报;2003年06期
9 王振华,孔祥龙,陆汝占,刘绍明;结合决策树方法的中文姓名识别[J];中文信息学报;2004年06期
10 孙茂松,黄昌宁,高海燕,方捷;中文姓名的自动辨识[J];中文信息学报;1995年02期
中国重要会议论文全文数据库 前1条
1 季姮;罗振声;;基于反比概率模型和规则的中文姓名自动辨识系统[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
【相似文献】
中国期刊全文数据库 前10条
1 林珊,宁国宁,赵之霖;中文分词在邮件过滤系统中的应用[J];华南理工大学学报(自然科学版);2004年S1期
2 王坚,赵恒永;专业搜索引擎中文分词算法的实现与研究[J];福建电脑;2005年07期
3 蔡勇智;基于最大匹配分词算法的中文词语粗分模型[J];福建电脑;2005年09期
4 王坚,赵恒永;专业搜索引擎的实现与研究——中文分词算法[J];电子科学技术评论;2005年03期
5 陈小茵;;基于自然语言的自动答疑系统设计[J];南京广播电视大学学报;2005年04期
6 许敏;周伟灿;;CAD电子图管理系统中全文检索的研究[J];微计算机信息;2006年19期
7 王华栋;饶培伦;;基于搜索引擎的中文分词评估方法[J];情报科学;2007年01期
8 山岚;赵英;徐耀;王坚;张莹莹;;专业搜索引擎系统的设计与实现[J];微计算机信息;2007年06期
9 芦淑娟;;WebGIS搜索引擎系统研究与实现[J];软件导刊;2007年05期
10 祁文青;;一种改进的中文分词算法[J];黄石理工学院学报;2007年04期
中国重要会议论文全文数据库 前10条
1 王敏;叶宽余;薛峰;;一种面向网店商品搜索的中文分词系统设计[A];全国第22届计算机技术与应用学术会议(CACIS·2011)暨全国第3届安全关键技术与应用(SCA·2011)学术会议论文摘要集[C];2011年
2 韩冬煦;常宝宝;;基于边界熵和卡方统计量的多领域适应性中文分词方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
3 修驰;宋柔;;基于“大词”实例的中文分词研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
4 张梅山;邓知龙;车万翔;刘挺;;统计与词典相结合的领域自适应中文分词[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
5 李寿山;黄居仁;;基于词边界分类的中文分词方法[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
6 刘东生;尹宝生;张桂平;徐立军;苗雪雷;;面向专利文献的中文分词技术的研究[A];第五届全国信息检索学术会议论文集[C];2009年
7 彭辉;翟翔;;AutoCAD 2008自动翻译软件研发[A];全国冶金自动化信息网2010年年会论文集[C];2010年
8 王屹林;朱慕华;朱靖波;;针对SVM中文分词特性的个性化后处理设计[A];第三届学生计算语言学研讨会论文集[C];2006年
9 黄昌宁;赵海;;由字构词——中文分词新方法[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
10 赵海;揭春雨;;基于子串标注的中文分词:寻找更佳的标注单元[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
中国重要报纸全文数据库 前10条
1 清华大学IT可用性实验室;2005中文搜索引擎质量对比[N];计算机世界;2005年
2 本报记者 张彤;让计算机说中国话[N];网络世界;2004年
3 记者 吴苡婷;用技术挖出网络信息中“金子”[N];上海科技报;2009年
4 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
5 贺俊;汇聚亿万草根智慧 奇虎发布经验搜索[N];证券日报;2006年
6 记者 杨朝晖;医药搜索:不再“众里寻他千百度”[N];科技日报;2007年
7 张韬;谷歌推出“谷歌拼音”力拼百度[N];上海证券报;2007年
8 丁鸿;百度掀起财富浪潮 中国互联网不再“青涩”[N];中国工业报;2005年
9 王翌;互联网2005:个性化生存[N];计算机世界;2005年
10 王宾;加速争夺中国搜索市场[N];北京商报;2006年
中国博士学位论文全文数据库 前10条
1 孙越恒;基于统计的NLP技术在中文信息检索中的应用研究[D];天津大学;2005年
2 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年
3 孙道军;文本挖掘预处理相关基础技术分析与应用研究[D];北京邮电大学;2008年
4 何嘉;基于遗传算法优化的中文分词研究[D];电子科技大学;2012年
5 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年
6 任飞亮;高适应性基于实例的机器翻译中关键技术研究[D];东北大学;2008年
7 张京楣;基于统计方法的文本风格分析研究[D];山东大学;2012年
8 张友华;面向智能服务的Web内容计算研究与应用[D];中国科学技术大学;2006年
9 董建设;协作式垃圾邮件过滤关键技术研究[D];兰州理工大学;2009年
10 汤步洲;序列标注问题的监督学习方法及应用[D];哈尔滨工业大学;2011年
中国硕士学位论文全文数据库 前10条
1 杨彦;基于Hash结构的机械统计分词系统[D];中南大学;2005年
2 马忠宝;基于支持向量机的中文文本分类系统研究[D];武汉理工大学;2006年
3 戚晶;基于RSS的搜索引擎的研究与实现[D];吉林大学;2006年
4 刘琨;搜索引擎的研究与实现[D];西安电子科技大学;2004年
5 全海金;基于用户行为及语义相关实时更新的用户兴趣模型[D];西南师范大学;2005年
6 翟凤文;统计与字典相结合的中文分词[D];吉林大学;2005年
7 褚金正;面向特定领域的文本识别和分类[D];湖南大学;2005年
8 马莉;基于SVM的垃圾邮件过滤的研究[D];山东大学;2005年
9 朱军;中文垃圾邮件过滤技术研究及应用[D];合肥工业大学;2005年
10 张晓淼;基于神经网络的中文分词算法的研究[D];大连理工大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026