收藏本站
《南京师范大学学报(工程技术版)》 2008年04期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

文本分类中特征权重算法的改进

沈志斌  白清源  
【摘要】:TFIDF是文档特征权重表示常用方法.该方法简单易行,但忽略了特征词在各个类别中的分布情况,不能真正地反映特征词对区分每个类的贡献.针对这个不足,本文提出了BOR-TFIDF,来重新调整每个特征词对各个类别的区分度,即修正各个特征词的权重,并用分类器来验证其有效性.该方法优于原来的TFIDF算法,实验表明了改进的策略是可行的.

手机知网App
【参考文献】
中国期刊全文数据库 前3条
1 张玉芳;彭时名;吕佳;;基于文本分类TFIDF方法的改进与应用[J];计算机工程;2006年19期
2 徐凤亚,罗振声;文本自动分类中特征权重算法的改进研究[J];计算机工程与应用;2005年01期
3 寇莎莎,魏振军;自动文本分类中权值公式的改进[J];计算机工程与设计;2005年06期
【共引文献】
中国期刊全文数据库 前4条
1 谭金波;;文本层次分类中特征项权重算法的比较研究[J];情报杂志;2007年09期
2 张海龙;王莲芝;;自动文本分类特征选择方法研究[J];计算机工程与设计;2006年20期
3 罗海飞;吴刚;杨金生;;基于贝叶斯的文本分类方法[J];计算机工程与设计;2006年24期
4 周文刚;王景中;;基于语义的信息过滤算法的设计与实现[J];周口师范学院学报;2006年02期
中国博士学位论文全文数据库 前4条
1 刘华;基于关键短语的文本内容标引研究[D];北京语言大学;2005年
2 王树梅;信息检索相关技术研究[D];南京理工大学;2007年
3 常娥;古籍智能处理技术研究[D];南京农业大学;2007年
4 尹世群;Web文本分类关键技术研究[D];西南大学;2008年
中国硕士学位论文全文数据库 前10条
1 柯慧燕;Web文本分类研究及应用[D];武汉理工大学;2006年
2 孙国欣;基于主动学习的中文文本分类[D];兰州大学;2006年
3 陈频;中文科技论文文本分类研究[D];厦门大学;2006年
4 张超林;文本分类技术在数字图书馆中的应用与研究[D];首都师范大学;2007年
5 于歌;搜索引擎中自动分类关键技术研究[D];燕山大学;2006年
6 周文刚;基于语义的信息过滤算法及其应用[D];北方工业大学;2006年
7 台德艺;基于特征权重算法的文本分类研究[D];合肥工业大学;2007年
8 郑军;网络舆情监控的热点发现算法研究[D];哈尔滨工程大学;2007年
9 刘毅;基于粗糙集的文本分类技术研究[D];西南交通大学;2007年
10 杨静;基于SVM的中文电子邮件作者性别识别技术研究[D];河北农业大学;2007年
【同被引文献】
中国期刊全文数据库 前10条
1 李文斌;刘椿年;陈嶷瑛;;基于特征信息增益权重的文本分类算法[J];北京工业大学学报;2006年05期
2 刘丽珍,宋瀚涛;文本分类中的特征选取[J];计算机工程;2004年04期
3 申红;吕宝粮;内山将夫;井佐原均;;文本分类的特征提取方法比较与改进[J];计算机仿真;2006年03期
4 张华平,刘群;基于N-最短路径方法的中文词语粗分模型[J];中文信息学报;2002年05期
5 陆玉昌,鲁明羽,李凡,周立柱;向量空间法中单词权重函数的分析和构造[J];计算机研究与发展;2002年10期
6 徐凤亚,罗振声;文本自动分类中特征权重算法的改进研究[J];计算机工程与应用;2005年01期
7 张玉芳;彭时名;吕佳;;基于文本分类TFIDF方法的改进与应用[J];计算机工程;2006年19期
8 胡和平;曾庆锐;路松峰;;中文词聚类研究[J];计算机工程与科学;2006年01期
9 董小国;甘立国;;基于句子重要度的特征项权重计算方法[J];计算机与数字工程;2006年08期
10 冯长远,普杰信;Web文本特征选择算法的研究[J];计算机应用研究;2005年07期
中国博士学位论文全文数据库 前1条
1 薛德军;中文文本自动分类中的关键问题研究[D];清华大学;2004年
中国硕士学位论文全文数据库 前1条
1 刘斌;基于Web的HTML网页清洗技术的研究与实现[D];华北电力大学(北京);2007年
【二级参考文献】
中国期刊全文数据库 前5条
1 邹涛,王继成,朱华宇,金翔宇,张福炎;WWW上的信息挖掘技术及实现[J];计算机研究与发展;1999年08期
2 刘少辉,董明楷,张海俊,李蓉,史忠植;一种基于向量空间模型的多层次文本分类方法[J];中文信息学报;2002年03期
3 刘斌,黄铁军,程军,高文;一种新的基于统计的自动文本分类方法[J];中文信息学报;2002年06期
4 李国臣;文本分类中基于对数似然比测试的特征词选择方法[J];中文信息学报;1999年04期
5 张月杰,姚天顺;基于特征相关性的汉语文本自动分类模型的研究[J];小型微型计算机系统;1998年08期
【相似文献】
中国期刊全文数据库 前10条
1 王斌;邵华清;刘振;;基于优化类中心分类算法的文本分类研究[J];科技传播;2011年18期
2 周国强;崔荣一;;基于朴素贝叶斯分类器的朝鲜语文本分类的研究[J];中文信息学报;2011年04期
3 夏火松;刘建;朱慧毅;;中文情感分类挖掘预处理关键技术比较研究[J];情报杂志;2011年09期
4 吴谋硕;;基于遗传算法的文本分类技术[J];电脑知识与技术;2011年22期
5 高金勇;徐朝军;冯奕竸;;基于迭代的TFIDF在短文本分类中的应用[J];情报理论与实践;2011年06期
6 唐云;罗俊松;;基于粗糙集和BP神经网络的文本分类研究[J];计算机仿真;2011年06期
7 胥桂仙;向春丞;翁彧;赵小兵;杨国胜;;基于栏目的藏文网页文本自动分类方法[J];中文信息学报;2011年04期
8 张国梁;肖超锋;;基于SVM新闻文本分类的研究[J];电子技术;2011年08期
9 刘新生;厉锟;;基于BP神经网络的旅游突发事件文本分类系统的设计与实现[J];计算机与现代化;2011年07期
10 王斌;朴顺姬;邵华清;;基于粗糙集的KNN的WEB文本分类的研究[J];数字技术与应用;2011年08期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 任函;何婷婷;;大规模在线文本的自动分类研究[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
4 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
6 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
7 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
8 房一飞;张冬茉;;基于boosting的文本分类在股市领域信息抽取系统中的应用[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
9 肖婷;唐雁;;文本分类中特征选择方法及应用[A];2008年计算机应用技术交流会论文集[C];2008年
10 赵修湘;石勇;刘莹;张玲玲;;文本分类在软件缺陷管理中的应用[A];第四届(2009)中国管理学年会——管理科学与工程分会场论文集[C];2009年
中国重要报纸全文数据库 前2条
1 希安;微软试水信息检索[N];经济日报;2004年
2 王培森;从Web挖到竞争情报[N];中国计算机报;2003年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
3 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
4 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
5 裴志利;数据挖掘技术在文本分类和生物信息学中的应用[D];吉林大学;2008年
6 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
7 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
8 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
9 刘赫;文本分类中若干问题研究[D];吉林大学;2009年
10 祝翠玲;基于类别结构的文本层次分类方法研究[D];山东大学;2011年
中国硕士学位论文全文数据库 前10条
1 张玉杰;基于偏斜数据集的中文文本分类问题的改进特征权重算法研究[D];东北师范大学;2010年
2 赵小华;KNN文本分类中特征词权重算法的研究[D];太原理工大学;2010年
3 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
4 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
5 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
6 闫晨;KNN文本分类研究[D];燕山大学;2010年
7 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
8 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
9 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
10 郭志毅;基于EM算法的半监督文本分类方法研究[D];重庆邮电大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026