收藏本站
《哈尔滨工业大学学报》 2011年S1期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

文本分类中特征选择方法的比较与改进

单丽莉  刘秉权  孙承杰  
【摘要】:为了在面向旅游领域的文本分类系统中选择有效的分类特征,提高分类性能,本文根据系统采用的训练集、训练过程及分类算法等因素重新对各常用的特征选择方法进行了综合实验评测,比较了五种常用的特征选择方法,对于评测结果最好的三种函数:期望交叉熵、信息增益和互信息,通过理论分析和科学实验,分别提出了不同的改进方法.实验结果表明改进的期望交叉熵方法在本应用中能够最有效地提高系统的分类性能.

【参考文献】
中国期刊全文数据库 前1条
1 秦进,陈笑蓉,汪维家,陆汝占;文本分类中的特征抽取[J];计算机应用;2003年02期
中国博士学位论文全文数据库 前1条
1 卜东波;聚类/分类理论研究及其在文本挖掘中的应用[D];中国科学院研究生院(计算技术研究所);2000年
【共引文献】
中国期刊全文数据库 前10条
1 张脂平,林世平;Web文本挖掘中特征提取算法的分析及改进[J];福州大学学报(自然科学版);2004年S1期
2 王煜,张明,马力;基于词条聚合和决策树的文本分类方法[J];河北大学学报(自然科学版);2005年03期
3 钟茂生;WEB页面的模糊聚类[J];华东交通大学学报;2004年05期
4 程泽凯,陆小艺;文本分类中的特征选择方法[J];安徽工业大学学报(自然科学版);2004年03期
5 张玉叶;李连;刘海见;王春歆;;文本过滤中的特征抽取应用研究[J];海军航空工程学院学报;2005年01期
6 袁方,杨柳,张红霞;基于k-近邻方法的渐进式中文文本分类技术[J];华南理工大学学报(自然科学版);2004年S1期
7 万乐;刘万春;;类别特征词权重加权文本分类方法[J];军民两用技术与产品;2006年03期
8 陆玉昌,鲁明羽,李凡,周立柱;向量空间法中单词权重函数的分析和构造[J];计算机研究与发展;2002年10期
9 唐焕玲,孙建涛,陆玉昌;文本分类中结合评估函数的TEF-WA权值调整技术[J];计算机研究与发展;2005年01期
10 唐焕玲,付克明,鲁明羽;文本分类系统SECTCS中若干技术问题的探讨[J];计算机工程与应用;2003年11期
中国重要会议论文全文数据库 前1条
1 鲁明羽;孙建涛;陆玉昌;;一种基于联想的网页推荐方法[A];第五届全球智能控制与自动化大会会议论文集(4)[C];2004年
中国博士学位论文全文数据库 前10条
1 徐建锁;知识管理和文本挖掘的若干问题研究[D];天津大学;2004年
2 王明春;基于粗糙集的数据及文本挖掘方法研究[D];天津大学;2005年
3 孙越恒;基于统计的NLP技术在中文信息检索中的应用研究[D];天津大学;2005年
4 张友华;面向智能服务的Web内容计算研究与应用[D];中国科学技术大学;2006年
5 王秀娟;文本检索中若干问题研究[D];北京邮电大学;2006年
6 谢学敏;基于动态流通语料库(DCC)的流行语释义信息自动提取研究[D];北京语言大学;2006年
7 郝占刚;基于遗传算法等技术的数据与文本聚分类研究[D];天津大学;2006年
8 赵平;建设工程项目总承包风险管理研究[D];西北工业大学;2006年
9 易高翔;粗糙集在Web挖掘中的应用研究[D];华中科技大学;2006年
10 易明;基于Web挖掘的电子商务个性化推荐机理与方法研究[D];华中科技大学;2006年
中国硕士学位论文全文数据库 前10条
1 赵鹏;数据挖掘在范例推理和地理信息系统中的应用研究[D];安徽大学;2003年
2 王晓庆;基于RBF网络的文本自动分类的研究[D];江西师范大学;2003年
3 钟茂生;基于智能Agent的个性化Web浏览器研究与实现[D];江西师范大学;2003年
4 王汉萍;粗糙集理论在文本挖掘的分类算法中的应用研究[D];中国海洋大学;2003年
5 刘钢;基于神经网络的文本分类系统NNTCS的设计和实现[D];中国科学院研究生院(软件研究所);2003年
6 徐爱华;面向文本分类的中文文本挖掘技术研究及实现[D];武汉理工大学;2004年
7 万中英;基于投影寻踪中文网页自动分类[D];江西师范大学;2004年
8 吴娟;军用信息自动分类的研究与实现[D];南京理工大学;2004年
9 林丽;数字图书馆数据挖掘研究[D];武汉大学;2004年
10 潘莹;基于需求文本的GIS语义挖掘初步研究[D];南京师范大学;2004年
【同被引文献】
中国期刊全文数据库 前10条
1 林鸿飞,战学刚,姚天顺;基于概念的文本结构分析方法[J];计算机研究与发展;2000年03期
2 郭东伟,刘大有,周春光,张仲明;遗传算法收敛性的动力学分析及其应用[J];计算机研究与发展;2002年02期
3 陆玉昌,鲁明羽,李凡,周立柱;向量空间法中单词权重函数的分析和构造[J];计算机研究与发展;2002年10期
4 吴胜远;一种汉语分词方法[J];计算机研究与发展;1996年04期
5 庞剑锋,卜东波,白硕;基于向量空间模型的文本自动分类系统的研究与实现[J];计算机应用研究;2001年09期
6 周水庚,关佶红,俞红奇,胡运发;基于Ngram信息的中文文档分类研究[J];中文信息学报;2001年01期
7 于江生 ,俞士汶;中文概念词典的结构[J];中文信息学报;2002年04期
8 周茜,赵明生,扈旻;中文文本分类中的特征选择研究[J];中文信息学报;2004年03期
9 赵世奇,张宇,刘挺,陈毅恒,黄永光,李生;基于类别特征域的文本分类特征选择方法[J];中文信息学报;2005年06期
10 黄萱菁,夏迎炬,吴立德;基于向量空间模型的文本过滤系统[J];软件学报;2003年03期
中国博士学位论文全文数据库 前1条
1 张毅波;史文结构化信息检索系统的研究与实现[D];中国科学院研究生院(软件研究所);2001年
中国硕士学位论文全文数据库 前1条
1 王圆;文本内容过滤的关键技术研究[D];东北师范大学;2006年
【二级参考文献】
中国期刊全文数据库 前3条
1 李未,黄文奇;一种求解合取范式可满足性问题的数学物理方法[J];中国科学A辑;1994年11期
2 黄萱菁,吴立德,石崎洋之,徐国伟;独立于语种的文本分类方法[J];中文信息学报;2000年06期
3 张学工;关于统计学习理论与支持向量机[J];自动化学报;2000年01期
【相似文献】
中国期刊全文数据库 前10条
1 奉国和;郑伟;;文本分类特征降维研究综述[J];图书情报工作;2011年09期
2 冯霞;刘志辉;田继存;;基于假设检验的文本分类特征选择[J];信息与控制;2011年03期
3 潘正高;侯传宇;谈成访;;基于命名实体的Web新闻文本分类方法[J];合肥工业大学学报(自然科学版);2011年08期
4 孟佳娜;林鸿飞;李彦鹏;;基于特征贡献度的特征选择方法在文本分类中应用[J];大连理工大学学报;2011年04期
5 沈友文;赵新建;徐俊;;一种改进的集中度和分散度文本特征选择算法[J];计算机应用与软件;2011年09期
6 周国强;崔荣一;;基于朴素贝叶斯分类器的朝鲜语文本分类的研究[J];中文信息学报;2011年04期
7 高金勇;徐朝军;冯奕竸;;基于迭代的TFIDF在短文本分类中的应用[J];情报理论与实践;2011年06期
8 刘新生;厉锟;;基于BP神经网络的旅游突发事件文本分类系统的设计与实现[J];计算机与现代化;2011年07期
9 张春元;;基于条件随机场的文本分类模型[J];计算机技术与发展;2011年07期
10 赖英旭;许昕;杨震;;基于尾项加权的自适应文本分类方法研究[J];中国科学技术大学学报;2011年07期
中国重要会议论文全文数据库 前10条
1 张永;陈思睿;杨志勇;;一种改进的文本分类方法的研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
2 徐燕;孙春明;王斌;李锦涛;;基于词条频率的特征选择算法研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
3 刘功申;李建华;李生红;;基于类信息的特征选择和加权方法[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
4 伍建军;康耀红;;关于文本分类中特征降维方式的研究[A];第三届学生计算语言学研讨会论文集[C];2006年
5 王秀娟;郭军;郑康锋;;基于互信息可信度的特征选择方法[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年
6 陈庆轩;郑德权;郑博文;赵铁军;李生;;中文文本分类中基于文档频度分布的特征选择方法[A];黑龙江省计算机学会2009年学术交流年会论文集[C];2010年
7 肖婷;唐雁;;文本分类中特征选择方法及应用[A];2008年计算机应用技术交流会论文集[C];2008年
8 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
9 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
10 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
中国重要报纸全文数据库 前2条
1 希安;微软试水信息检索[N];经济日报;2004年
2 王培森;从Web挖到竞争情报[N];中国计算机报;2003年
中国博士学位论文全文数据库 前10条
1 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
2 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
3 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
4 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
5 韦娜;基于内容图像检索关键技术研究[D];西北大学;2006年
6 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
7 燕忠;基于蚁群优化算法的若干问题的研究[D];东南大学;2005年
8 陈晓云;文本挖掘若干关键技术研究[D];复旦大学;2005年
9 李勇明;尿沉渣图像自动识别算法的研究[D];重庆大学;2007年
10 杨水山;冷轧带钢表面缺陷机器视觉自动检测技术研究[D];哈尔滨工业大学;2009年
中国硕士学位论文全文数据库 前10条
1 黄启虎;基于仿生模式识别的文本分类技术研究[D];哈尔滨工业大学;2008年
2 董梅;文本内容的信息过滤技术研究[D];合肥工业大学;2006年
3 孟杰;基于构造性覆盖算法的中文文本分类[D];安徽大学;2007年
4 马宏伟;基于SVM的中文文本分类系统的建模与实现[D];大连理工大学;2006年
5 王小燕;文本分类相关技术与应用研究[D];西北大学;2007年
6 王新丽;中文文本分类系统的研究与实现[D];天津大学;2007年
7 陈超;基于支持向量机的中文文本分类的系统研究[D];武汉理工大学;2007年
8 张俊丽;文本分类中的关键技术研究[D];华中师范大学;2008年
9 王生新;基于支持向量机的文本分类研究[D];哈尔滨工程大学;2008年
10 吕小勇;多标签文本分类算法研究[D];山西财经大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026