收藏本站
《西北师范大学学报(自然科学版)》 2013年02期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于主题的Deep Web聚焦爬虫研究与设计

姚双良  
【摘要】:研究如何准确快速获取Deep Web网络资源.提出了一种基于主题的Deep Web聚焦爬虫框架,该框架主要包含了爬行模块、网页分类模块、链接解析模块和查询接口判别模块4大模块.实验结果表明,该爬虫的爬行策略取得了很好的效果,大大提高了效率,可以很好地适应特定主题的结构化Deep Web信息采集.
【作者单位】江苏科技大学教务处;
【基金】:江苏省高校自然科学基金资助项目(10KJB520006)
【分类号】:TP391.3
【正文快照】:
随着网络技术的快速发展,网络资源在迅猛膨胀,网络数据库也以爆炸式的速度在发展,形成了一个巨大的网络资源库.根据网络资源是否包含数据库将整个网络分为深度网和表层网两类[1].表层网网络资源的搜索技术的比较成熟,应用也比较广泛.但对深度网网络资源的搜索无法通过传统搜

【二级参考文献】
中国期刊全文数据库 前6条
1 黄德才;戚华春;;PageRank算法研究[J];计算机工程;2006年04期
2 汪涛,樊孝忠;主题爬虫的设计与实现[J];计算机应用;2004年S1期
3 韩松来,张辉,周华平;基于关联度函数的决策树分类算法[J];计算机应用;2005年11期
4 刘奕群,张敏,马少平;基于改进决策树算法的网络关键资源页面判定[J];软件学报;2005年11期
5 吴安清;张颖江;涂军;;主题搜索ROBOT综合爬行策略的研究[J];武汉理工大学学报;2006年02期
6 杨学兵;张俊;;决策树算法及其核心技术[J];计算机技术与发展;2007年01期
【相似文献】
中国期刊全文数据库 前10条
1 卓林;杨舟;岳亮;赵朋朋;崔志明;;Deep Web爬虫的一种增量式更新策略[J];苏州大学学报(工科版);2011年04期
2 李明;李秀兰;;基于结果模式的Deep Web数据标注方法[J];计算机应用;2011年07期
3 杨舟;岳亮;卓林;赵朋朋;崔志明;;一种基于领域本体的Deep Web数据自动标注方法[J];苏州大学学报(工科版);2011年04期
4 邵秀丽;孙杰;侯乐彩;;基于整体模式匹配的深度网集成系统的研究[J];计算机工程与设计;2011年08期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 余伟;李石君;洪辉;田建伟;;基于覆盖关系的Deep Web数据源排名[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
2 王上;于海;王钲旋;;Deep Web垂直搜索引擎设计与实现[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
3 梁浩;左万利;任斐;赫枫龄;;基于启发式信息的Deep Web查询接口属性抽取[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
4 王英;左万利;王鑫;彭涛;;Deep Web查询转换研究[A];第六届全国信息检索学术会议论文集[C];2010年
5 闫中敏;李庆忠;彭朝晖;董永权;丁艳辉;张永新;徐秀星;;DWDIS:面向分析的Deep Web数据集成系统[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
6 王英;左万利;彭涛;赫枫龄;彭钊;;应用领域本体知识库自动填充Deep Web入口表单[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
7 朱命冬;申德荣;寇月;聂铁铮;于戈;;一种应用于Deep Web环境下的重复记录识别模型[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
8 陶然;江锦华;吴羽;陈刚;;基于树合并的Deep Web查询接口集成[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
9 艾静;王仲远;孟小峰;;C-Rank:一种Deep Web数据记录可信度评估方法[A];第26届中国数据库学术会议论文集(A辑)[C];2009年
10 凌妍妍;刘伟;王仲远;艾静;孟小峰;;Deep Web数据集成中的实体识别方法[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
中国博士学位论文全文数据库 前10条
1 田建伟;面向领域的高质量Deep Web数据集成技术研究[D];武汉大学;2010年
2 潘鹏;Deep Web查询中的不确定性问题研究[D];山东大学;2010年
3 王英;Deep Web数据集成关键技术研究[D];吉林大学;2010年
4 董永权;Deep Web数据集成关键问题研究[D];山东大学;2010年
5 吴春明;Deep Web数据集成关键技术及其在农业领域的应用[D];西南大学;2011年
6 梁浩;Deep Web信息集成架构及相关问题研究[D];吉林大学;2010年
7 陈珂锐;基于本体演化的Deep Web数据抽取与注释[D];吉林大学;2011年
8 寇月;Deep Web实体搜索的关键技术研究[D];东北大学;2009年
9 黄健斌;基于条件概率图模型的Deep Web数据抽取与集成研究[D];西安电子科技大学;2007年
10 赵朋朋;Deep Web信息集成若干关键技术研究[D];苏州大学;2008年
中国硕士学位论文全文数据库 前10条
1 陈文;Deep Web入口识别和个性化搜索研究与设计[D];江苏大学;2010年
2 李秀兰;基于结果模式的Deep Web语义标注研究[D];兰州理工大学;2011年
3 刘凯;Deep Web数据集成关键技术研究[D];长春工业大学;2012年
4 李英军;Deep Web自适应跨领域查询策略研究[D];东北大学;2011年
5 李三义;基于模型匹配的Deep Web数据库分类[D];吉林大学;2010年
6 林超;面向Deep Web的对象检索关键技术研究[D];苏州大学;2008年
7 谢莹;Deep Web查询结果抽取及注释[D];吉林大学;2010年
8 张成奇;支持Ajax的Deep Web爬虫设计与实现[D];上海交通大学;2010年
9 杜鑫;Deep Web数据源发现与采样研究[D];山东大学;2011年
10 朱旭东;基于本体学习的Deep Web语义标注关键问题研究[D];苏州大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026