收藏本站
《计算机工程与应用》 2003年36期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于移动爬虫的专用Web信息收集系统的设计

潘春华  冯太明  武港山  
【摘要】:搜索引擎已经成为网上导航的重要工具。为了能够提供强大的搜索能力,搜索引擎对网上可访问文档维持着详尽的索引。创建和维护索引的任务由网络爬虫完成,网络爬虫代表搜索引擎递归地遍历和下载Web页面。Web页面在下载之后,被搜索引擎分析、建索引,然后提供检索服务。文章介绍了一种更加有效的建立Web索引的方法,该方法是基于移动爬虫(MobileCrawler)的。在此提出的爬虫首先被传送到数据所在的站点,在那里任何不需要的数据在传回搜索引擎之前在当地被过滤。这个方法尤其适用于实施所谓的“智能”爬行算法,这些算法根据已访问过的Web页面的内容来决定一条有效的爬行路径。移动爬虫是移动计算和专业搜索引擎两大技术

【引证文献】
中国硕士学位论文全文数据库 前4条
1 韩亮;基于本体的消防信息检索系统的研究[D];大连海事大学;2008年
2 欧歌;专题式Web信息获取技术研究[D];北京化工大学;2005年
3 刘宾;基于移动Agent的主题搜索引擎研究[D];上海海事大学;2006年
4 林乐彬;Inar网络爬虫的设计与实现[D];哈尔滨工业大学;2006年
【共引文献】
中国重要会议论文全文数据库 前1条
1 朴星海;赵铁军;郑德权;张迪;;面向Blog的网络爬行器设计与实现[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
中国硕士学位论文全文数据库 前5条
1 谢冬松;基于Web的主题搜索应用技术研究[D];黑龙江大学;2007年
2 常晓燕;基于Java的新闻搜索引擎的设计与实现[D];西南交通大学;2004年
3 孔磊;基于智能体的个性化互联网信息搜集系统[D];华中科技大学;2004年
4 苏旋;分布式网络爬虫技术的研究与实现[D];哈尔滨工业大学;2006年
5 纪燕燕;基于MVC电子政务中信息发布平台的研制和实现[D];江西师范大学;2007年
【同被引文献】
中国期刊全文数据库 前10条
1 杨建林;;基于本体的文本信息检索研究[J];情报理论与实践;2006年05期
2 邱均平,张洋;网络信息计量学综述[J];高校图书馆工作;2005年01期
3 刘则渊;;科学学理论体系建构的思考——基于科学计量学的中外科学学进展研究报告[J];科学学研究;2006年01期
4 徐久龄,许莲莲;网络计量学[J];情报科学;2002年01期
5 俞培果,邱均平;Web页面链接动机分析及链接测度研究[J];情报科学;2003年03期
6 邱均平,陈敬全;网络信息计量学及其应用研究[J];情报理论与实践;2001年03期
7 文胜;朱东华;任智军;胡望斌;;基于数据挖掘的管理科学面上项目分析[J];情报探索;2006年09期
8 赵长林;科学学的发展与命题[J];聊城大学学报(社会科学版);2005年05期
9 徐家坤;网络信息计量研究中常用的四种搜索引擎的比较研究[J];现代图书情报技术;2004年11期
10 徐德智,吴敏,陆文彦;基于Agent的专业搜索引擎的研究和构造[J];计算机工程;2002年10期
中国博士学位论文全文数据库 前1条
1 陈定权;自动主题搜索的应用研究[D];中国科学院研究生院(文献情报中心);2003年
中国硕士学位论文全文数据库 前2条
1 张程;基于智能Agent的搜索引擎研究[D];重庆大学;2002年
2 袁宏;基于移动Agent的中文信息搜索引擎系统模型的研究[D];沈阳工业大学;2003年
【相似文献】
中国期刊全文数据库 前2条
1 潘春华,冯太明,武港山;基于移动爬虫的专用Web信息收集系统的设计[J];计算机工程与应用;2003年36期
2 张宏莉,翟健宏,胡铭曾;信息内容安全的主要技术及国内外对比[J];计算机教育;2005年01期
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026