收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

网络爬虫技术原理

Kevin  
【摘要】:正爬虫技术就是一个高效的下载系统,能够将海量的网页数据传送到本地,在本地形成互联网网页的镜像备份。本文从爬虫技术的诞生开始,为你详细解析爬虫技术原理。一、爬虫系统的诞生通用搜索引擎的处理对象是互联网网页,目前互联网网页的数量已达百亿,所以搜索引擎首先面临的问题是:如何能

知网文化
【相似文献】
中国期刊全文数据库 前15条
1 Kevin;;网络爬虫技术原理[J];计算机与网络;2018年10期
2 谭骏珊;陈可钦;;聚焦爬行中网页爬行算法的改进[J];电脑知识与技术;2008年35期
3 贲兴龙;贾大文;袁林;;一种面向大规模网页去重的三层分布式架构[J];计算机与数字工程;2015年10期
4 郭彩玉;;微信网页版不能登陆的解决方法[J];计算机与网络;2016年23期
5 刘菊;;浅淡FLASH在网页设计中的应用[J];黑龙江科技信息;2014年03期
6 许文芝;;用好网页中的多媒体[J];师范教育;2002年12期
7 郭成贺;;巧用Snagit提取禁止复制的网页中的文字[J];网友世界;2010年23期
8 徐大兵;用Web网页备课——CAI例说之七[J];江西教育;2003年11期
9 谢会娜;;网页设计中计算机图像处理技术应用解析[J];电脑迷;2016年09期
10 刘田珦;;网页设计中的计算机多媒体技术应用研究[J];山东工业技术;2017年04期
11 白雪;;网页设计中计算机图像处理技术应用解析[J];电子世界;2017年05期
12 杨威;;网页设计与图形图像处理技术探析[J];电子制作;2017年08期
13 石锦涛;;基于文字密度提取网页正文[J];福建电脑;2017年04期
14 姜琴;;网页设计中计算机图像处理技术应用解析[J];信息与电脑(理论版);2016年03期
15 周俊平;;网页设计中计算机图像处理技术的应用[J];信息与电脑(理论版);2016年08期
中国重要会议论文全文数据库 前10条
1 唐超;刘辰;杨正球;;使用多层迭代分析和分类网页文档的方法[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
2 吴月红;;科技期刊网页的制作[A];学报编辑论丛(第十集)[C];2002年
3 彭渊;赵铁军;郑德权;于浩;;基于特征句抽取的网页去重研究[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
4 林政;吕雅娟;刘群;马希荣;;基于双语混和网页的平行语料挖掘[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
5 熊德兰;鄢靖丰;陈静;;基于论坛主题的网页褒贬倾向性识别[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
6 申文明;梁一平;周小平;;搜索引擎的反作弊技术研究[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年
7 罗阳;季铎;张桂平;王莹莹;;面向单一网页的双语资源挖掘方法[A];第六届全国信息检索学术会议论文集[C];2010年
8 白清源;林锦贤;谢丽聪;;信息自动获取系统的研究[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
9 王丽玫;;WINNT下PHP的安装及使用[A];2002年广西气象电子专业技术交流会论文集[C];2002年
10 韩先培;刘康;赵军;;基于布局特征与语言特征的网页主要内容块发现[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 陈洁;基于概念融合的网页筛选技术研究[D];北京邮电大学;2013年
2 焦斌星;用于搜索的网页可视化摘要技术研究[D];中国科学技术大学;2012年
3 刘慧君;用户浏览模式挖掘方法与应用研究[D];重庆大学;2010年
4 罗娜;基于本体的主题爬行技术研究[D];吉林大学;2009年
5 林盛;时间感知的Web搜索研究[D];中国科学技术大学;2015年
6 曹鲁慧;Web个人信息集成问题研究[D];山东大学;2012年
7 BENJAMIN GHANSAH;[D];江苏大学;2015年
8 李志强;基于网络日志的用户行为分析[D];北京理工大学;2016年
9 刘馨月;Web挖掘中的链接分析与话题检测研究[D];大连理工大学;2012年
10 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
中国硕士学位论文全文数据库 前10条
1 王俊;面向房产领域的垂直搜索引擎研究与实现[D];南昌大学;2012年
2 郭海燕;搜索引擎中网络爬虫技术研究[D];西安电子科技大学;2009年
3 关小敏;垂直搜索引擎的研究与实现[D];北京邮电大学;2012年
4 黄涛;布隆过滤器在网页去重中的研究与应用[D];大连海事大学;2013年
5 李小三;新闻垂直搜索引擎中文分词与网页去重的应用与研究[D];长安大学;2014年
6 姜鑫;基于网页连通信息的主题爬行技术研究与实现[D];吉林大学;2007年
7 杜超利;时空要素驱动的事件网页信息检索方法研究[D];南京师范大学;2013年
8 韩建军;基于邻接特征的网页主题传播算法[D];南京大学;2017年
9 刘慕凡;基于主题与语义的作弊网页检测方法研究[D];北京化工大学;2015年
10 赵立磊;基于网页去重的垂直搜索引擎设计与实现[D];大连理工大学;2012年
中国重要报纸全文数据库 前10条
1 贞;网页特效与瘦身专家[N];中国电脑教育报;2002年
2 ;网页图片保存“圣手”[N];中国电脑教育报;2005年
3 福建 陈旭波;网页图片切割能手[N];电脑报;2002年
4 江苏 许向前;把网页特效移到Authorware中[N];电脑报;2003年
5 北京 徐楠;渐变效果让你的网页更炫[N];电脑报;2002年
6 天津 武茂芹;轻松实现网页特效[N];电脑报;2003年
7 柏章兰;都匀市“万村千乡”网页建设工作实现乡村全覆盖[N];黔南日报;2011年
8 吴仁耀;用Visio制作特殊网页[N];中国电脑教育报;2004年
9 刘夫之;自己制作网页特效软件[N];中国电脑教育报;2003年
10 世纪鸟作坊 何勇平;网页图像效果[N];电脑报;2001年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978