收藏本站
《电子制作》 2017年09期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

大数据环境下基于python的网络爬虫技术

谢克武  
【摘要】:随着互联网的发展壮大,网络数据呈爆炸式增长,传统搜索引擎已经不能满足人们对所需求数据的获取的需求,作为搜索引擎的抓取数据的重要组成部分,网络爬虫的作用十分重要,本文首先介绍了在大数据环境下网络爬虫的重要性,接着介绍了网络爬虫的概念,工作原理,工作流程,网页爬行策略,python在编写爬虫领域的优势,最后设计了一个通用网络爬虫的框架,介绍了框架中模块的相互协作完成数据抓取的过程。
【作者单位】重庆工商大学派斯学院软件工程学院;
【分类号】:TP391.3

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 彭轲;廖闻剑;;基于浏览器服务的网络爬虫[J];硅谷;2009年04期
2 王江红;朱丽君;李彩虹;;一种新型网络爬虫的设计与实现[J];微计算机信息;2010年03期
3 于成龙;于洪波;;网络爬虫技术研究[J];东莞理工学院学报;2011年03期
4 李志义;;网络爬虫的优化策略探略[J];现代情报;2011年10期
5 焦赛美;;网络爬虫技术的研究[J];琼州学院学报;2011年05期
6 宋海洋;刘晓然;钱海俊;;一种新的主题网络爬虫爬行策略[J];计算机应用与软件;2011年11期
7 王娟;吴金鹏;;网络爬虫的设计与实现[J];软件导刊;2012年04期
8 金鲁峰;邰剑秋;张旭;;基于关键词过滤与结构化输出的网络爬虫系统设[J];中国传媒科技;2012年07期
9 郭涛;黄铭钧;;社区网络爬虫的设计与实现[J];智能计算机与应用;2012年04期
10 吴菊英;贾炅昊;冯秀芳;;基于农业领域的网络爬虫[J];电脑开发与应用;2012年08期
中国重要会议论文全文数据库 前4条
1 夏诏杰;郭力;李晓霞;;化学主题网络爬虫的研究[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年
2 李楠;谷利泽;钮心忻;;用于XSS扫描的网络爬虫的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年
3 张军;于浩;内野宽治;;UGC中产品评论信息的挖掘[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
4 徐剑;柯贵明;;网络爬虫技术在搜索引擎中的应用[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026