收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于Scrapy-Redis分布式数据采集平台的设计与实现

严慧  彭绪富  朱小婉  熊旭辉  董叶豪  
【摘要】:针对微博平台大数据的采集、挖掘、分析等热点问题,深入介绍并分析了采集平台的相关理论技术,通过对采集平台功能结构及后台数据库设计、页面爬取和解析、反爬虫的应用技术设计、分布式策略设计等四个方面的技术研究,设计并实现了一种基于分布式的微博数据采集平台;给出了主从模式系统架构;达到了用户只需根据需要输入待爬取微博页面的ID,并选择要采集的数据类型,即可获得所需数据的目的。经测试,系统搭建成本低,爬取性能高,可运用于微博数据的舆情分析和数据调研等研究方面的基础数据采集。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 严慧;彭绪富;朱小婉;熊旭辉;董叶豪;;基于Scrapy-Redis分布式数据采集平台的设计与实现[J];湖北师范大学学报(自然科学版);2019年01期
2 管宇旻;汤亚杰;徐剑桥;;计量检测数据采集与智能化管理[J];上海计量测试;2017年04期
3 王宗亮;徐杭田;董国保;;基于断路器校验装置的数据采集与处理系统设计[J];机电一体化;2009年03期
4 徐旭玲;;通过数据采集的方式验证和提升体验设计的实用方法[J];工业设计研究;2016年00期
5 韦建杰;;云计算环境下的数据采集模型分析[J];信息通信;2014年07期
6 ;《数据采集与处理》2013年(第28卷1~6期)总目次[J];数据采集与处理;2013年06期
7 罗建;刘国良;郑伟;;云计算在能源数据采集上的运用[J];计量与测试技术;2013年09期
8 ;致谢[J];数据采集与处理;2012年06期
9 ;数据采集与处理2012年(第27卷1~6期)总目次[J];数据采集与处理;2012年06期
10 ;《数据采集与处理》第六届编委会第二次会议在沈阳召开[J];数据采集与处理;2009年05期
11 张得生;;通信计费数据采集与传输融合技术的研究[J];电脑开发与应用;2008年05期
12 曾祥兴;;RFID在生产物流数据采集中的应用[J];物流科技;2007年12期
13 陈萍;孙利;陈华丽;;通信计费数据采集与传输的研究与探讨[J];商场现代化;2006年20期
14 ;数据采集与处理2005年(第20卷1一4期)总目次[J];数据采集与处理;2005年04期
15 ;NI-DAQ7把数据采集的速度提高了1000倍[J];计算机测量与控制;2004年06期
16 ;《数据采集与处理》编委会在徐州召开[J];数据采集与处理;2000年02期
17 沙丽杰;单片机数据采集—分析器[J];微型机与应用;1996年11期
18 赵树杰;;悬浮高压大电流信号的数据采集[J];西北电讯工程学院学报;1987年02期
19 叶平;;SERIES 500数据采集和控制系统的应用及程序设计[J];微计算机应用;1987年02期
20 黄东;蒋珉;陈宝根;;微机辨识系统的数据采集与实时预处理[J];南京工学院学报;1987年04期
中国重要会议论文全文数据库 前10条
1 常琳;;煤炭产量数据采集[A];第18届全国煤矿自动化与信息化学术会议论文集[C];2008年
2 柴清和;柴立和;邱传飞;;“智能尘埃”的数据采集与处理[A];第三届全国信息获取与处理学术会议论文集[C];2005年
3 王磊;马婉丽;姚成虎;;U盘功能在数据采集仪器中的应用和设计[A];第二届全国信息获取与处理学术会议论文集[C];2004年
4 程军红;刘乘;;基于FPGA的运输环境数据采集与分析系统[A];第十三届全国包装工程学术会议论文集[C];2010年
5 陈烜;;烟草工业企业卷接包设备数据采集准确性研究[A];中国烟草学会2014年学术年会入选论文摘要汇编[C];2014年
6 曹阳;;辽化公司炼油厂计算机实时数据采集网络系统的设计与实施[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
7 陈佳佳;胡俊杰;刘丽芳;;媒体数据采集与融合[A];中国新闻技术工作者联合会2017年学术年会论文集(学术论文篇)[C];2017年
8 张兴会;赵杰;陈增强;袁著祉;;智能数据采集系统的研究[A];中国仪器仪表学会第三届青年学术会议论文集(下)[C];2001年
9 谢仁宁;郭隐彪;黄浩;;基于高精度非球面测量的数据采集与处理系统研究[A];福建省科协第三届学术年会装备制造业专题学术年会论文集[C];2003年
10 王双群;向文国;蔡瑞洪;;实验室数据采集与处理系统[A];江苏省能源研究会第七届学术年会论文集[C];1998年
中国博士学位论文全文数据库 前4条
1 吴军;可用于大科学装置的数据采集和信号处理系统的研究[D];中国科学技术大学;2017年
2 邵苏杰;面向智能配用电网数据釆集的流量调度机制[D];北京邮电大学;2015年
3 荆刚;采集树网络中可靠数据采集与配置研究[D];山东大学;2013年
4 于瑞云;无线传感器网络中面向数据采集的支配集算法与策略研究[D];东北大学;2009年
中国硕士学位论文全文数据库 前10条
1 邓栋;氧化生产线数据采集及信息化系统设计与实现[D];电子科技大学;2018年
2 张东旭;基于FPGA的可数据采集且远程数据传输的光电测试系统设计[D];吉林大学;2018年
3 刘琬琦;基于物联网和机器学习的室内环境数据采集与监测系统[D];天津大学;2018年
4 张艳兵;面向露天矿卡车调度的数据采集与处理系统的设计与实现[D];东北大学;2015年
5 许天一;基于电力载波的家庭电力能耗监测系统设计[D];华中师范大学;2018年
6 王少青;基于分簇的动态WSN数据采集协议设计与分析[D];曲阜师范大学;2018年
7 李帆;基于AVR单片机实时数据采集系统的实现[D];哈尔滨工业大学;2017年
8 秦健;旅游者时空行为数据采集分析平台的设计与实现[D];山东大学;2018年
9 张昊翔;多源异构设备的数据采集及智能物流集成技术的研究[D];长春理工大学;2018年
10 李伟;基于CortexA9和B/S架构的工业现场数据采集与监测系统[D];湖南大学;2018年
中国重要报纸全文数据库 前7条
1 本报见习记者 朱颖婕;让“望闻问切”站上人工智能“风口”[N];文汇报;2017年
2 美国吉时利仪器公司中国区业务拓展总监 王中武;数据采集新技术满足高精度高速度高密度需求[N];中国电子报;2008年
3 记者 吴苡婷;可在大范围冰面上进行数据采集分析[N];上海科技报;2014年
4 雪岩;数据采集实现风险分散[N];中国计算机报;2004年
5 Wonderware公司;数据采集实现风险分散[N];中国计算机报;2003年
6 本报记者 姜姝;移动数据采集打通信息化“最后一公里”[N];中国信息化周报;2013年
7 丁劲生 安化萍;缓冲材料振动传递特性试验的数据采集及处理系统[N];中国包装报;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978