收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

多策略融合的微博数据获取技术研究

王培名  陈兴蜀  王海舟  王文贤  
【摘要】:微博正逐步成为公共信息传播的主要社交媒体,高效地获取微博数据对于网络舆情分析具有重要意义。以新浪微博为研究对象,研究了通过微博API、模拟登录和构造访客Cookie进行数据采集的3种方案,提出了一种多策略融合的微博数据采集方案。针对模拟登录的方案设计实现了自适应的并发采集算法,使数据采集较为稳定高效;针对构造访客Cookie的方案设计实现了高可用代理池模块,进一步提高了数据采集效率。实验结果表明,基于模拟登录的自适应并发采集策略和构造访客Cookie融合的方案能够高效、全面、稳定地获取微博数据。

知网文化
【相似文献】
中国期刊全文数据库 前19条
1 戚利娜;;基于Cookie的同域单点登录的实现[J];科技创新与应用;2017年16期
2 熊俊;;基于Cookie技术的信息安全研究[J];电脑开发与应用;2014年06期
3 古珊;;Cookie隐私是甜品还是陷阱?[J];信息安全与通信保密;2013年05期
4 李爱国;;基于Cookie的购物车设计与实现[J];信息技术;2013年06期
5 胡忠望;刘卫东;;Cookie应用与个人信息安全研究[J];计算机应用与软件;2007年03期
6 夏天;;彻底清查带毒的Cookie[J];互联网天地;2005年09期
7 魏雪峰;Cookie的使用与编程[J];天中学刊;2000年02期
8 王小红;;基于Cookie的单点登录认证机制实现[J];重庆工商大学学报(自然科学版);2014年08期
9 张开;;基于Cookie的单点登录实现[J];价值工程;2012年05期
10 徐璐;周安民;刘亮;周妍;;基于代理的Cookie保护技术研究[J];计算机应用研究;2012年08期
11 徐衍;;基于cookie的图书馆个性化网上信息服务研究[J];赤峰学院学报(自然科学版);2010年01期
12 王俊才;;一种基于Cookie的单点登录的设计和实现[J];计算机与数字工程;2008年04期
13 柏立团;;Cookie炙烤隐私权[J];董事会;2013年05期
14 杨文波;张辉;刘瑞;;基于Cookie的门户系统单点登录模型[J];计算机应用研究;2006年08期
15 胡南迪;;软件问答[J];电脑迷;2005年01期
16 桃子;小心!香喷喷的小甜饼可能会含“毒”[J];网络与信息;2005年11期
17 郑壮贤;李振坤;陈荣征;郑康亮;;基于Cookie的门户网站单点登录系统设计实现[J];计算机技术与发展;2008年06期
18 天秤雨;;.NET程序汉化一例——Cookie Crusher的汉化[J];软件;2002年11期
19 Iysofter;;快速清除隐藏在浏览器中的“变质甜饼”[J];网友世界;2011年08期
中国重要会议论文全文数据库 前9条
1 徐旭玲;;通过数据采集的方式验证和提升体验设计的实用方法[A];工业设计研究(第四辑)[C];2016年
2 汪先锋;;基于物联网技术的环境数据采集与传输系统[A];2013中国环境科学学会学术年会论文集(第三卷)[C];2013年
3 张淑娟;何勇;吴春霞;;虚拟仪器技术及其在农业工程数据采集与处理中的应用[A];2002农业工程青年科技论坛论文集[C];2002年
4 杨博文;刘太敏;;基于元数据的军用数据资源采集汇总系统的设计与实现[A];第六届中国指挥控制大会论文集(下册)[C];2018年
5 甘喜庆;谭菊;;移动GIS数据采集中样条曲线生成及应用[A];卫星导航定位与北斗系统应用2012[C];2012年
6 孙勇成;周献中;;HLA的数据采集与分析系统研究[A];2003年全国系统仿真学术年会论文集[C];2003年
7 徐卫国;;HPD与海道测量数据采集[A];中国航海学会航标专业委员会测绘学组学术研讨会学术交流论文集[C];2008年
8 陈宏斌;郑玉恒;范学峰;李兵;陈君;;城市一张图中基于MapMatrix+CASS+iData工具结合实现传统数据采集、整理、质检工序的一体化应用[A];全国测绘科技信息网中南分网第三十次学术信息交流会论文集[C];2016年
9 谢宏全;周立;;天宝GEOXT数据采集模式及精度研究[A];现代空间定位技术应用研讨交流会论文集(第5卷 第3集)[C];2007年
中国博士学位论文全文数据库 前3条
1 朱磊;基于自适应邻域概念的视频图像处理技术研究[D];中国科学技术大学;2007年
2 江泽涛;从序列图象重建三维物体形状方法研究[D];西北工业大学;2006年
3 马英杰;基于3GS的核勘查数据采集及处理系统研究[D];成都理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 宋丽萍;基于Cookie的数字标签的制作与应用[D];西安工业大学;2016年
2 徐步峰;单点登录在企业系统集成中的应用[D];华东理工大学;2016年
3 陆园;基于客户端个性化栏目定制组件的研究与实现[D];西安建筑科技大学;2008年
4 陈飞;基于Cookie会话保持的LVS集群系统研究[D];重庆大学;2013年
5 郭梓平;自动机和拦截器在信息系统中的实现和应用-A设备公司管理信息系统[D];河北大学;2015年
6 缪秀诚;基于WebGIS的城市危旧房屋监管系统研究与实现[D];浙江工业大学;2018年
7 孟宪宇;基于NB-IoT的充电桩数据监测系统的研究[D];哈尔滨理工大学;2018年
8 秦健;旅游者时空行为数据采集分析平台的设计与实现[D];山东大学;2018年
9 张昊翔;多源异构设备的数据采集及智能物流集成技术的研究[D];长春理工大学;2018年
10 王志韬;基于微信硬件的数据采集及发布系统的设计开发[D];广东工业大学;2018年
中国重要报纸全文数据库 前8条
1 乐天 编译;新一代浏览器的安全保卫战[N];计算机世界;2009年
2 本报记者 田园;欧洲将严管手机指纹识别[N];通信产业报;2014年
3 赵阳 沈求一;数据库里觅商机[N];东方烟草报;2017年
4 ;IBM IM独特的数据采集工具[N];中国计算机报;2002年
5 廖军傅作良 王继晔;陕西建立数据采集报送长效机制[N];中国交通报;2008年
6 徐 斌;用VB实现高精度实时数据采集[N];计算机世界;2002年
7 陈淑娟;房地产信息化:从数据采集到数据分析[N];计算机世界;2006年
8 天津 宋琨;勤劳的“洗窗工人”[N];电脑报;2001年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978