收藏本站
《电信科学》 2013年08期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于微博API的分布式抓取技术

陈舜华  王晓彤  郝志峰  蔡瑞初  肖晓军  卢宇  
【摘要】:随着微博用户的迅猛增长,越来越多的人希望从用户的行为和微博内容中挖掘有趣的模式。针对如何对微博数据进行有效合理的采集,提出了基于微博API的分布式抓取技术,通过模拟微博登录自动授权,合理控制API的调用频次,结合任务分配控制器高效地获取微博数据。该分布式抓取技术还结合时间触发和内存数据库技术实现重复控制,避免了数据的重复爬取和重复存储,提高了系统的性能。本分布式抓取技术具有可扩展性高、任务分配明确、效率高、多种爬取策略适应不同的爬取需求等特点。新浪微博数据爬取实例验证了该技术的可行性。
【作者单位】广东工业大学计算机学院;广州优亿信息科技有限公司;
【分类号】:TP393.092

手机知网App
【参考文献】
中国期刊全文数据库 前7条
1 唐波;;网络爬虫的设计与实现[J];电脑知识与技术;2009年11期
2 漆晨曦;;电信企业大数据分析、应用及管理发展策略[J];电信科学;2013年03期
3 王晶;朱珂;汪斌强;;基于信息数据分析的微博研究综述[J];计算机应用;2012年07期
4 李保秀;;微博社交网络舆情监测指标体系构建[J];科技广场;2012年04期
5 廉捷;周欣;曹伟;刘云;;新浪微博数据挖掘方案[J];清华大学学报(自然科学版);2011年10期
6 王亮;;SNS社交网络发展现状及趋势[J];现代电信科技;2009年06期
7 李军;陈震;黄霁崴;;微博影响力评价研究[J];信息网络安全;2012年03期
中国硕士学位论文全文数据库 前1条
1 王娟;微博客用户的使用动机与行为[D];山东大学;2010年
【共引文献】
中国期刊全文数据库 前10条
1 陈蕾;;社会资本视野下的SNS网站[J];北方文学(下半月);2011年11期
2 李慧慧;;移动SNS——人类交流的又一延伸[J];东南传播;2010年05期
3 雷轶;;我国SNS社交网站的盈利模式研究[J];电子商务;2011年07期
4 刘晓丽;宋朝霞;;SNS网站与搜索引擎融合的可能性和策略探讨[J];电子商务;2011年09期
5 肖扬;段学东;;敏捷开发方法下的基于LBS的篮球类体育SNS社区的设计[J];福建电脑;2012年03期
6 李天健;;改善社交网络安全对策思考[J];计算机光盘软件与应用;2012年04期
7 刘燕锦;;社交网站和微博的信息传播比较——以社会网络分析结果为依据[J];东南传播;2012年09期
8 张国安;钟绍辉;;基于k均值聚类的微博用户分类的研究[J];电脑知识与技术;2012年26期
9 张国安;钟绍辉;;基于微博用户评论和用户转发的数据挖掘[J];电脑知识与技术;2012年27期
10 周怡;;高校学生使用微博状况及其影响评价分析[J];长沙通信职业技术学院学报;2012年04期
中国重要会议论文全文数据库 前1条
1 单铁城;张安妮;马德辉;;基于爬虫改进算法的个性化搜索引擎应用研究[A];战略性新兴产业与科技支撑——2012年山东省科协学术年会论文集[C];2012年
中国博士学位论文全文数据库 前2条
1 王睿;企业微博营销影响因素与短期效果测量研究[D];北京邮电大学;2012年
2 吴保来;基于互联网的社交网络研究[D];中共中央党校;2013年
中国硕士学位论文全文数据库 前10条
1 马晓宁;中国微博客价值与发展研究[D];南昌大学;2010年
2 王立民;中国SNS网站发展策略研究[D];华东理工大学;2011年
3 李峰;我国休闲娱乐型SNS网站发展的传播学分析[D];山东师范大学;2011年
4 邓冬娜;新浪微博商业模式发展研究[D];西北大学;2011年
5 杨莉;基于SNS的主题式协作学习平台研究[D];西南大学;2011年
6 张钰雪;新浪微博传播机制研究[D];西南大学;2011年
7 武茜;基于Qt的移动微博系统客户端设计与实现[D];北京邮电大学;2011年
8 殷崴;SNS社交网站成员在不同信任模式下使用动机与行为研究[D];北京邮电大学;2011年
9 蓝勤华;用户创造内容(UGC)动机研究[D];南京大学;2011年
10 高娴子;近年来我国社交网络发展研究[D];暨南大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 张彦超;刘云;李勇;沈波;;基于自动生成模板的Web信息抽取技术[J];北京交通大学学报;2009年05期
2 刘晖;;Twitter:微博客时代的到来[J];传媒;2009年10期
3 李丹;;社交网站用户的行为和动机[J];传媒观察;2009年04期
4 刘文勇;;新时代传播的宠儿——病毒式传播[J];东南传播;2007年09期
5 刘丽清;;微博虽“微”足值道尔——微博特性之浅析[J];东南传播;2009年11期
6 许晓东;肖银涛;朱士瑞;;微博社区的谣言传播仿真研究[J];计算机工程;2011年10期
7 袁鹏亮;;基于Pagerank网页排名技术计算方法的探讨[J];农业网络信息;2007年12期
8 周立柱,林玲;聚焦爬虫技术研究综述[J];计算机应用;2005年09期
9 刘金红;陆余良;;主题网络爬虫研究综述[J];计算机应用研究;2007年10期
10 姚峰;;Java平台中Base64编码/解码算法的改进[J];计算机应用与软件;2008年12期
中国重要报纸全文数据库 前2条
1 马晓芳;[N];第一财经日报;2009年
2 本报记者 刘菁菁;[N];计算机世界;2009年
中国博士学位论文全文数据库 前1条
1 陈锡钧;网络即时传播软件使用者需求研究[D];复旦大学;2007年
中国硕士学位论文全文数据库 前4条
1 汪名彦;博客用户写作动机与写作行为的关系研究[D];浙江大学;2006年
2 刘耀庭;社交网络结构研究[D];浙江大学;2008年
3 赵青;高校研究生网络依赖的动机研究[D];东北师范大学;2008年
4 王娟;微博客用户的使用动机与行为[D];山东大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 刘兴平;马燕;杜利峰;;插件技术研究初探[J];延安大学学报(自然科学版);2006年01期
2 刘建明;贺占庄;;面向用户的1553B指令系统设计[J];微电子学与计算机;2006年06期
3 周强,罗志强;SCI协议标准综述[J];航空电子技术;2001年02期
4 叶安胜;周晓清;;ADO.NET通用数据库访问组件构建与应用[J];现代电子技术;2009年18期
5 章美仁;李希文;;基于XML的数据操作描述语言设计[J];台州学院学报;2009年03期
6 叶海明;周绍磊;徐俊彦;;通用测试系统模型化技术研究[J];计算机测量与控制;2009年09期
7 陈然,杜晓黎;基于统一接口的机群中交换机监控系统的设计[J];计算机工程;2005年16期
8 董涌江;;全插件GIS应用框架的设计与实现[J];北京测绘;2009年01期
9 叶传华;;基于C#.NET的通用数据访问接口的实现与应用[J];数字技术与应用;2010年10期
10 肖建清;丁德馨;张萍;徐根;;插件式疲劳分析软件的体系结构研究[J];计算机工程与设计;2009年12期
中国重要会议论文全文数据库 前10条
1 袁松贵;吴敏;何勇;付成宏;;基于二维模型的非脆弱离散重复控制[A];第二十九届中国控制会议论文集[C];2010年
2 兰永红;吴敏;佘锦华;;基于二维混合模型的最优重复控制[A];第二十六届中国控制会议论文集[C];2007年
3 聂智军;王宝园;;基于分区策略的RANS方程并行算法可扩展性分析[A];计算流体力学研究进展——第十二届全国计算流体力学会议论文集[C];2004年
4 李芳;边馥苓;;构件化GIS的可扩展性研究[A];第四届海峡两岸GIS发展研讨会暨中国GIS协会第十届年会论文集[C];2006年
5 赵佳;关淼;沈颂华;王永;;基于重复控制技术的航空静止变流器[A];2006中国电工技术学会电力电子学会第十届学术年会论文摘要集[C];2006年
6 侯婷;裴雪军;刘明先;康勇;;大功率组合式三相逆变电源的控制技术研究[A];2006中国电工技术学会电力电子学会第十届学术年会论文摘要集[C];2006年
7 武健;郭伟峰;徐殿国;;基于重复控制的并联混合有源滤波器实验研究[A];2008中国电工技术学会电力电子学会第十一届学术年会论文摘要集[C];2008年
8 简林柯;李新忠;何钺;;重复控制及其在多致动器同步运动控制中的应用[A];1997年中国控制会议论文集[C];1997年
9 郭丹旦;刘向东;张宇河;苏延雄;;伺服系统摩擦补偿的重复控制策略[A];第二十一届中国控制会议论文集[C];2002年
10 高保忠;;对等网的流量拥塞问题研究[A];山东省计算机学会2005年信息技术与信息化研讨会论文集(一)[C];2005年
中国重要报纸全文数据库 前10条
1 本报记者 余侃;借力“333”系统无短板[N];中国电脑教育报;2009年
2 本报记者 梁靓;DiiVA接口加速普及 中国增强话语权[N];中国电子报;2009年
3 於红斌 本报特约记者 丁顺国;为战时保障预留接口[N];解放军报;2009年
4 胡强;手机充电器标准升级有望年内获批[N];经理日报;2009年
5 中国软件评测中心媒体测试部;以最精简配置 提供最高性价比[N];中国计算机报;2008年
6 王松涛;重庆:家装应设置信息化接口[N];中国建设报;2008年
7 杜树臻 张立平;抓好接口补差训练[N];中国国防报;2001年
8 本报记者 胡强;手机充电器标准升级年内完成[N];通信产业报;2009年
9 本报记者 胡强;手机充电器接口年内统一[N];通信产业报;2009年
10 何丹婵 实习生 姜樊;DiiVA接口将看电视转为用电视[N];科技日报;2009年
中国博士学位论文全文数据库 前10条
1 赵富;低频线振动台的重复控制研究[D];哈尔滨工业大学;2010年
2 赵富;低频线振动台的重复控制研究[D];哈尔滨工业大学;2010年
3 王之元;并行计算可扩展性分析与优化[D];国防科学技术大学;2011年
4 陈东;并网逆变器系统中的重复控制技术及其应用研究[D];浙江大学;2013年
5 陈宏;基于重复控制理论的逆变电源控制技术研究[D];南京航空航天大学;2003年
6 兰永红;基于二维模型的重复控制系统分析与设计[D];中南大学;2010年
7 周兰;基于连续—离散二维模型的周期系数线性系统鲁棒重复控制设计[D];中南大学;2011年
8 陈军;分布式存储环境下并行计算可扩展性的研究与应用[D];中国人民解放军国防科学技术大学;2000年
9 陈娟;伺服系统低速特性与抖动补偿研究[D];中国科学院长春光学精密机械与物理研究所;2001年
10 周伯生;移动自组网络中可扩展性路由策略研究[D];东南大学;2003年
中国硕士学位论文全文数据库 前10条
1 吴昊;USB-PC104接口的设计与实现[D];四川大学;2005年
2 王森;虹膜生物识别软件系统框架设计[D];吉林大学;2005年
3 陈建;基于Domino/Notes平台下的办公自动化设计[D];电子科技大学;2005年
4 高俊杰;基于OPC的实时数据库技术与应用[D];北京化工大学;2005年
5 曲艳华;光学电流互感器在继电保护中的应用[D];华北电力大学(河北);2005年
6 邢云涛;面向对象数据库ONet系统组件化体系的重构与实现[D];浙江大学;2006年
7 莫非;win版纳税申报录入系统的开发与加密[D];天津大学;2004年
8 高育鹏;嵌入式网络测控服务器的研究与实现[D];西北工业大学;2006年
9 李建军;基于COM/DCOM的组件技术研究与应用[D];同济大学;2006年
10 姜国树;大连网通软交换网的设计与实现[D];大连海事大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026