收藏本站
《清华大学学报(自然科学版)》 2011年10期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

新浪微博数据挖掘方案

廉捷  周欣  曹伟  刘云  
【摘要】:随着新浪微博用户群体的增长,新浪微博的数据获取是微博研究首先需要解决的问题。该文提出了基于新浪微博API与基于页面解析的新浪微博数据获取方案。程序逻辑控制API调用方法与频率,获取JSON对象并解析实现高效数据获取。同时将传统的网络爬虫结合网页解析技术结合API同时使用,解决了因API接口开放不完善,且因在返回结果数量上限与调用频率方面的限制,导致不能有效实现新浪微博数据的全面获取的问题。经过实验测试,通过2套方案的结合可以实现新浪微博数据高效全面的获取。

【参考文献】
中国期刊全文数据库 前1条
1 欧健文,董守斌,蔡斌;模板化网页主题信息的提取方法[J];清华大学学报(自然科学版);2005年S1期
【共引文献】
中国重要会议论文全文数据库 前5条
1 李连霞;马军;陈竹敏;;基于多特征的网页内容提取研究[A];第三届和谐人机环境联合学术会议(HHME2007)论文集[C];2007年
2 王栋;陈勇;徐建良;;基于预测的BitTorrent种子评估方法[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
3 时达明;林鸿飞;杨志豪;;基于网页框架和规则的网页噪音去除方法[A];第三届学生计算语言学研讨会论文集[C];2006年
4 戴玉刚;;藏文网页采集技术研究[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
5 冯少卿;都云程;施水才;;基于模板的网页主题信息抽取[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
中国博士学位论文全文数据库 前1条
1 彭涛;面向专业搜索引擎的主题爬行技术研究[D];吉林大学;2007年
中国硕士学位论文全文数据库 前10条
1 杨春瑜;基于塑料产品意象认知模型的图像检索技术研究[D];浙江大学;2006年
2 刘飚;基于新型坐标树的页面分析和内容提取框架[D];北京邮电大学;2006年
3 李新安;基于领域主题的Web信息检索技术研究[D];山东大学;2006年
4 刘洁清;网站聚焦爬虫研究[D];江西财经大学;2006年
5 罗兵;支持AJAX的互联网搜索引擎爬虫设计与实现[D];浙江大学;2007年
6 徐冉;网页信息净化方法的研究与实现[D];哈尔滨工程大学;2007年
7 杜光芹;效用驱动的主题Web挖掘算法研究[D];山东师范大学;2007年
8 李文泽;个性化垂直搜索引擎研究[D];河南大学;2007年
9 王庆涛;基于本体的Web信息采集研究[D];中南大学;2007年
10 高岭;Deep Web分类搜索引擎关键技术研究[D];苏州大学;2007年
【同被引文献】
中国期刊全文数据库 前9条
1 夏天,樊孝忠,刘林;利用JNI实现ICTCLAS系统的Java调用[J];计算机应用;2004年S2期
2 马保国;侯存军;王文丰;钱方正;;Web数据挖掘技术及应用[J];计算机与数字工程;2006年06期
3 曼丽春,朱宏,杨全胜;Web数据挖掘研究与探讨[J];现代电子技术;2005年08期
4 高岩,胡静涛;Web数据挖掘的原理、方法及用途[J];现代图书情报技术;2002年03期
5 刘金红;陆余良;;主题网络爬虫研究综述[J];计算机应用研究;2007年10期
6 欧健文,董守斌,蔡斌;模板化网页主题信息的提取方法[J];清华大学学报(自然科学版);2005年S1期
7 许云,樊孝忠,张锋;基于知网的语义相关度计算[J];北京理工大学学报;2005年05期
8 李素建;基于语义计算的语句相关度研究[J];计算机工程与应用;2002年07期
9 刘丽珍,宋瀚涛;文本分类中的特征选取[J];计算机工程;2004年04期
中国硕士学位论文全文数据库 前1条
1 栾丽华;聚类算法研究[D];南京师范大学;2004年
【二级参考文献】
中国期刊全文数据库 前2条
1 欧健文,董守斌,蔡斌;模板化网页主题信息的提取方法[J];清华大学学报(自然科学版);2005年S1期
2 孔令波;唐世渭;杨冬青;王腾蛟;高军;;XML数据的查询技术[J];软件学报;2007年06期
【相似文献】
中国期刊全文数据库 前10条
1 陈丽纳;;微博客(Micro-blog)在图书馆中的应用研究[J];四川图书馆学报;2010年04期
2 ;[J];;年期
3 ;[J];;年期
4 ;[J];;年期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国知网广告投放
相关期刊
>四川图书馆学报
相关机构
>广州图书馆;
相关作者
>陈丽纳
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026