收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

面向Web论坛的网络信息获取技术及系统实现

彭冬  蔡皖东  
【摘要】:网络爬虫技术是网络信息获取的重要手段,面向Web论坛的信息获取则是网络爬虫技术所面临的新课题。在分析和研究面向Web论坛信息获取技术的基础上,本文设计和实现了一种用于Web论坛信息获取的主题网络爬虫系统,根据Web论坛信息组织结构,提出了基于遍历策略的信息搜索技术;根据正文信息分布及论坛自身特点,提出了基于DOM与分块算法相结合的正文提取技术。实验结果表明,遍历策略比传统的网络爬虫遍历策略具有更高的效率,能够采集到更多主题相关度高的网页;经过噪声清洗处理后,有效提取网页正文,提高了信息采集精度。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 郑力明;易平;;基于HTMLParser信息提取的网络爬虫设计[J];微计算机信息;2009年15期
2 陈丽君;;深层网网络爬虫设计[J];计算机与信息技术;2009年Z2期
3 贺财平;覃事刚;刘建勋;;Web服务搜索引擎的设计与实现[J];计算机应用与软件;2011年01期
4 刘明辉;张志平;张新民;;网络资源聚合方法探析[J];机械管理开发;2008年05期
5 刘磊安;符志强;;基于Lucene.net网络爬虫的设计与实现[J];电脑知识与技术;2010年08期
6 张睿涵;林振荣;李建民;衷湾;;基于主题定制的专利网络爬虫的设计与实现[J];计算机与现代化;2011年07期
7 潘春华 ,常敏 ,武港山;面向Web的信息收集工具的设计与开发[J];计算机应用研究;2002年06期
8 王军;彭建;;网络爬虫的结构设计研究[J];科技信息(学术研究);2007年27期
9 何志文;郭利刚;;搜索引擎技术在互联网音视频节目监测系统中的应用[J];广播与电视技术;2009年03期
10 陈丽君;;深层网网络爬虫表单检测器设计[J];科技资讯;2009年16期
11 石柯;周利兵;陶文兵;;基于移动代理的MAISE爬虫的设计与实现[J];华中科技大学学报(自然科学版);2005年S1期
12 孟祥乾;叶允明;;一种新的网络爬虫带宽控制策略[J];微计算机信息;2008年33期
13 曹忠;赵文静;;一种优化的网络爬虫的设计与实现[J];电脑知识与技术;2008年35期
14 沈寿忠;张玉清;;基于爬虫的XSS漏洞检测工具设计与实现[J];计算机工程;2009年21期
15 李向阳;李铮;;基于Struts和Hibernate框架的比价网设计与实现[J];龙岩学院学报;2007年06期
16 尹江;尹治本;黄洪;;网络爬虫效率瓶颈的分析与解决方案[J];计算机应用;2008年05期
17 陈言;颜晨阳;;一种网络爬虫的带缓存非阻塞异步域名解析器模型及其性能分析[J];软件导刊;2009年11期
18 梁雪松;张容;;网络爬虫对网络安全的影响及其对策分析[J];计算机与数字工程;2009年12期
19 杨波;;链接分析中的数据采集技术研究[J];图书馆理论与实践;2010年10期
20 吴安清;张颖江;涂军;;主题搜索ROBOT综合爬行策略的研究[J];武汉理工大学学报;2006年02期
中国重要会议论文全文数据库 前2条
1 彭亮;卓新建;黄玮;范文庆;;基于网络爬虫的XSS漏洞扫描系统的设计与实现[A];第十三届中国科协年会第11分会场-中国智慧城市论坛论文集[C];2011年
2 丁永慧;辛阳;;XSS漏洞动态扫描系统的设计与实现[A];2011年亚太智能电网与信息工程学术会议论文集[C];2011年
中国博士学位论文全文数据库 前1条
1 吴永辉;面向专业领域的网络信息采集及主题检测技术研究与应用[D];哈尔滨工业大学;2010年
中国硕士学位论文全文数据库 前10条
1 赵艳;基于网络爬虫的跨站脚本漏洞动态检测技术研究[D];西南交通大学;2011年
2 杨超;基于网格的大规模网页采集技术研究[D];哈尔滨工业大学;2007年
3 刘哲;基于广域网的分布式网页信息获取系统的研究与实现[D];吉林大学;2008年
4 沈寿忠;基于网络爬虫的SQL注入与XSS漏洞挖掘[D];西安电子科技大学;2009年
5 耿乐群;基于主动搜索的论坛内容监管技术研究[D];哈尔滨工程大学;2011年
6 王建超;一体化网络分布式主动注册系统的设计与实现[D];北京交通大学;2008年
7 彭寒;Web应用安全漏洞测试工具Punks的设计与实现[D];西安电子科技大学;2007年
8 朱良峰;主题网络爬虫的研究与设计[D];南京理工大学;2008年
9 齐海凤;网络舆情热点发现与事件跟踪技术研究[D];哈尔滨工程大学;2008年
10 王栋;BitTorrent种子质量评估与检索系统设计[D];中国海洋大学;2008年
中国重要报纸全文数据库 前1条
1 伍裕标;网络监控STOP![N];中国电脑教育报;2003年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978