| | | | | 数据挖掘技术在Web预取中的应用研究 | | | 徐宝文;张卫丰 | | | WWW以其多媒体的传输及良好的交互性而倍受青睐 .虽然近几年来网络速度得到了很大的提高 ,但是由于接入 Internet的用户数量剧增以及 Web服务和网络固有的延迟 ,使得网络越来越拥挤 ,用户的服务质量得不到很好的保证 .为此文中提出了一种智能 Web预取技术 ,它能够加快用户浏览 Web页面时获取页面的速度 .该技术通过简化的 WWW数据模型表示用户浏览器缓冲器中的数据 ,在此基础上利用数据挖掘技术挖掘用户的兴趣关联规则 ,存放在兴趣关联知识库中 ,作为对用户行为进行预测的依据 .在用户端 ,智能代理负责用户兴趣的挖掘及基于兴趣关联知识库的 Web预取 ,从而对用户实现透明的浏览器加速 .
【作者单位】：东南大学计算机科学与工程系!南京210096(徐宝文);武汉大学国家软件重点实验室!武汉430072(张卫丰)
【关键词】：WWW;互联网;数据模型;数据挖掘;预取
【基金】：国家自然科学基金! (6 0 0 730 12 );教育部高等学校骨干教师资助计划资助
【分类号】：TP311
【DOI】：cnki:ISSN:0254-4164.0.2001-04-014
【正文快照】：
1 引 言随着 Internet技术的飞速发展 ,WWW以其多媒体的传输及良好的交互性而倍受青睐 [1,2 ] .虽然近几年来网络速度得到了很大的提高 ,但是由于接入Internet的用户数量剧增以及 Web服务和网络固有的延迟 ,使得网络越来越拥挤 ,用户的服务质量(Qo S)得不到很好的保证 .WWW以 | | | | | |  推荐 下载CAJ全文  下载PDF全文 | | | CAJViewer7.0阅读器支持所有CNKI文件格式，AdobeReader仅支持PDF格式 | | | | Applying Data Mining to Web Pre-Fetching | | | XU Bao Wen ZHANG Wei Feng (Department of Computer Science and Engineering;Southeast University;Nanjing 210096) (National Key Laboratory of Software Engineering;Wuhan University;Wuhan 430072) | | | WWW is popular for its multimedia transmission and friendly interactivity. Although the speed of network has been improved considerably in recent years, the rapid expansion of using the Internet, the inherited character of delay in the network and the Request/Response working mode of WWW still make the Internet traffic very slow and give no guarantee on the Quality of Service. Because HTTP has no states, the web server cannot know the users' demand and the users' requests cannot be predicted. Taking advantage of a cache mechanism and the time locality of WWW accesses, the browser can preserve the documents ever accessed in the local machine. By this means, for the documents in the local cache, the browser does not need to send the requests to the remote server or to receive the whole responses from the remote one. Pre fetching uses the space locality of accesses. First, the users' access requests are predicted according to the users' current request. Secondly, the expected pages are fetched into the local cache when the user is browsing the current page. Finally, the users can access these pages downloaded from the local cache. And this can reduce the access delay to some degrees. Pre fetching is one kind of active caches that can cache the pages which are still not requested by the user. The application of pre fetching technology in the web can greatly reduce the waiting time after users have sent their requests. This paper brings forward an intelligent technique of web pre fetching, which can speed up fetching web pages. In this technique, we use a simplified WWW data model to represent the data in the cache of web browser to mine the association rules. We store these rules in a knowledge base so as to predict the user's actions. In the client sides, the agents are responsible for mining the users' interest and pre fetching the web pages, which are based on the interest association repository. Therefore it is transparent for the users to speed up the browsing.
【Keyword】：WWW, Internet, data model, data mining, pre fetching |
| | | | | | 1 | 张卫丰,徐宝文,周晓宇; Web页面中元素间交互技术研究 [J]; 计算机工程; 2000年08期 | | 2 | 张卫丰,徐宝文; Web搜索引擎框架研究 [J]; 计算机研究与发展; 2000年03期 | | 3 | 邹涛,王继成,朱华宇,金翔宇,张福炎; WWW上的信息挖掘技术及实现 [J]; 计算机研究与发展; 1999年08期 | | 4 | 陈滢,徐宏炳,王能斌; WWW分布数据源研究——数据模型和查询语言 [J]; 软件学报; 1998年08期 | | 5 | 张卫丰,徐宝文,周晓宇; Web页面中计数器技术研究 [J]; 小型微型计算机系统; 2000年10期 | | 6 | 张卫丰,徐宝文,许蕾,陈振强,赵凯华; 利用Agent个性化搜索结果 [J]; 小型微型计算机系统; 2001年06期 |
|
| | | | | | 1 | 孙新燕,郑文艳,房晓东; 浅析Web数据挖掘在电子商务中的应用 [J]; 福建电脑; 2007年06期 | | 2 | 王文林,廖建新,朱晓民,王纯; VoiceXML语音平台中的语音资源预取算法 [J]; 北京邮电大学学报; 2007年01期 | | 3 | 赵欣欣,索红光,刘玉树,张利萍; 基于带权语义距离的网页预取方法 [J]; 北京理工大学学报; 2006年08期 | | 4 | 许亮,李明,梁素田,侯耕; 数据挖掘技术在电子商务中的应用 [J]; 甘肃科学学报; 2002年S1期 | | 5 | 董玉德,王志诚,王明保,李道伦; 基于WEB课件中动态题库的设计与开发 [J]; 安徽纺织职业技术学院学报; 2003年01期 | | 6 | 高洪歌,赵会群; 关联规则挖掘在乒乓球比赛技战术分析中的应用 [J]; 北方工业大学学报; 2006年01期 | | 7 | 王文林,廖建新,朱晓民,王纯; VoiceXML语音平台中预取方案的研究 [J]; 电子与信息学报; 2007年11期 | | 8 | 袁鸿雁; Web数据挖掘技术在电子商务中的应用研究 [J]; 电脑与电信; 2008年03期 | | 9 | 王秀坤,王宇宁,陈浩; 基于改进的隐马尔可夫模型的网页预取 [J]; 吉林大学学报(信息科学版); 2008年01期 | | 10 | 杨洁; 一种改进Apriori的个性化信息推荐算法 [J]; 电脑知识与技术; 2008年24期 |
|
| | | | | | 1 | 黄素珍,陈宁江,苏德富; 并发多元搜索引擎的研究与应用 [J]; 广西大学学报(自然科学版); 2005年02期 | | 2 | 王振海,刘庆虎; 基于WWW的图像搜索引擎 [J]; 福建电脑; 2005年02期 | | 3 | 唐亮贵; 电子商务中数据库应用技术综述 [J]; 重庆商学院学报; 2001年02期 | | 4 | 王燕玲,甘文丽,张昭瑜; 面向学科的个性化元搜索引擎分析和设计 [J]; 大众科技; 2007年02期 | | 5 | 邓丽,吴扬扬; 挖掘Web数据 [J]; 福建电脑; 2003年08期 | | 6 | 高文杰,刘素兰; 一种基于WWW的INTERNET信息开采系统 [J]; 电脑与信息技术; 2000年03期 | | 7 | 张脂平,林世平; Web文本挖掘中特征提取算法的分析及改进 [J]; 福州大学学报(自然科学版); 2004年S1期 | | 8 | 韩惠琴,刘柏嵩,董其军; 知识发现在数字图书馆中的应用 [J]; 大学图书馆学报; 2001年01期 | | 9 | 席俊杰,胡勇,贾凤国; 基于信息挖掘技术的设备前期管理研究 [J]; 成组技术与生产现代化; 2003年02期 | | 10 | 李业丽,陆利坤; 数据挖掘在虚拟企业联盟中的应用研究 [J]; 北京印刷学院学报; 2004年01期 |
|
| | | | | | 1 | 姜云洲,齐德昱; 一种基于XML的付费搜索服务业务流模型 [A];第一届全国Web信息系统及其应用会议（WISA2004）论文集 [C]; 2004年 | | 2 | 朴星海,赵铁军,郑德权,张迪; 面向Blog的网络爬行器设计与实现 [A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集 [C]; 2006年 | | 3 | 李振星,任继成,唐卫清,唐荣锡; 专用搜索引擎中信息采集的预测与过滤方法 [A];搜索引擎与Web挖掘进展——全国搜索引擎和网上信息挖掘学术研讨会论文集 [C]; 2003年 | | 4 | 鄢丹,刘杰,李洁; 基于信息技术的食源性疾病防范体系 [A];2004年生命系统建模仿真国际会议暨第一届全国生命系统建模仿真学术会议论文集 [C]; 2004年 | | 5 | 栾悉道,谢毓湘,文军,吴玲达; 基于知识库的主动式专题搜索引擎 [A];第一届建立和谐人机环境联合学术会议（HHME2005）论文集 [C]; 2005年 | | 6 | 李振星,徐泽平; 基于兴趣模型的WEB信息预测采集过滤方法 [A];第一届学生计算语言学研讨会论文集 [C]; 2002年 | | 7 | 陶兰,李四明,冯爽; 面向领域的网上信息挖掘系统研究与实现 [A];第六届全国计算机应用联合学术会议论文集 [C]; 2002年 | | 8 | 胥永康,岳筱玲; 浅谈网络信息挖掘应用技术 [A];第一届全国Web信息系统及其应用会议（WISA2004）论文集 [C]; 2004年 |
|
| | | | | | 1 | Scott M,Daniel C B,Jerry C,et al; Voice extensiblemarkup language(VoiceXML)version 2.0[EB/OL] [M];http:∥www.w3.org/TR/voicexml20/2004.; [2006-02-07]年 | | 2 | Marcatos E P,Chronaki C E; A Top-10 approach toprefetching the web[EB/OL] [M];Proceedings of the EighthAnnual Conference of the Internet Society; [2006-02-07]年 | | 3 | Chinen K,Yamaguchi S; An interactive prefetchingproxy server for improvement of WWW latency[C] [M];Proceedings of the Seventh Annual Conference of InternetSociety; 1997年 | | 4 | Davison B D; Predicting web actions from html content[C] [M];Proceedings of the Thirteenth ACM Conference onHypertext and Hypermedia; 2002年 | | 5 | Davison B D; Web traffic logs:an imperfect resource forevaluation[C] [M];Proceedings of the Ninth Annual Confer-ence of the Internet Society; 1999年 | | 6 | Yang Q,Henry Zhang H H,Li T Y; Mining web logsfor prediction models in WWW caching and prefetching[C] [M];The Seventh ACM SIGKDD International Confer-ence on Knowledge Discovery and Data Mining KDD 01; 2001年 | | 7 | Deshpande M,Karypis G; Selective Markov models forpredicting web-page accesses[J] [M];ACM Transactions onInternet Technology; 2004年 | | 8 | Lei H,Duchamp D; An analytical approach to fileprefetching[C] [M];Proceedings of Usenix 1997 AnnualEchnical Conference; 1997年 | | 9 | Jiang Z,Kleinrock L; An adaptive network prefetchscheme[J] [M];IEEE Journal on Selected Areas in Commu-nications; 1998年 | | 10 | Borges J,,Levene M; An Average Linear Ti me Algorithmfor Web Usage Mining[J] [M];International Journal of Information Technology and Decision Making; 2004年 |
|
| | | | | | 1 | 张卫丰,徐宝文,许 蕾; Web页面安全性技术初探 [J]; 计算机工程与应用; 2000年11期 | | 2 | 张卫丰,徐宝文; Web搜索引擎框架研究 [J]; 计算机研究与发展; 2000年03期 | | 3 | 邹涛,王继成,朱华宇,金翔宇,张福炎; WWW上的信息挖掘技术及实现 [J]; 计算机研究与发展; 1999年08期 | | 4 | 姚郑,高文; 面向Agent的程序设计 [J]; 软件学报; 1997年11期 | | 5 | 张晓辉,邵华,常桂然; WWW上的信息发现与搜索引擎技术 [J]; 小型微型计算机系统; 1998年06期 |
|
| | | | | | 1 | 孙新燕,郑文艳,房晓东; 浅析Web数据挖掘在电子商务中的应用 [J]; 福建电脑; 2007年06期 | | 2 | 陈延寿; 浅谈电子商务与数据挖掘 [J]; 中国管理信息化(综合版); 2007年05期 | | 3 | 魏雄; 决策树算法在股票分析与预测中的应用 [J]; 电脑知识与技术(学术交流); 2007年09期 | | 4 | 沈锡宾,汪谋岳,钱寿初,刘晖,刘冬云,顾佳; 中华医学会系列杂志网站的调查和评估 [J]; 编辑学报; 2004年04期 | | 5 | 连瑞梅; 电子商务中Web页面个性化推荐系统的架构 [J]; 中国管理信息化(综合版); 2007年09期 | | 6 | 朱畅华,裴昌幸,李建东,彭爱华,肖海云; 分布式网络测量和分析基础架构研究与实现 [J]; 北京邮电大学学报; 2004年S1期 | | 7 | 王翠萍; 个性化信息资源组织的拓展模式 [J]; 国家图书馆学刊; 2005年03期 | | 8 | 蔺世杰,李明杰; 基于Web挖掘的个性化信息服务系统的设计 [J]; 常熟理工学院学报; 2006年06期 | | 9 | 纪良浩,王国胤,杨勇; 基于协作过滤的Web日志数据预处理研究 [J]; 重庆邮电学院学报(自然科学版); 2006年05期 | | 10 | 李向伟,仇德成; 数据挖掘技术在Web中的应用研究 [J]; 电脑知识与技术; 2006年02期 |
|
| | | | | | 1 | 朱畅华,裴昌幸,李建东,彭爱华,肖海云; 分布式网络测量和分析基础架构(DNMAI)研究与实现 [A];中国通信学会信息通信网络技术委员会2003年年会论文集 [C]; 2003年 | | 2 | 朱畅华,裴昌幸,李建东,彭爱华,肖海云; 分布式网络测量和分析基础架构研究与实现 [A];2003年中国通信学会信息通信网络技术年会论文集 [C]; 2003年 | | 3 | 张艳,周国祥; Web挖掘在个性化信息检索中的应用 [A];全国第18届计算机技术与应用（CACIS）学术会议论文集（上册） [C]; 2007年 | | 4 | 张艳,周国祥; Web挖掘在个性化信息检索中的应用 [A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集 [C]; 2007年 | | 5 | 徐羽琼,李石坚,姚敏; 基于情境感知的个性化邮件服务 [A];第四届和谐人机环境联合学术会议论文集 [C]; 2008年 |
|
| | | | 1 | 邓英,李明; Web数据挖掘技术及工具研究[J]; 计算机工程与应用; 2001年20期; 92-94 | | 2 | 韩家炜,孟小峰,王静,李盛恩; Web挖掘研究[J]; 计算机研究与发展; 2001年04期; 21-30 | | 3 | 陈莉,焦李成; Internet/Web数据挖掘研究现状及最新进展[J]; 西安电子科技大学学报; 2001年01期; 118-123 | | 4 | 谢丹夏; Web上的数据挖掘技术和工具设计[J]; 计算机工程与应用; 2001年06期; 86-88 | | 5 | 谢丹夏,李晓东; 数据挖掘技术在Web上的应用及其工具设计[J]; 计算机应用; 2001年02期; 44-46 | | 6 | 王实,高文,李锦涛,黄铁军; 基于隐马尔可夫模型的兴趣迁移模式发现[J]; 计算机学报; 2001年02期; 41-46 | | 7 | 邹显春,谢中,周彦晖; 电子商务与Web数据挖掘[J]; 计算机应用; 2001年05期; 23-25 | | 8 | 秦鸿; 基于Web的数据挖掘[J]; 电子科技大学学报; 2002年S1期; 59-62 | | 9 | 张娥,冯秋红,宣慧玉,田增瑞; Web使用模式研究中的数据挖掘[J]; 计算机应用研究; 2001年03期; 80-83 | | 10 | 徐振航,刘莉芹; 基于XML的WEB数据挖掘技术[J]; 计算机系统应用; 2001年01期; 39-42 |
|
|
|