收藏本站
《厦门大学学报(自然科学版)》 2013年04期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于MapReduce的Flash P2P VoD系统异常监测

王菁菁  林琛  陈珂  江弋  
【摘要】:Peer-to-Peer(P2P)是一种充分利用分布在终端电脑上的边缘性网络资源,包括计算资源、带宽资源、内容资源等,以降低对中央服务器资源的消耗需求的技术,适用于大规模的VoD(video on demand)系统中.基于这样的背景技术,当下诞生了一种很流行的视频点播系统:Flash P2PVoD.然而使用如此广泛的系统并没有一个有效的措施对其进行监控,以不断提升其自身运行质量.基于此背景,提出一种基于MapReduce并行框架的算法模型,用于对系统的运行状态进行实时高效的监控及异常检测,提升系统的效用性,进行高效的处理分析,将消耗大量计算资源的复杂计算通过网络分布到多节点上进行计算,是当前一种行之有效的解决方案.实验结果表明,基于MapReduce的状态监控及异常检测方法能有效地从大吞吐量系统所产生的海量日志中监测出异常表现.

【参考文献】
中国期刊全文数据库 前8条
1 杨楠;罗省贤;;Web数据挖掘在云计算平台的实现[J];电脑知识与技术;2011年19期
2 侯建;帅仁俊;侯文;;基于云计算的关联规则挖掘算法[J];化工自动化及仪表;2011年05期
3 李震;杜中军;;云计算环境下的改进型Map-Reduce模型[J];计算机工程;2012年11期
4 沈时军;李三立;;基于P2P的视频点播系统综述[J];计算机学报;2010年04期
5 李彬;刘莉莉;;基于MapReduce的Web日志挖掘[J];计算机工程与应用;2012年22期
6 郑常熠;王新;赵进;薛向阳;;P2P视频点播内容分发策略[J];软件学报;2007年11期
7 周文莉;吴晓非;;P2P技术综述[J];计算机工程与设计;2006年01期
8 辛洁;崔志明;赵朋朋;张广铭;鲜学丰;;基于MapReduce虚拟机的Deep Web数据源发现方法[J];通信学报;2011年07期
中国硕士学位论文全文数据库 前1条
1 李彬;基于MapReduce编程模型的航空日志分析研究[D];成都理工大学;2012年
【共引文献】
中国期刊全文数据库 前10条
1 周李军;;在新一代网络条件下软件开发平台技术发展趋势[J];办公自动化;2011年06期
2 周云;万川龙;桑军;胡海波;;一种基于P2P的视频点播系统[J];重庆工学院学报(自然科学版);2009年03期
3 何春;张再萍;张鹰;;P2P网络技术的研究及应用[J];电脑学习;2006年05期
4 陈燕;;基于P2P的经贸院协同办公系统的研究与设计[J];电脑学习;2010年03期
5 董元和;;.NET框架下P2P应用系统的开发模型[J];电脑开发与应用;2007年12期
6 马杰;;基于兴趣分组和物理拓扑的P2P网络模型[J];电脑开发与应用;2011年09期
7 刘连浩;曾智勇;;基于边缘缓存的下载加速方案设计与实现[J];电脑与信息技术;2010年02期
8 袁勤;;纯P2P平台上应用共享的设计与实现[J];电脑知识与技术(学术交流);2007年03期
9 常璐璐;禹继国;;基于p2p网络安全问题的研究[J];电脑知识与技术;2008年05期
10 符志强;;无结构对等网搜索机制研究[J];电脑知识与技术;2008年25期
中国重要会议论文全文数据库 前2条
1 潘丽;李绍彬;蓝善祯;凌燕;;基于P2P技术的视频点播系统搭建[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
2 李丹;吴国新;金庆;;基于DRM的P2P系统版权管理研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(下)[C];2006年
中国博士学位论文全文数据库 前10条
1 郑伟平;可控P2P流媒体分发关键技术研究[D];华南理工大学;2010年
2 陈俊;对等视频点播数据分发关键技术研究[D];华中科技大学;2011年
3 霍英;基于超节点体系结构的P2P覆盖网优化技术研究[D];中南大学;2011年
4 胡迎松;对等网络流媒体组播模型和算法优化研究[D];华中科技大学;2011年
5 胡宇翔;可重构网络的流媒体分发技术研究[D];解放军信息工程大学;2011年
6 郭红方;视频点播内容分发关键技术研究[D];郑州大学;2012年
7 王平;大规模网络蠕虫检测与传播抑制[D];哈尔滨工业大学;2006年
8 余小高;电子商务环境中分布式数据挖掘的研究[D];武汉理工大学;2007年
9 冯健;P2P点播流媒体服务质量研究[D];西北大学;2008年
10 徐陈锋;面向P2P的Markov模型[D];中国科学技术大学;2008年
中国硕士学位论文全文数据库 前10条
1 尉希娟;基于分层分簇的流媒体应用层组播技术研究[D];山东科技大学;2010年
2 孙丽婷;基于位置感知与兴趣分组的混合式P2P架构研究[D];山东科技大学;2010年
3 郭旭;P2P环境下基于节点位置的语义覆盖网络的研究[D];哈尔滨工程大学;2010年
4 张志凯;基于P2P的吴江二职中协同办公系统的设计和实现[D];苏州大学;2010年
5 王湛昱;基于CAN的P2P存储系统研究[D];哈尔滨理工大学;2010年
6 薛秀珍;结构化P2P网络的复杂查询机制研究[D];昆明理工大学;2010年
7 鲁守玮;视频流媒体技术在高校网络中的应用[D];电子科技大学;2010年
8 穆栋;P2P-SIP通信系统研究与设计[D];西安电子科技大学;2011年
9 江璐;基于语义对等网的分布式知识管理研究[D];西安电子科技大学;2011年
10 王玉贵;P2P内容分发系统中基于信任的网络编码算法研究[D];西安电子科技大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 杨楠;罗省贤;;Web数据挖掘在云计算平台的实现[J];电脑知识与技术;2011年19期
2 张建明,荣冈;基于关联规则的故障诊断方法及研究[J];化工自动化及仪表;2003年05期
3 侯建;帅仁俊;侯文;;基于云计算的关联规则挖掘算法[J];化工自动化及仪表;2011年05期
4 孙牧;;云端的小飞象—Hadoop[J];程序员;2008年10期
5 郭欣;;使用Map/Reduce进行并行计算[J];程序员;2009年10期
6 刘怡;张戡;;基于负载平衡和经验值的工作流任务分配策略[J];计算机工程;2009年21期
7 程苗;陈华平;;基于Hadoop的Web日志挖掘[J];计算机工程;2011年11期
8 刘亚杰;窦文华;;基于网络编码的P2P流媒体[J];计算机工程与科学;2006年09期
9 陈全;邓倩妮;;云计算及其关键技术[J];计算机应用;2009年09期
10 王润华;;基于Hadoop集群的分布式日志分析系统研究[J];科技信息;2009年15期
中国硕士学位论文全文数据库 前8条
1 霍树民;基于Hadoop的海量影像数据管理关键技术研究[D];国防科学技术大学;2010年
2 谢琴;蚁群算法在Web日志挖掘中的研究与应用[D];重庆大学;2006年
3 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年
4 刘凡茂;基于云计算的乡镇卫生院信息化研究[D];中南大学;2009年
5 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
6 夏祎;Hadoop平台下的作业调度算法研究与改进[D];华南理工大学;2010年
7 张密密;MapReduce模型在Hadoop实现中的性能分析及改进优化[D];电子科技大学;2010年
8 曾理;Hadoop的重复数据清理模型研究与实现[D];南华大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 金欣;王晶;沈奇威;;自中心网络生成的高效分布式设计与实现[J];电信科学;2010年11期
2 曾凡峰;马爽;;WMS日志分析与预处理[J];中国传媒科技;2010年11期
3 刘丽萍;李桂丹;王智;孙雨耕;;能量有效的无线传感器网络协同覆盖[J];计算机工程与应用;2008年34期
4 赵龙;彭力;王茂海;;动态视觉传感器网络多节点协作覆盖算法[J];计算机工程;2011年02期
5 张咏梅;用户交换机的使用环境及相关维护日志分析[J];电力系统通信;2004年02期
6 邓重一;RS-485总线在多节点远距离通信系统中的应用[J];仪表技术;2005年03期
7 李鑫;戈婕;;南京广电日志管理系统[J];广播与电视技术;2007年03期
8 郭亚和;;基于SYSLOG的网络监测管理系统设计与实现[J];电信快报;2009年04期
9 陈健荣;;BOSS接口监控及应急分析[J];通信世界;2009年25期
10 徐悦竹;刘大昕;张万松;孙晓华;;机会发现系统通信模型和合作协议的研究[J];微计算机信息;2009年21期
中国重要会议论文全文数据库 前8条
1 高明;;智能网故障处理案例分析——SCP系统资源异常占用故障[A];武汉市第二届学术年会、通信学会2006年学术年会论文集[C];2006年
2 许晓荣;章坚武;黄爱苹;;基于多节点协作的认知WSN能耗优化算法[A];浙江省信号处理学会2011学术年会论文集[C];2011年
3 陶丹;马华东;;一种支持多节点协同实现图像融合的视频传感器网络体系结构[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
4 唐睿;毛玉明;;一种分层无线自组织网络拓扑发现系统[A];四川省通信学会2006年学术年会论文集(二)[C];2006年
5 张世博;;一种改进的网管系统AP拓扑发现的方法[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年
6 游贤;;乐山数据通信网的几点考虑[A];四川省通信学会一九九二年学术年会论文集[C];1992年
7 王伟;岳殿武;;协作中继网中的复数域网络编码[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年
8 王哲坤;满莹;;通信网络连通性能排队论分析方法研究[A];2010年全国通信安全学术会议论文集[C];2010年
中国重要报纸全文数据库 前10条
1 曙光研发部KVM项目组 李连波;曙光大规模KVM切换系统技术漫谈之四[N];计算机世界;2003年
2 ;开放与融合成为下一代网基本特征[N];人民邮电;2007年
3 ;构建能提供VPN业务的光以太网(之一)[N];通信产业报;2002年
4 ;能提供VPN业务的光以太网[N];人民邮电;2002年
5 ;延边通信建虚拟休闲娱乐空间提升市话量[N];中国计算机报;2003年
6 清水 编译;城域以太网跨越障碍[N];计算机世界;2005年
7 ;能提供VPN业务的光以太网[N];通信产业报;2002年
8 ;泰乐建立灵活网络[N];通信产业报;2002年
9 苏宏平;路由器的故障分类及其排除技巧[N];人民邮电;2009年
10 ;城域网的运“赢”之道[N];人民邮电;2001年
中国博士学位论文全文数据库 前3条
1 龙文;无线移动环境下信息安全综合管理系统关键技术研究[D];北京邮电大学;2009年
2 陈京文;基于统计型演算论的网络服务性能分析[D];华中科技大学;2007年
3 张洁;基于IP多媒体子系统应用于下一代网络的服务发现架构的研究[D];北京邮电大学;2009年
中国硕士学位论文全文数据库 前10条
1 高源;基于MapReduce计算模型的大规模电信数据社团发现与模式挖掘[D];北京邮电大学;2011年
2 荆超;基于MapReduce分布式信令分析研究与实现[D];北京邮电大学;2012年
3 王金萍;传感网异构数据采集及数据融合技术的研究与实现[D];南京邮电大学;2013年
4 王俊伟;ATM网络的多节点拥塞控制算法研究[D];大连理工大学;2003年
5 王平;基于CAN总线的多节点语音通信系统设计[D];北方工业大学;2008年
6 胡钰林;多节点协作通信系统中的节点规划和调度[D];中国科学技术大学;2011年
7 郭晓燕;ATM网络拥塞控制方法研究[D];北京工业大学;2004年
8 曹雪花;Ad Hoc网络中一种提供QoS保障的MAC协议的研究[D];江南大学;2008年
9 陈慧娜;无线传感器网络节能路由的研究与实现[D];东华大学;2010年
10 朱杰;云计算在基于贝叶斯分类的垃圾短信过滤中的研究与应用[D];电子科技大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026