收藏本站
《计算机研究与发展》 2012年S1期
加入收藏 投稿

一种基于重复数据删除的备份系统

陆游游  敖莉  舒继武  
【摘要】:重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%~96.7%的存储空间,比Scp和Rsync分别节约了71.3%~97.6%,41.2%~66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%~86%和91%~97%.
【作者单位】清华大学计算机科学与技术系;清华大学信息科学与技术国家实验室(筹);
【关键词】备份系统 重复数据删除 层次化删冗
【基金】:国家“八六三”高技术研究发展计划基金项目(2009AA01A403) 国家自然科学基金项目(60873066) 高等学校博士学科点专项科研基金项目(200800030027)
【分类号】:TP309.3
【正文快照】:
随着备份数据指数级的增长,提高存储空间利用率、节省备份数据传输带宽的需求变得尤为突出,基于重复数据删除技术的备份系统应运而生.系统应用重复数据删除技术将待备份数据与已存储数据进行比较,减少重复数据传输,降低服务器端相同数据的重复存储.目前,重复数据删除技术[1]

【参考文献】
中国期刊全文数据库 前1条
1 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期
【共引文献】
中国期刊全文数据库 前10条
1 邓亮;胡晓勤;梁刚;;基于重复数据删除技术的SQL Server数据库备份系统[J];计算机安全;2011年07期
2 吴晓勇;李慧娜;;基于文件类型的远程文件备份系统[J];计算机安全;2012年03期
3 吴晓勇;李慧娜;;基于Internet的共享式灾备中心[J];计算机安全;2012年05期
4 张清松;梁智强;;基于硬盘的主机防客体重用性能的检测方法[J];广东电力;2012年07期
5 李向前;;一种基于重复数据删除的Oracle数据库备份系统[J];电脑知识与技术;2013年01期
6 彭成;王树鹏;贾志凯;;基于纠删码的数据消冗存储系统可靠性增强研究[J];计算机研究与发展;2011年S1期
7 付印金;肖侬;刘芳;;重复数据删除关键技术研究进展[J];计算机研究与发展;2012年01期
8 张砚波;刘正伟;文中领;王永海;;一种高效存储解决方案的分析与研究[J];计算机研究与发展;2012年S1期
9 马井玮;王克宾;赵彬;马良;王刚;刘晓光;;基于重复数据删除的连续数据保护系统的快速回滚[J];计算机研究与发展;2012年S1期
10 王欢;李战怀;张晓;;支持连续数据保护的云备份系统架构设计[J];计算机工程与应用;2012年01期
中国重要会议论文全文数据库 前1条
1 彭成;王树鹏;贾志凯;;基于纠删码的数据消冗存储系统可靠性增强研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
中国博士学位论文全文数据库 前2条
1 谭玉娟;数据备份系统中数据去重技术研究[D];华中科技大学;2012年
2 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年
中国硕士学位论文全文数据库 前10条
1 丁跃进;网关型病毒防火墙的设计与实现[D];电子科技大学;2011年
2 胡盼盼;在线重复数据删除技术的研究与实现[D];华中科技大学;2011年
3 曾涛;重复数据删除技术的研究与实现[D];华中科技大学;2011年
4 张鹏;在线备份系统中存储服务器的研究与实现[D];华中科技大学;2011年
5 周国惠;支持重复数据删除的网络备份系统中存储服务器的设计与实现[D];华中科技大学;2011年
6 张航;文件同步服务中数据同步传输消重策略研究[D];国防科学技术大学;2011年
7 武铨;广域网数据冗余消除TCP透明代理的设计与实现[D];南京邮电大学;2012年
8 郭永安;网络协议栈下TCP队列管理研究[D];南京邮电大学;2012年
9 毛允亭;广域网数据压缩算法的研究与实现[D];南京邮电大学;2012年
10 肖红凤;基于数据中心的数据访问服务模型研究[D];东北石油大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 何进;;银行系统灾难恢复中心设计方案[J];金融电子化;1999年11期
2 梁国汀;计算机网络系统的安全性和备份系统的解决方案[J];供用电;2001年01期
3 陈华;;浅析SAN架构的信息存储和备份系统——记泉州晚报社海量存储和备份系统[J];中国传媒科技;2006年01期
4 宋洁;李玉阳;笪良龙;;基于Varitas的分布式数据库备份系统设计[J];网络安全技术与应用;2007年07期
5 ;大规模存储如何选?[J];每周电脑报;1998年45期
6 海阳;升级你的备份系统[J];中国计算机用户;2004年34期
7 闵有黎,马晓明;大型数据库系统容灾技术研究[J];电信技术;2005年07期
8 来社安;仝颖凯;;在Oracle中用RMAN进行备份与恢复[J];教育信息化;2006年15期
9 陈智宏;陈克非;;交易备份系统的网络和安全设计[J];微型电脑应用;2006年09期
10 殷建军;谢长生;刘军;;嵌入式高可用性数据管理的设计与实现[J];计算机应用研究;2007年04期
中国重要会议论文全文数据库 前10条
1 鞠峰;陈志华;;IDC灾备服务为信息数据构建安全保障[A];信息让生活更美好——江苏省通信行业信息化案例选编[C];2010年
2 魏伟;李元垒;付兴振;;一种大型数据库的高可用、迁移及备份系统方案设计[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
3 鲁秀明;;医院信息系统的集成管理[A];2008年中华临床医学工程及数字医学大会暨中华医学会医学工程学分会第九次学术年会论文集[C];2008年
4 魏增来;李博;;音频媒体矩阵处理器实时备份系统探讨[A];2006年声频工程学术交流会论文集[C];2006年
5 肖钧;黄亮;;虚拟化搭配去重,双剑合璧更给力[A];2011年CAD/CAM学术交流会议论文集[C];2011年
6 薛凯;李建明;刘晋生;;区域自动站中心服务器备份系统[A];第26届中国气象学会年会第三届气象综合探测技术研讨会分会场论文集[C];2009年
7 王萌;;浅谈大型综合性博物馆的存储与备份系统建设[A];创意科技助力数字博物馆[C];2011年
8 王彩霞;牛立新;杨淑兰;;怎样保持计算机不染上病毒[A];1999年晋冀鲁豫鄂蒙六省区机械工程学会学术研讨会论文集(河南分册)[C];1999年
9 许力琴;陈斌;;高校学报网站服务器搭建方案及维护[A];学报编辑论丛(第十五集)[C];2007年
10 贾济红;钟金;王红梅;;关于Web GIS服务器的安全性研究[A];江苏省测绘学会2007年学术年会论文集[C];2008年
中国重要报纸全文数据库 前10条
1 洪文;重庆电信 构筑随需而变的备份系统[N];通信产业报;2004年
2 ;众志和达SureSave VTL高效备份系统解决方案[N];计算机世界;2008年
3 寸英;企业级备份系统NetBackup[N];计算机世界;2001年
4 单群一;惠普推出新备份系统[N];中国税务报;2007年
5 郭涛;HP 可移动硬盘备份系统[N];中国计算机报;2009年
6 本报记者 张峰;给数据买份保险[N];网络世界;2004年
7 ;江苏移动选择ILM战略建设容灾备份系统[N];中国电子报;2005年
8 ;龙兄虎弟[N];计算机世界;2004年
9 ;江苏移动容灾备份系统建设思路[N];人民邮电;2005年
10 清水;为存储“减负”[N];计算机世界;2010年
中国博士学位论文全文数据库 前10条
1 张艳;信息系统灾难备份和恢复技术的研究及实现[D];四川大学;2006年
2 刘雪梅;服务器端软件性能分析和诊断方法研究[D];哈尔滨工程大学;2010年
3 陈强;城市地理信息系统软件与工程设计[D];华东师范大学;2004年
4 齐芳;SSL协议中QoS感知的优化策略与算法研究[D];中南大学;2007年
5 詹骞;基于Ajax/REST的GIS WEB服务研究与实现[D];中国地质大学(北京);2008年
6 陈庆涛;.NET和分布式(网络)数据库集成技术支持下的WEB GIS系统研究与开发[D];成都理工大学;2008年
7 夏楠;面向信息管理的支持透明计算的I/O管理研究[D];合肥工业大学;2007年
8 李卓;分布式PACS若干关键技术研究[D];国防科学技术大学;2006年
9 臧铖;个性化搜索中隐私保护的关键问题研究[D];浙江大学;2008年
10 迟文学;面向服务的搭建式软件开发技术研究[D];中国地质大学(北京);2008年
中国硕士学位论文全文数据库 前10条
1 张楠;S-Cloud云备份系统研究与开发[D];长安大学;2011年
2 詹鹏;基于SAN的集中存储备份系统的设计与实现[D];电子科技大学;2010年
3 杜英豪;分布式数据库备份系统的研究与实现[D];吉林大学;2010年
4 敖妙;船舶毁伤参数测试控制备份系统的设计[D];中北大学;2012年
5 邓伟;电信网管平台高可用性技术的研究与实现[D];电子科技大学;2008年
6 孙秋红;基于encfs的日志备份系统的设计与实现[D];电子科技大学;2010年
7 蒲波;涉密局域网数据智能备份研究与实现[D];四川大学;2005年
8 莫辉;Intranet网络信息系统容灾备份的研究与实现[D];北京邮电大学;2007年
9 张竞元;会计信息系统灾难防范中的存储策略研究[D];中国海洋大学;2007年
10 巫伟;基于WAP手机的远程信息备份系统的设计与实现[D];江西师范大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026