收藏本站
《计算机研究与发展》 2012年S1期
加入收藏 投稿

一种基于重复数据删除的备份系统

陆游游  敖莉  舒继武  
【摘要】:重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%~96.7%的存储空间,比Scp和Rsync分别节约了71.3%~97.6%,41.2%~66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%~86%和91%~97%.
【作者单位】清华大学计算机科学与技术系;清华大学信息科学与技术国家实验室(筹);
【关键词】备份系统 重复数据删除 层次化删冗
【基金】:国家“八六三”高技术研究发展计划基金项目(2009AA01A403) 国家自然科学基金项目(60873066) 高等学校博士学科点专项科研基金项目(200800030027)
【分类号】:TP309.3
【正文快照】:
随着备份数据指数级的增长,提高存储空间利用率、节省备份数据传输带宽的需求变得尤为突出,基于重复数据删除技术的备份系统应运而生.系统应用重复数据删除技术将待备份数据与已存储数据进行比较,减少重复数据传输,降低服务器端相同数据的重复存储.目前,重复数据删除技术[1]

【相似文献】
中国期刊全文数据库 前10条
1 宋洁;李玉阳;笪良龙;;基于Varitas的分布式数据库备份系统设计[J];网络安全技术与应用;2007年07期
2 ;大规模存储如何选?[J];每周电脑报;1998年45期
3 海阳;升级你的备份系统[J];中国计算机用户;2004年34期
4 闵有黎,马晓明;大型数据库系统容灾技术研究[J];电信技术;2005年07期
5 来社安;仝颖凯;;在Oracle中用RMAN进行备份与恢复[J];教育信息化;2006年15期
6 殷建军;谢长生;刘军;;嵌入式高可用性数据管理的设计与实现[J];计算机应用研究;2007年04期
7 李天成;;浅谈企业的数据备份[J];科技咨询导报;2007年09期
8 李星;马洪朋;倪庆剑;邢汉承;;基于移动Agent的备份管理系统的设计和实现[J];计算机工程与科学;2006年09期
9 ;RD1000加速数据备份与恢复——戴尔PowerVault便携式硬盘备份系统上市[J];每周电脑报;2006年44期
10 胡鹏飞;董卫鹏;;高校数字资源的容灾与备份[J];光盘技术;2008年09期
中国重要会议论文全文数据库 前2条
1 鞠峰;陈志华;;IDC灾备服务为信息数据构建安全保障[A];信息让生活更美好——江苏省通信行业信息化案例选编[C];2010年
2 肖钧;黄亮;;虚拟化搭配去重,双剑合璧更给力[A];2011年CAD/CAM学术交流会议论文集[C];2011年
中国重要报纸全文数据库 前10条
1 ;众志和达SureSave VTL高效备份系统解决方案[N];计算机世界;2008年
2 周青编译;无重复备份是ILM成功的关键[N];计算机世界;2007年
3 ;数据备份生命周期管理四步走[N];中国计算机报;2003年
4 ;根据数据重要程度 进行分层[N];中国计算机报;2005年
5 清水 编译;你的备份系统够现代化吗?[N];计算机世界;2010年
6 记者 季昌进 通讯员 叶凤 陈章红;异地房产登记数据容灾备份系统首次建立[N];马鞍山日报;2011年
7 赛门铁克公司 张衡;选择备份技术的标准——恢复[N];中国计算机报;2007年
8 ;保证磁盘备份性能的关键[N];网络世界;2007年
9 谷数科技(中国)有限公司首席执行官 周涛;归档不同于备份[N];中国计算机报;2007年
10 ;ADIC:新疆建行实现远程容灾系统[N];计算机世界;2005年
中国博士学位论文全文数据库 前1条
1 张艳;信息系统灾难备份和恢复技术的研究及实现[D];四川大学;2006年
中国硕士学位论文全文数据库 前10条
1 张楠;S-Cloud云备份系统研究与开发[D];长安大学;2011年
2 詹鹏;基于SAN的集中存储备份系统的设计与实现[D];电子科技大学;2010年
3 张竞元;会计信息系统灾难防范中的存储策略研究[D];中国海洋大学;2007年
4 贺翔;一种基于NDMP的块级备份和数据管理方法及其实现[D];中国科学院研究生院(计算技术研究所);2006年
5 林伟松;数据备份与容灾技术在电信计费系统中的应用[D];北京邮电大学;2007年
6 付庆国;一种服务器备份与恢复的设计与实现[D];华中科技大学;2007年
7 李强;用于灾难恢复的远程备份系统的研究[D];国防科学技术大学;2004年
8 康东;MQSeries在数据异地备份系统中的应用[D];山东大学;2005年
9 苏艳森;分布式文件存储平台文件备份与恢复系统设计与实现[D];浙江大学;2008年
10 聂学春;面向BSS的容灾备份系统的设计与实施[D];复旦大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026