收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于聚类和一致Hash的数据布局算法

陈涛  肖侬  刘芳  付长胜  
【摘要】:如何有效地对数据进行布局是大规模网络存储系统面临的重大挑战,需要一种能够自适应存储规模变化、公平有效的数据布局算法.提出的CCHDP(clustering-based and consistent hashing-aware data placement)算法将聚类算法与一致hash方法相结合,引入少量的虚拟设备,极大地减少了存储空间.理论和实验证明,CCHDP算法可以按照设备的权重公平地分布数据,自适应存储设备的增加和删除,在存储规模发生变化时迁移最少的数据量,并且可以快速地定位数据,对存储空间的消耗较少.

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 陈涛;肖侬;刘芳;付长胜;;基于聚类和一致Hash的数据布局算法[J];软件学报;2010年12期
2 赵杰;;基于聚类算法的硬件维护求解方法初探[J];太原城市职业技术学院学报;2011年07期
3 刘晓光;陈北莲;王刚;刘璟;;子阵列数据布局方法在网络存储中的应用[J];计算机工程;2006年22期
4 王刚,李中,刘晓光,刘璟;异构磁盘阵列RAID5结构数据布局研究[J];计算机工程与应用;2004年29期
5 张燕;胡英坚;徐惠斌;;双容错磁盘阵列校验散布布局的优化[J];电脑编程技巧与维护;2009年S1期
6 刘春晓;刘芳;陈涛;肖侬;;大规模网络存储系统“层次化”数据布局策略[J];武汉理工大学学报;2009年18期
7 万武南;索望;陈运;;基于V码的一种数据布局研究[J];电子科技大学学报;2010年01期
8 刘金芝;;分布式存储系统中混合数据布局算法[J];江苏技术师范学院学报;2011年04期
9 王刚;董沙莎;刘晓光;林胜;刘璟;;利用图的完全1-因子分解构造双容错数据布局[J];电子学报;2006年S1期
10 刘仲;李宗伯;阳柳;;基于对象分组的集群存储系统可靠性分析模型[J];计算机应用;2008年01期
11 崔宝江,刘璟;基于WAN的网络软RAID系统性能的研究[J];计算机工程与应用;2003年34期
12 陈涛;肖侬;刘芳;;大规模网络存储系统的数据布局算法研究[J];计算机工程与科学;2009年11期
13 刘勇;刘丽;何王全;;面向众核多级访存资源的静态数据布局优化模型[J];计算机应用与软件;2011年07期
14 刘卫平;蔡皖东;任建奇;;基于双容错编码的DP-RAID数据布局研究[J];西北工业大学学报;2006年02期
15 李怀阳;谢长生;刘艳;赵振;;基于连续度聚类和动态ARMA时间序列预测I/O区域[J];计算机科学;2006年09期
16 何元清,孙世新,黄天云;基于并行磁盘阵列的视频数据布局[J];计算机应用研究;2004年04期
17 李怀阳;谢长生;刘艳;吴伟;;基于聚类和ARMA时间序列的I/O区域预取[J];小型微型计算机系统;2007年03期
18 万武南;吴震;陈运;王晓京;;一种基于3容错阵列码的RAID数据布局[J];计算机学报;2007年10期
19 杨敏;王刚;刘璟;陈北莲;;用双目标加权遗传算法解决网络磁盘阵列系统下校验散布布局优化问题的研究[J];计算机科学;2005年05期
20 柯剑;朱旭东;那文武;许鲁;;动态地址映射虚拟存储系统[J];计算机工程;2009年16期
中国重要会议论文全文数据库 前5条
1 陈涛;肖侬;刘芳;;大规模网络存储系统的数据布局策略研究[A];第15届全国信息存储技术学术会议论文集[C];2008年
2 刘芳;陈涛;肖侬;;大规模网络存储系统中面向可靠性的数据布局算法[A];第15届全国信息存储技术学术会议论文集[C];2008年
3 刘萍;钟诚;;机群系统上基于映射和抽样划分的并行聚类算法[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
4 刘颖;黄磊;胡士文;吕方;连瑞琦;;面向龙芯处理器的高性能编译系统[A];第十五届计算机工程与工艺年会暨第一届微处理器技术论坛论文集(A辑)[C];2011年
5 程耀东;汪璐;黄秋兰;郑伟;;高性能海量存储系统研究[A];第十五届全国核电子学与核探测技术学术年会论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 毛波;盘阵列的数据布局技术研究[D];华中科技大学;2010年
2 岳银亮;存储系统低能耗数据布局技术研究[D];华中科技大学;2010年
3 陈涛;大规模网络存储环境中的数据布局与查询优化技术研究[D];国防科学技术大学;2011年
4 王刚;网络磁盘阵列结构和数据布局研究[D];南开大学;2002年
5 刘晓光;二级网络条纹数据布局及其相关问题的研究[D];南开大学;2002年
6 付雄;利用程序分析和优化提高Cache性能[D];中国科学技术大学;2007年
7 刘卫平;网络存储中的数据容错与容灾技术研究[D];西北工业大学;2006年
8 陈俭喜;基于虚拟接口的网络存储系统研究[D];华中科技大学;2006年
9 姜明华;基于冗余智能存储通道的存储系统关键技术研究[D];华中科技大学;2011年
10 代劲;云模型在文本挖掘应用中的关键问题研究[D];重庆大学;2011年
中国硕士学位论文全文数据库 前9条
1 肖洁;面向元数据服务器的数据分布策略研究[D];华中科技大学;2007年
2 董建刚;基于iSCSI协议的网络存储技术及数据布局研究[D];西安电子科技大学;2009年
3 彭丽;光纤通道磁盘阵列设备驱动与在线扩容技术研究[D];华中科技大学;2006年
4 叶飞;基于VI的高性能存储网络系统的设计及实现[D];华中科技大学;2006年
5 武文智;磁盘阵列扩容技术的研究与实现[D];华中科技大学;2008年
6 冼智华;RAID系统的虚拟磁盘模块设计和容错技术研究[D];上海交通大学;2008年
7 赵秋平;LBM算法在Cell处理器上的实现与优化[D];国防科学技术大学;2008年
8 李艳静;MEMS存储设备在计算机系统中应用的关键技术研究[D];国防科学技术大学;2007年
9 刁双君;基于大规模嵌入式系统软硬件划分方法的研究[D];哈尔滨理工大学;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978