收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于天河2高速互连网络实现混合层次文件系统H~2FS高速通信

董勇  周恩强  卢宇彤  张伟  
【摘要】:高效通信性能是影响并行文件系统性能与效率的重要因素.该文基于TH-2系统的高性能互连网络——天河2高速互连网络(TH-Express 2),设计并实现了混合层次文件系统H~2FS中的高速通信模块FSE.FSE采用了TH-Express 2的短报文通信MP和远程内存访问RDMA相结合的方式,实现客户端与ION的通信.FSE采用基于动态链表的内存注册池减少通信延迟,提高通信效率.基于可变信用的流量控制,FSE有效降低系统出现拥塞的可能性,提高系统的可扩展性和稳定性.为了充分利用多核处理器的并发处理能力以及多RDMA引擎的传输能力,FSE对报文传输和数据处理功能采用了多维多线程方式,提高数据访问带宽.FSE的自适应端点管理针对通信端点容错能力设计,提高了系统弹性,有助于增强系统稳定性.FSE实现优化了数据传输效率,实现了低延迟、高带宽、高可扩展数据访问.在两个不同实际系统上的测试结果表明,FSE可以充分发掘TH-Express 2的特性,点点数据访问带宽可达8.6Gbps,使得H~2FS具有较高的数据访问带宽和元数据性能,并具有良好的可扩展性.同基于TCP的通信模块实现相比,FSE的读写延迟可低至55%和20%,最大单ION写性能是其3.3倍;同Lustre文件系统相比,FSE更好地利用了高速网的特性来获取较高性能,写延迟可低至其28.6%.

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 曲东才;光盘文件系统标准[J];电脑技术;2002年09期
2 程振东;栾钟治;孟由;李亮淑;和荣;杨婷婷;钱德沛;管刚;陈伟;;云文件系统中纠删码技术的研究与实现[J];计算机科学与探索;2013年04期
3 李舜莉,阮玉;迅速发展的大规模光盘文件系统[J];激光杂志;1988年05期
4 王江;;一种可靠高效的闪存文件系统[J];单片机与嵌入式系统应用;2013年12期
5 鲁智深;;Kingmax microSDHC 4GB存储卡评测[J];大众数码;2007年06期
6 钟忻,慕春棣;基于闪存的文件系统的实现[J];计算机工程与应用;2003年24期
7 刘明;张军平;;并行文件系统的应用探讨[J];软件;2010年11期
8 张在贵;张立强;李瑞东;文中领;张海涛;;一种适用于集群文件系统分级存储的分布式锁设计与分析[J];计算机研究与发展;2012年S1期
9 周恩强;董勇;张伟;卢宇彤;;对象存储并行文件系统小文件性能优化研究[J];计算机工程与科学;2013年12期
10 陈禹;;用户心中的误区[J];中国计算机用户;2007年10期
11 萌萌;;老命令新用 让闪存支持单个大容量文件[J];电脑迷;2010年03期
12 蒋玲;林海幂;;基于C++的精简式文件系统在嵌入式系统中的应用[J];西华大学学报(自然科学版);2010年05期
13 ;施乐生产中心 8233/8234——工程文件系统简介[J];导弹与航天运载技术;1998年01期
14 ;施乐8855数码工程文件系统[J];计算机辅助设计与制造;2000年01期
15 全小宁;AIX系统的故障解决方法[J];铁路计算机应用;2004年08期
16 孙凝晖;并行文件系统的设计[J];计算机学报;1994年12期
17 杨琼;胡宁;周霆;徐晓光;;文件系统的快速启动机制研究[J];电子技术;2014年05期
18 张媛;卢泽新;刘亚萍;;NFS over Lustre性能评测与分析[J];计算机工程;2007年10期
19 赵玉昆;;基于单片机的简化文件系统的开发[J];上海应用技术学院学报(自然科学版);2007年02期
20 赵铁柱;董守斌;董守斌;Verdi March;Simon See;;基于机器学习的并行文件系统性能预测[J];计算机研究与发展;2011年07期
中国重要会议论文全文数据库 前3条
1 王永瑞;熊剑平;;基于CF卡的特定FAT文件系统的软硬件设计与实现[A];2008中国仪器仪表与测控技术进展大会论文集(Ⅲ)[C];2008年
2 王雪娇;钱军;温东新;张展;崔忠强;;基于Linux虚拟文件系统故障注入器的设计与实现[A];第六届中国测试学术会议论文集[C];2010年
3 钱迎进;金士尧;肖侬;;大规模集群文件系统中的I/O拥塞控制机制[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
中国博士学位论文全文数据库 前3条
1 陈杰;本地文件系统数据更新模式研究[D];华中科技大学;2014年
2 孙凝晖;可扩展I/O的研究和参考实现[D];中国科学院研究生院(计算技术研究所);1999年
3 钱迎进;大规模Lustre集群文件系统关键技术的研究[D];国防科学技术大学;2011年
中国硕士学位论文全文数据库 前10条
1 刘佩;基于纠删码技术的HD_EC文件系统的设计与实现[D];曲阜师范大学;2015年
2 丘文未;基于软硬件协同设计的闪存存储系统关键技术研究与实现[D];国防科学技术大学;2013年
3 赖尚校;基于ARM的嵌入式闪存驱动与UBIFS文件系统的分析与实现[D];浙江工业大学;2014年
4 刘剑;用FPGA实现文件系统及其应用[D];太原理工大学;2013年
5 冯子陵;闪存文件系统UBIFS的分析与优化[D];南京大学;2013年
6 何耀;面向大容量SCM的融合式文件系统[D];江苏大学;2016年
7 房珅;基于动态副本机制的web文件系统[D];北京交通大学;2016年
8 安栋;非挥发性存储器磨损均衡文件系统的设计与研究[D];华南理工大学;2016年
9 房强;基于固件文件系统的UEFI安全机制研究[D];电子科技大学;2016年
10 潘慕晗;一种SRIO接口的固态文件系统[D];中国舰船研究院;2016年
中国重要报纸全文数据库 前10条
1 李柠 许冰;Linux的“心”事[N];中国计算机报;2000年
2 河北 廉育功;Linux技巧[N];中国电脑教育报;2001年
3 阳光;一台PC机上安装Win98、NT、Linux[N];中国矿业报;2000年
4 小雨;FAT享年25岁——触摸未来文件系统[N];电脑报;2003年
5 北京捷华润公司 郝常杰;对象存储:块和文件之外的存储形式[N];中国计算机报;2006年
6 门宣;走进Linux2.4的精彩世界[N];中国计算机报;2001年
7 ;驱动器与DOS兼容文件系统[N];电脑报;2002年
8 任勇;在Linux中访问DOS的方法[N];大众科技报;2000年
9 ;Veritas展示用于Oracle9i RAC的群集系统[N];计算机世界;2003年
10 赵宇明;建设完美的存储世界[N];网络世界;2008年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978