收藏本站
《聊城大学学报(自然科学版)》 2016年01期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于Hadoop的海量统计小文件存取优化方案

付红阁  姜华  张怀锋  
【摘要】:Hadoop作为一个开源的并行计算框架,它提供了一个分布式的文件存储系统HDFS.然而,当处理海量小文件时会产生NameNode内存使用率较高、存取性能并不理想的问题,导致NameNode成为系统瓶颈,从而制约了文件系统的可扩展性.本文结合统计工作,提出了一种小文件存储的优化策略,在HDFS之上增加小文件预处理模块将文件进行分类,合并成Mapfile,并建立全局索引,另外该策略引入了索引预取机制和缓存机制.实验证明,该方法能有效提高大批量小文件的存取性能.

手机知网App
【相似文献】
中国期刊全文数据库 前4条
1 邱震;靳世红;王晓东;;基于FPGA的某型雷达视频采集预处理模块设计[J];四川兵工学报;2010年05期
2 李云杰,高梅国,付佗,张友益;RCS测量高速数据采集预处理模块的设计与实现[J];系统工程与电子技术;2004年01期
3 ;购买格式程序[J];光盘技术;2003年01期
4 ;[J];;年期
中国硕士学位论文全文数据库 前2条
1 潘奇;基于COMe的回波预处理模块研究[D];南京理工大学;2011年
2 秦媛媛;X射线焊缝缺陷识别系统预处理模块设计与实现[D];北京邮电大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026