云计算环境下海量数据分析系统的设计

【摘要】：针对传统计算环境中海量数据存储、分析处理效率、实时性、完整性和数据维护费用等难题,利用云计算环境的超大规模、虚拟化、经济和安全可靠等特点,进行海量数据分析。基于分布式计算架构Hadoop,利用并行计算框架Map/Reduce,构建了典型的云计算环境,并采用数据仓库分析平台Hive,实现了高效、实用的海量数据分析系统的设计。以系统总体框架设计为基础,从客户端分析、接收服务器、后端数据分析和数据可视化等模块完成了系统设计,对海量数据分析处理系统设计具有一定参考价值。