收藏本站
收藏 | 投稿 | 论文排版

云计算环境下海量数据分析系统的设计

苏曦  苏亚妮  霍米会  
【摘要】:针对传统计算环境中海量数据存储、分析处理效率、实时性、完整性和数据维护费用等难题,利用云计算环境的超大规模、虚拟化、经济和安全可靠等特点,进行海量数据分析。基于分布式计算架构Hadoop,利用并行计算框架Map/Reduce,构建了典型的云计算环境,并采用数据仓库分析平台Hive,实现了高效、实用的海量数据分析系统的设计。以系统总体框架设计为基础,从客户端分析、接收服务器、后端数据分析和数据可视化等模块完成了系统设计,对海量数据分析处理系统设计具有一定参考价值。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李磊;;黑龙江邮政数据分析系统研究[J];林业科技情报;2011年04期
2 陈起榕;陈新亮;曹世彪;;一种新的数据分析系统前端展示方案[J];邮电设计技术;2012年10期
3 孟庆超;李永亮;;智能数据分析系统研究[J];现代商贸工业;2008年11期
4 郭静;;钢铁企业能源数据分析系统的构建[J];昆明理工大学学报(理工版);2009年05期
5 哈文雷;;基于云计算的油田数据分析系统[J];中国新技术新产品;2013年17期
6 黄丽丽;陈华辉;;博客数据分析系统的设计与实现[J];宁波大学学报(理工版);2008年03期
7 田月洁;焦波;谢金洲;;中药不良反应数据分析系统的设计与应用[J];中国药物警戒;2007年04期
8 毛兰斌;;基于机电结构检测的可靠性数据分析系统设计[J];中国高新技术企业;2008年08期
9 毛羽芳;王锐明;;天津市工商行政管理局数据分析系统的建设[J];信息系统工程;2010年07期
10 章璐;;人民币跨境结算业务数据分析系统的设计与实现[J];中国金融电脑;2013年01期
11 刘志雄,石自光,赵兴钰;俄歇电子能谱的数据分析系统和设计考虑[J];电子学报;1990年02期
12 张振华 ,王浩;数据分析系统性能调整[J];中国金融电脑;2005年04期
13 罗国忠;;建立电力营销数据分析系统[J];科技资讯;2007年32期
14 罗国忠;;建立电力营销数据分析系统[J];科技资讯;2007年33期
15 罗国忠;;建立电力营销数据分析系统[J];科技创新导报;2008年03期
16 罗国忠;;电力营销数据分析系统研究[J];现代商贸工业;2008年05期
17 赵波;;服务器端动态生成图表在银行自助业务数据分析系统中的运用实例[J];甘肃水利水电技术;2009年12期
18 丰丹;;数据分析系统的交互界面设计[J];电脑知识与技术;2013年12期
19 周晓敏;;钢铁企业化验报告数据分析系统[J];数字化用户;2013年03期
20 蔡永顺;张洁;黄鹏;;基于云计算的海量宽带业务运营数据分析系统[J];电信技术;2011年01期
中国重要会议论文全文数据库 前7条
1 顾红生;;浅谈汽车行业竞品数据分析系统解决方案[A];第八届中国汽车设计与研发高峰论坛论文集[C];2013年
2 辛建峰;辛阳;;数据分析系统中的自定义量度方案设计实现[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
3 尚屹;朱琦;;国家持久性有机污染物数据分析系统研究[A];2008中国环境科学学会学术年会优秀论文集(下卷)[C];2008年
4 郑慧娟;周嘉元;李斌;;水电站生产数据分析系统及其现场应用[A];中国水力发电工程学会信息化专委会2010年学术交流会论文集[C];2010年
5 张永忠;赵静;;基于事件检测算法的交通数据分析系统[A];2008全国第十三届自动化应用技术学术交流会论文集[C];2008年
6 王治国;王薇;訾凯;任鹏;;临床检验方法确认与性能验证数据分析系统(MVS)的开发与应用[A];中华医学会第九次全国检验医学学术会议暨中国医院协会临床检验管理专业委员会第六届全国临床检验实验室管理学术会议论文汇编[C];2011年
7 董刚;孙建林;谭耘宇;;建立梅钢热轧数据分析系统[A];自动化技术与冶金流程节能减排——全国冶金自动化信息网2008年会论文集[C];2008年
中国硕士学位论文全文数据库 前10条
1 冯伟;基于云计算的海量数据分析系统的研究与实现[D];上海交通大学;2012年
2 王浩;内蒙联通公司基础数字数据分析系统的设计与开发[D];复旦大学;2011年
3 周晓敏;钢铁企业化验报告数据分析系统[D];电子科技大学;2011年
4 田野;基于相似性挖掘的金融数据分析系统的研究与应用[D];上海交通大学;2012年
5 解晓松;沈阳地税数据分析系统设计与实现[D];大连理工大学;2012年
6 尹增慧;东营市妇联信访数据分析系统的设计与实现[D];电子科技大学;2012年
7 安治州;通信性能数据分析系统[D];山东大学;2013年
8 徐翀;税收数据分析系统的设计与实现[D];东北大学;2012年
9 毛羽丰;基于云计算的海量电力数据分析系统设计与实现[D];北京交通大学;2015年
10 左猛;移动互联网数据分析系统设计与实现[D];北京邮电大学;2013年
中国重要报纸全文数据库 前10条
1 记者 刘慧敏;开发区一企业研发成功“消费行为数据分析系统”[N];宁波日报;2009年
2 别志铭;基于云的大数据分析系统[N];网络世界;2013年
3 袁毅;苏州:数据分析系统精准问诊城市交通[N];人民公安报·交通安全周刊;2011年
4 绍兴职业技术学院 沈华峰 宁波大学信息科学与工程学院 朱双东;基于可缩放矢量图形数据分析系统的设计与实现[N];中国计算机报;2010年
5 记者 董科;转型客户服务 打造全新竞争力[N];期货日报;2010年
6 江苏省淮安市涟水地税局 周跃 黄吕胜 童政;应完善税收数据分析系统提升使用效能[N];中国税务报;2013年
7 陶利军;路桥当好企业经济分析师[N];中国工商报;2007年
8 本报记者 巩国强;汛潮的“卖点”[N];山西经济日报;2004年
9 杨平 张克旭;F1方程式的IT解法[N];中国计算机报;2004年
10 王一民 黄明生 马春葆 江苏省盱眙县地税局;税源专业化管理需要规范的涉税数据分析系统支持[N];中国税务报;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978