收藏本站
《软件学报》 2014年04期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

大数据流式计算:关键技术及系统实例

孙大为  张广艳  郑纬民  
【摘要】:大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.

【引证文献】
中国期刊全文数据库 前10条
1 刘月超;于炯;鲁亮;;Storm环境下一种改进的任务调度策略[J];新疆大学学报(自然科学版);2017年01期
2 刘岩;王华;秦叶阳;朱兴杰;;智慧城市多源异构大数据处理框架[J];大数据;2017年01期
3 乔通;赵卓峰;丁维龙;;面向套牌甄别的流式计算系统[J];计算机应用;2017年01期
4 赵一鸣;马费成;;大数据环境对信息组织的影响[J];图书情报知识;2017年01期
5 祝锡永;庞培培;;大数据流式计算系统综述[J];成组技术与生产现代化;2016年04期
6 王桂兰;周国亮;赵洪山;米增强;;大规模用电数据流的快速聚类和异常检测技术[J];电力系统自动化;2016年24期
7 黄容;王贤稳;;基于Storm slot使用率低优先的动态负载均衡策略[J];电脑知识与技术;2016年36期
8 郭淑娴;杨金民;;流式计算模型在废弃话单处理中的应用[J];计算机系统应用;2016年12期
9 周建宁;陈斌;蔡岗;季君;;基于全国机动车缉查布控云平台精确分析跨区域套牌嫌疑车辆[J];道路交通与安全;2016年06期
10 邹京希;曹敏;王德倾;;基于电力光纤入户的大数据应用[J];电子技术与软件工程;2016年24期
中国重要会议论文全文数据库 前1条
1 李震;;开展信息技术改革推动大数据与业务管理深度融合[A];中国烟草学会2016年度优秀论文汇编—— 信息化管理主题[C];2016年
中国博士学位论文全文数据库 前5条
1 江新兰;云计算环境下水坝安全监测模型组合方法研究[D];中国农业大学;2016年
2 郭雷风;面向农业领域的大数据关键技术研究[D];中国农业科学院;2016年
3 李慧勇;基于时空约束的车联网事件监控方法与技术研究[D];华东师范大学;2015年
4 曹振丽;面向养殖环境监测的数据流处理方法研究[D];中国农业大学;2015年
5 骆涛;面向大数据处理的并行计算模型及性能优化[D];中国科学技术大学;2015年
中国硕士学位论文全文数据库 前10条
1 王冬;基于Storm的铁道供电监控信息实时流计算处理研究[D];华东交通大学;2016年
2 柯尊旺;Mesos平台下多资源调度算法的研究与改进[D];新疆大学;2016年
3 孙克维;Gearpump流处理引擎的Storm兼容性模块的设计与实现[D];南京大学;2016年
4 张远翔;CSR外靶实验数据传输原型系统研究与设计[D];中国科学技术大学;2016年
5 冯阳;大数据技术在农技推广中的应用研究[D];中国农业科学院;2016年
6 陈泰燃;基于远程对象技术的分布式科学数据计算框架研究[D];昆明理工大学;2016年
7 张买军;家电企业服务信息网关键技术研究[D];浙江大学;2016年
8 张青;执法监督可视化管理平台设计与实现[D];河北经贸大学;2016年
9 卞德志;基于Storm的云监测实时系统研究[D];昆明理工大学;2016年
10 陶运坤;基于Akka的分布式实时流程式计算框架的设计与应用[D];东南大学;2015年
【参考文献】
中国期刊全文数据库 前8条
1 王元卓;靳小龙;程学旗;;网络大数据:现状与展望[J];计算机学报;2013年06期
2 李建中;刘显敏;;大数据的一个重要方面:数据可用性[J];计算机研究与发展;2013年06期
3 冯芷艳;郭迅华;曾大军;陈煜波;陈国青;;大数据背景下商务管理研究若干前沿课题[J];管理科学学报;2013年01期
4 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期
5 覃雄派;王会举;李芙蓉;李翠平;陈红;周烜;杜小勇;王珊;;数据管理技术的新格局[J];软件学报;2013年02期
6 李国杰;程学旗;;大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J];中国科学院院刊;2012年06期
7 亓开元;赵卓峰;房俊;马强;;针对高速数据流的大规模数据实时处理方法[J];计算机学报;2012年03期
8 覃雄派;王会举;杜小勇;王珊;;大数据分析——RDBMS与MapReduce的竞争与共生[J];软件学报;2012年01期
【共引文献】
中国期刊全文数据库 前10条
1 何冰;;大数据会计与财务信息相关性研究[J];会计之友;2017年07期
2 陈星宇;黄俊文;周展;曲行达;;基于本体论的大数据下用户需求表征[J];深圳大学学报(理工版);2017年02期
3 李刚;李天琦;程晓荣;王红玉;;大数据可信性度量方法[J];计算机工程与设计;2017年03期
4 吕红;;国内人文社会科学视野下大数据研究力量布局与研究前沿识别[J];现代情报;2017年03期
5 梁杨;朱宏文;赵大海;;大数据技术及其在电信行业的应用研究[J];移动通信;2017年05期
6 吕登龙;朱诗兵;;大数据及其体系架构与关键技术综述[J];装备学院学报;2017年01期
7 李港;于海旭;;大数据时代企业管理面临的挑战及对策[J];经营与管理;2017年03期
8 赵俊华;董朝阳;文福拴;薛禹胜;;面向能源系统的数据科学:理论、技术与展望[J];电力系统自动化;2017年04期
9 牛晨晨;周畅;张昪;;大数据背景下的个人隐私保护研究[J];西安航空学院学报;2017年01期
10 彭海静;;第三方电子商务大数据分析平台的构建与应用研究[J];电子商务;2017年02期
【同被引文献】
中国期刊全文数据库 前10条
1 赵菲;林穗;高西刚;;面向大数据的Storm框架研究与应用[J];微型机与应用;2016年06期
2 赵明宇;徐石明;高辉;杨凤坤;;基于模糊K-means算法的电动汽车应急供电策略[J];电力系统自动化;2016年05期
3 李悦;刘晨;;基于历史车牌识别数据的套牌车并行检测方法[J];计算机应用;2016年03期
4 李圣;黄永忠;陈海勇;;大数据流式计算系统研究综述[J];信息工程大学学报;2016年01期
5 王易净;刘心仪;;浅析被套牌车主的权益保护问题[J];管理观察;2016年02期
6 董斌;杨迪;王铮;周文红;;流计算大数据技术在运营商实时信令处理中的应用[J];电信科学;2015年10期
7 王春凯;孟小峰;;分布式数据流关系查询技术研究[J];计算机学报;2016年01期
8 孙大为;;大数据流式计算:应用特征和技术挑战[J];大数据;2015年03期
9 张振华;吴开超;;一种分布式Twitter数据处理方案及应用[J];计算机应用研究;2015年07期
10 彭明喜;;基于Storm的实时数据平台研究[J];电信快报;2015年07期
中国博士学位论文全文数据库 前9条
1 纪海;基于云计算的产品平台设计服务研究[D];机械科学研究总院;2012年
2 刘云霞;基于有限脊波变换和压缩感知理论的智能交通监控系统技术研究[D];山东大学;2012年
3 侯东风;流式数据多维建模与查询关键技术研究[D];国防科学技术大学;2010年
4 刘家红;基于复合事件的分布系统异常识别与预警技术研究及实现[D];国防科学技术大学;2009年
5 陶飞;制造网格资源服务优化配置理论与应用研究[D];武汉理工大学;2008年
6 周东祥;多层次仿真模型组合理论与集成方法研究[D];国防科学技术大学;2007年
7 雷永林;仿真模型重用理论、方法与异构集成技术研究[D];国防科学技术大学;2006年
8 左万利;主动数据库理论研究[D];吉林大学;2005年
9 熊伟;基于空间ECA模型的空间数据库主动规则技术研究[D];国防科学技术大学;2005年
中国硕士学位论文全文数据库 前10条
1 南海京;一种基于STORM的交通流数据实时处理系统设计与实现[D];北方工业大学;2015年
2 陈阁;基于Hadoop的铁道供电监控信息流分布式压缩存储及容错研究[D];华东交通大学;2015年
3 陈守合;关于我国基层农技推广信息化成效的研究[D];中国农业科学院;2015年
4 刘庆杰;基于Apache S4的交通流数据实时处理系统的设计与实现[D];山东大学;2015年
5 王华;基于YARN的数据挖掘系统的设计与实现[D];北京邮电大学;2015年
6 李松;天网高清视频监控存储系统设计与实现[D];南昌大学;2015年
7 龙少杭;基于Storm的实时大数据分析系统的研究与实现[D];上海交通大学;2015年
8 徐飞;大数据流的实时处理研究[D];江南大学;2015年
9 游怀杰;基于LBS的移动生活服务个性化推荐研究[D];武汉理工大学;2014年
10 赵晗;基于WebSocket协议的Web应用性能测试[D];中国科学院大学(工程管理与信息技术学院);2014年
【二级引证文献】
中国博士学位论文全文数据库 前2条
1 安思成;交互式配电网智能控制系统及其关键技术研究[D];华北电力大学(北京);2016年
2 刘俊;分布式数据处理系统中作业性能优化关键技术研究[D];重庆大学;2016年
【二级参考文献】
中国期刊全文数据库 前10条
1 李国杰;程学旗;;大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J];中国科学院院刊;2012年06期
2 宫学庆;金澈清;王晓玲;张蓉;周傲英;;数据密集型科学与工程:需求和挑战[J];计算机学报;2012年08期
3 林子雨;赖永炫;林琛;谢怡;邹权;;云数据库研究[J];软件学报;2012年05期
4 王意洁;孙伟东;周松;裴晓强;李小勇;;云计算环境下的分布存储关键技术[J];软件学报;2012年04期
5 程学旗;郭嘉丰;靳小龙;;网络信息的检索与挖掘回顾[J];中文信息学报;2011年06期
6 覃雄派;王会举;杜小勇;王珊;;大数据分析——RDBMS与MapReduce的竞争与共生[J];软件学报;2012年01期
7 郑湃;崔立真;王海洋;徐猛;;云计算环境下面向数据密集型应用的数据布局策略与方法[J];计算机学报;2010年08期
8 高明;金澈清;王晓玲;田秀霞;周傲英;;数据世系管理技术研究综述[J];计算机学报;2010年03期
9 栾华;杜小勇;王珊;;Cache-Conscious Data Cube Computation on a Modern Processor[J];Journal of Computer Science & Technology;2009年04期
10 周傲英;金澈清;王国仁;李建中;;不确定性数据管理技术研究综述[J];计算机学报;2009年01期
【相似文献】
中国期刊全文数据库 前10条
1 侯太平,顾大权,王柏春,朱红伟;远程天气会商系统中的数据流处理[J];计算机工程;2003年03期
2 陈昕,宋瀚涛;基于数据流的近似查询计算及其应用研究[J];计算机应用研究;2003年11期
3 陈昕,陈维兴,苏锦祥;基于数据流模式的聚集快速查询计算研究[J];计算机集成制造系统;2004年06期
4 张冬冬,李建中,王伟平,郭龙江;分布式复式数据流的处理[J];计算机研究与发展;2004年10期
5 王金栋;周良;张磊;丁秋林;;一类数据流连续查询的降载策略研究[J];武汉大学学报(工学版);2005年06期
6 刘景春;;数据流分类关键技术研究[J];佳木斯大学学报(自然科学版);2007年01期
7 李琳;孙士兵;;数据流聚类方法发展研究[J];长沙民政职业技术学院学报;2008年04期
8 陈军;周明天;杨晓燕;;数据流系统降载研究综述[J];计算机应用研究;2008年10期
9 傅鹂;鲁先志;蔡斌;;一种基于数据流驱动的数据流连续查询模型[J];重庆工学院学报(自然科学版);2008年10期
10 David P.Misunas ,张启瑞;数据流处理机的性能分析[J];计算机工程与应用;1980年12期
中国重要会议论文全文数据库 前10条
1 张冬冬;李建中;王伟平;郭龙江;;分布式复式数据流的处理[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
2 楚红涛;寒枫;张燕;王婷;;基于数据流的挖掘研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
3 尹婷;李红燕;;窗口模型下数据流查询流水化执行的研究[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
4 孟军;张航黎;张建英;郭禾;;分布式数据流的渐增式聚集维护算法[A];2006年全国开放式分布与并行计算学术会议论文集(二)[C];2006年
5 韩近强;杨冬青;唐世渭;;数据流处理中一种自适应的直方图维护算法[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
6 蔡致远;熊方;钱卫宁;周傲英;;核合并分析及其在数据流密度估计上的应用[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
7 王亦兵;杨树强;王晓伟;;一个面向数据流的多维分析系统的研究与实现[A];全国计算机安全学术交流会论文集(第二十四卷)[C];2009年
8 于亚新;王国仁;陈灿;苏林;朱歆华;赵相国;;基于操作符优先级的两种分布式数据流负载分配算法研究[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
9 周锐;肖川;王国仁;韩东红;霍欢;;数据流滑动窗口连接上的卸载技术的研究[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
10 田李;王乐;贾焰;邹鹏;李爱平;;分布式数据流上低通信开销的连续极值查询方法研究[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
中国博士学位论文全文数据库 前10条
1 张丽;数据流上序敏感查询处理关键技术研究[D];国防科学技术大学;2013年
2 王超;时间序列数据流复杂模式挖掘研究[D];合肥工业大学;2015年
3 李飒;数据流软聚类理论及其在瓦斯灾害预警中的应用[D];辽宁工程技术大学;2014年
4 陈华辉;基于遗忘特性的数据流概要结构及其应用研究[D];复旦大学;2008年
5 孔英会;数据流技术及其在电力信息处理中的应用研究[D];华北电力大学(河北);2009年
6 崇志宏;基于屏蔽/汇总技术的数据流处理算法[D];复旦大学;2006年
7 姚远;海量动态数据流分类方法研究[D];大连理工大学;2013年
8 曹振丽;面向养殖环境监测的数据流处理方法研究[D];中国农业大学;2015年
9 朱辉生;基于情节规则匹配的数据流预测研究[D];复旦大学;2011年
10 袁志坚;数据流突发检测若干关键技术研究[D];国防科学技术大学;2008年
中国硕士学位论文全文数据库 前10条
1 王川;面向位置服务的物联网数据质量保证方法研究[D];南京理工大学;2015年
2 祝然威;基于时间窗口的数据流频繁项挖掘算法[D];复旦大学;2014年
3 邱孝兵;基于GPU的数据流聚类及相关性分析[D];大连理工大学;2015年
4 张野;数据流查询语言中语法分析器的设计[D];电子科技大学;2015年
5 闫新院;基于概要模型的数据流聚合技术研究[D];西安电子科技大学;2014年
6 王涛;基于Ntrip协议的实时数据流软件的设计与实现[D];西安电子科技大学;2014年
7 陈彬;数据流实时存储关键技术[D];浙江工业大学;2015年
8 王高洋;基于网格和加速粒子群优化的数据流聚类算法研究[D];哈尔滨师范大学;2015年
9 钱海振;大数据流滞后相关性挖掘方法[D];辽宁师范大学;2015年
10 刘祥佳;制造物联海量数据流模式挖掘算法研究[D];广东工业大学;2016年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026