收藏本站
《软件》 2016年01期
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

一种基于Kafka的可靠的Consumer的设计方案

王岩  王纯  
【摘要】:伴随着互联网和移动互联网的发展,各种新兴应用层出不穷,对大数据处理的实时性和高并发能力要求也在不断提高。Apache Kafka,作为一种分布式的消息系统,具有可水平扩展和高吞吐率而被广泛的使用。对于数据业务的基础支撑系统,除了能够满足高并发度和实时性以外,数据的质量即数据可靠性也是关键的一环。但是,由Kafka原生提供的数据消费者不能够保障数据的可靠性。本文首先简单介绍了Kafka的组成、架构特性等技术背景,然后阐述了原生Consumer的原理和缺陷;最后,基于Kafka提出一个可靠的消费者的设计方案。本方案是基于Kafka的low-level的接口集,解决了Kafka原生Consumer由于将用户消费数据的动作与数据消费位置的记录独立而引起的数据质量问题,保障了数据的可靠性。最后,搭建Kafka集群测试环境,验证了方案的可行性和正确性。

【相似文献】
中国期刊全文数据库 前3条
1 钟睿明;刘川意;王春露;项菲;;一种成本相关的云提供商数据可靠性保证算法[J];软件学报;2014年08期
2 宫纪明;方来宝;;基于微网络可靠性系数μ的可信WSN[J];淮北煤炭师范学院学报(自然科学版);2010年01期
3 ;[J];;年期
中国硕士学位论文全文数据库 前3条
1 李仲玉;导航网络传输系统数据可靠性方法的研究[D];哈尔滨工程大学;2008年
2 卢俊;云存储中基于SecCSIE架构与AONT-RS的数据可靠性与安全性研究[D];湖南大学;2012年
3 付仲恺;基于P2P的下一代互联网命名系统的数据可靠性研究[D];北京工业大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026