Kafka保证分区消息的顺序，“先入先出”

只有当消息被写入分区的所有副本时，才被认为已提交的

只要有一个副本是活跃的，已提交的消息就不会丢失

消费者只能读取已经提交的消息

如果一个或多个副本在同步/非同步之间状态快速切换，说明集群内出现问题，通常是JAVA不恰当的垃圾回收配置导致的

broker安全配置参数：

　　复制系数：

　　　　主题级别复制系数 replication.factor

　　　　broker级别复制系数： default.replication.factor

　　不完全的首领选举：

　　　　unclean.leader.election=true  broker级别配置   允许不同步的副本成为首领，会面临丢失消息的风险

　　最少同步副本：

　　　　min.insync.replicas （主题和broker级别）

　　

发送确认：

ack=0 容易丢失消息

ack=1 也会存在丢失消息的问题

ack=all 不会丢失消息，但是会降低吞吐量

配置生产者重试参数：

　　broker 返回 LEADER_NOT_AVAILABLE 是一个可重试错误

　　broker返回 INVALID_CONFIG 是一个不可重试错误

　　

消费者的可靠性配置：

　　group.id

　　auto.offset.reset 指定没有偏移量提交时或请求的偏移量在broker上不存在时，消费者会做什么

　　　　=earliest  消费者会从分区开始位置读取数据

　　　　=latest   消费者从分区末尾开始读取数据

　　enable.auto.commit  消费者基于任务调度自动提交偏移量

　　auto.commit.interval.ms   与上一个参数搭配使用，自动提交偏移量的频率

　　　　

Kafka笔记6（数据传递的可靠性）的更多相关文章

  1. OpenGL笔记<4> 数据传递二

    Sending data to a shader using uniform Preface 上一节我们介绍了通过顶点属性量进行数据传递,今天我们介绍一下通过uniform变量来进行数据传递的方法. ...

  2. OpenGL 笔记<3> 数据传递 一

    Sending data to a shader using vertex attributes and vertex buffer object 上次我们说到着色器的编译和连接,后面的事情没有做过多 ...

  3. 【整理】解决vue不相关组件之间的数据传递----vuex的学习笔记，解决报错this.$store.commit is not a function

    解决vue不相关组件之间的数据传递----vuex的学习笔记,解决报错this.$store.commit is not a function https://www.cnblogs.com/jaso ...

  4. ASP.NET MVC 学习笔记-7.自定义配置信息 ASP.NET MVC 学习笔记-6.异步控制器 ASP.NET MVC 学习笔记-5.Controller与View的数据传递 ASP.NET MVC 学习笔记-4.ASP.NET MVC中Ajax的应用 ASP.NET MVC 学习笔记-3.面向对象设计原则

    ASP.NET MVC 学习笔记-7.自定义配置信息   ASP.NET程序中的web.config文件中,在appSettings这个配置节中能够保存一些配置,比如, 1 <appSettin ...

  5. Android（java）学习笔记220：开发一个多界面的应用程序之界面间数据传递

    1.界面跳转的数据传递 (1)intent.setData() --> intent.getData():     传递的数据比较简单,一般是文本类型的数据String:倘若我们传递的数据比较复 ...

  6. ASP.NET MVC 学习笔记-5.Controller与View的数据传递

    ViewData属性 ViewData属性是System.Web.Mvc.ControllerBase中的一个属性,它相当于一个数据字典.Controller中向该字典写入数据,ViewData[“K ...

  7. 解决vue不相关组件之间的数据传递----vuex的学习笔记，解决报错this.$store.commit is not a function

    Vue的项目中,如果项目简单, 父子组件之间的数据传递可以使用  props 或者 $emit 等方式 进行传递 但是如果是大中型项目中,很多时候都需要在不相关的平行组件之间传递数据,并且很多数据需要 ...

  8. Android（java）学习笔记163：开发一个多界面的应用程序之界面间数据传递

    1.界面跳转的数据传递 (1)intent.setData() --> intent.getData():     传递的数据比较简单,一般是文本类型的数据String:倘若我们传递的数据比较复 ...

  9. Android笔记——Activity中的数据传递案例（用户注冊）

    1.创建程序activity_main: <RelativeLayout xmlns:android="http://schemas.android.com/apk/res/andro ...

随机推荐

  1. CF121E Lucky Array

    题解: 这个题好像暴力+线段树就能过 就是对修改操作暴力,线段树维护查询 为啥呢 因为保证了数$<=1e4$,于是这样复杂度$n*1e4=1e9$ 那么特殊数只有30个 又因为操作是只加不减的, ...

  2. 西北地区打不开github的解决办法~

    泱泱我大西北,github打不开,的确痛苦的. http://ipaddress.com/ip_lookup/ 先查github.com 可能存在打不开的情况~ 随便找一个web在线代理,就可以查到了 ...

  3. docker+fastdfs+nginx 实现分布式大文件存储系统以及视频缓存播放

    废话不多说,直接开撸 首先是一些准备工作: 1.关闭防火墙 service iptables stop --- fastdfs虽然在docker部署,但是使用的是主机网络,所以关闭防火墙. 2  下载 ...

  4. python 爬虫与数据可视化--爬虫基础知识

    一.python中的模块 模块的安装:pip install 模块名 导入模块与函数:import requests . from pymongo import MongoClient json模块的 ...

  5. 第四篇flask中模板语言 jinja2

    Flask中默认的模板语言是Jinja2 首先我们要在后端定义几个字符串,用于传递到前端 STUDENT = {, 'gender': '中'}, STUDENT_LIST = [ {, 'gende ...

  6. MVC:添加Html辅助器

    本文的方法来自 <精通asp.net Mvc5>. 一.添加视图模型 为了支持Html辅助器方法,可以把可用页面数,当前面,以及存储库中产品数等信息传递给视图.在Model文件夹内增加一个 ...

  7. 201771010126 王燕《面向对象程序设计（java）》第八周学习总结

    实验六 接口的定义与使用 实验时间 2018-10-18 1.实验目的与要求 (1) 掌握接口定义方法 JAVA中通过interface关键字定义接口: 接口中只能定义public static fi ...

  8. [Codeforces Round #508 (Div. 2)][Codeforces 1038E. Maximum Matching]

    前几天给舍友讲这题的时候感觉挺有意思的,就贴上来吧... 题目链接:1038E - Maximum Matching 题目大意:有\(n\)个棒子,每个条两端有颜色\(c1,c2\)以及他的价值\(v ...

  9. Python 在cmd中import模块成功，但是在jupyter notebook中No module xxx found

    由于需要用到python中的某个库,因此打开命令行窗口cmd,然后使用pip安装.安装成功后,在cmd中输入python调出python环境,import该模块并使用,可以正常使用.但是打开juypt ...

  10. zhuan: WAN simulating tool - Netem : command tc qdisc

    Last weekly meeting we talked about a WAN simulating tool in order to test WPG, I find a great tool ...