一、地址

1、实时更新的思维导图

https://www.mubucm.com/doc/4uqlpedefuj

2、图片

二、具体内容

  •  
    5.producer生产者
    •  
      demo
      •  
        发送pro.send(new ProducerRecord<String,String>("test","123"))
      •  
        ProducerRecord的属性
        •  
          重载方法234
          •  
            只topic和内容
          •  
            多key
            •  
              hash(key)确定发送的分区
          •  
            多key和partition
            •  
              key不起作用,发到指定分区
        •  
          topic
        •  
          partiton
        •  
          headers
        •  
          K
          •  
            用于hash计算分区
        •  
          V
          •  
            发送的消息值
        •  
          timestamp
      •  
        ack应答机制
        •  
          用于保证数据发送可靠
    •  
      必要参数
      •  
        bootstrap.servers:整个集群的地址
    •  
      发送模式
      •  
        发后即忘
        •  
          producer.send(rcd)
      •  
        同步发送sync
        •  
          send(rcd).get()
      •  
        异步发送async
        •  
          send(rcd,new CallBack(){onCompletion(){xxxx}})
  •  
    6.consumer消费者
    •  
      demo
      •  
        订阅多个topic
      •  
        poll(time超时时间)获取消息ConsumerRecord
      •  
        record包含的内容.get
        •  
          offset
        •  
          key
        •  
          value
    •  
      必要参数
      •  
        group id
      •  
        bootstrap.servers
        •  
          无需设置整个集群,只需设置单个
    •  
      消息订阅
      •  
        subscribe订阅
        •  
          重载方法*4
        •  
          ConsumerRebalanceListener再均衡监听器?
        •  
          方式
          •  
            指定集合方式
          •  
            正则方式订阅
            •  
              传参Pattern.compile("ods_*")
      •  
        assign订阅
        •  
          consumer.assign(Collection<TopicPartition> collection)
        •  
          可以手动订阅多个topic的指定分区
        •  
          单个:Arrays.asList(new TopicPartition("topic1",0))
      •  
        区别
        •  
          粒度
          •  
            topic粒度(group管理)
          •  
            topic-partition粒度(自己管理)
        •  
          是否具有rebalance分区再均衡功能
      •  
        取消订阅
        •  
          consumer.unsubscribe()
        •  
          subscribe(new ArrayList<T>())
          •  
            String
          •  
            TopicPatition
    •  
      消费模式
      •  
        拉取模式poll(time)
        •  
          time为阻塞时间(多久拉一次)
        •  
          设置为Long.MAX_VALUE,可以提高吞吐率
      •  
        消息类型ConsumerRecord
        •  
          ConsumerRecords<String,String> records=consumer.poll(100)
        •  
          ConsumerRecord rd=records.record(new TopicPartition("topic1",0))
    •  
      提交偏移量
      •  
        指定位移消费
        •  
          consumer.seek(TopicPartition,offset)
      •  
        自动提交
        •  
          两个配置
          •  
            auto.commit
          •  
            interval.ms
            •  
              到点提交各分区最大位移
          •  
            默认true,5000
        •  
          存在问题
          •  
            重复消费
            •  
              消费者崩溃
          •  
            丢失消息
            •  
              拉取消息放入阻塞队列BlockingQueue
            •  
              阻塞队列的处理线程异常,从上次提交的位移处消费
            •  
              即实际消费到了3,已经提交了6
      •  
        手动提交
        •  
          调用API实现
          •  
            关闭自动提交:auto.commit设为false
          •  
            类型
            •  
              同步提交
              •  
                commitSync()-处理完提交(提交和拉取会阻塞)
              •  
                含参commitAsync(Map<TopicPatition,OffsetAndMetaData>)
              •  
                record获取offset,+1后作为Meta构造参数
              •  
                提交的偏移量是消费完record的偏移量+1
            •  
              异步提交
              •  
                提交和拉取不会阻塞,提高消费者性能
              •  
                重载的commitAsync
                •  
                  commitAsync()
                •  
                  commitAsync(OffsetCommitCallback)-带回调
                •  
                  commitAsync(Map<TopicPatition,OffsetAndMetaData>,OffsetCommitCallback)-指定分区&偏移量+回调
        •  
          手动提交的时机
          •  
            处理完成前提交
            •  
              存在漏处理(数据丢失)
            •  
              实现了at most once语义
          •  
            处理完成后提交
            •  
              存在重复处理/消费(数据重复)
            •  
              原因:处理后提交前出bug
            •  
              实现了at least once语义
          •  
            理想语义:Exactly once(精确一次)
            •  
              ★通过kafka的事务机制实现
      •  
        提交方式总结
        •  
          全自动
        •  
          半自动
        •  
          全手动
        •  
          提交的位置:__consumer_offset
    •  
      重要参数介绍
      •  
        一次拉取的最大最小数据量
      •  
        拉取的最大等待时长
      •  
        每个分区拉取的最大数据量
      •  
        一次拉取的最大条数
      •  
        等待请求响应、闲置、重试间隔
      •  
        消息隔离级别:读未提交或已提交
        •  
          read_uncommit:能消费到LSO
        •  
          read_committed:可以消费到HW
      •  
        超时时长,超过认为消费者已离开cg
  •  
    7.topic管理
    •  
      工具类KafkaAdminClient
      •  
        用于集成内部系统,实现多功能的生态平台
      •  
        功能:管理broker、配置、ACL、管理topic
      •  
        创建方式:KafkaAdminClient.create(props)
    •  
      列出主题
      •  
        listTopics()
    •  
      查看主题信息
      •  
        describeTopics(Arrays.asList(xx,yy))
    •  
      创建主题
      •  
        createTopics(new NewTopic(name,replicaAssignment))
    •  
      删除主题
      •  
        deleteTopics(Arrays.asList(xx,yy))
    •  
      其他管理
      •  
        动态参数管理
        •  
          修改配置:alterConfigs(Map<ConfigResource,Config>)
      •  
        分区管理
        •  
          新增分区:createPartitions(Map<String,NewPartitions> map)
以上内容整理于幕布文档

Kafka教程(二)API开发-生产者、消费者、topic的更多相关文章

  1. Hadoop生态圈-Kafka的旧API实现生产者-消费者

    Hadoop生态圈-Kafka的旧API实现生产者-消费者 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.旧API实现生产者-消费者 1>.开启kafka集群 [yinz ...

  2. Hadoop生态圈-Kafka的新API实现生产者-消费者

         Hadoop生态圈-Kafka的新API实现生产者-消费者 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.

  3. Kafka 教程(二)-安装与基础操作

    单机安装 1. 安装 java 2. 安装 zookeeper [这一步可以没有,因为 kafka 自带了 zookeeper] 3. 安装 kafka 下载链接 kafka kafka 是 scal ...

  4. 使用Win32 API实现生产者消费者线程同步

    使用win32 API创建线程,创建信号量用于线程的同步 创建信号量 语法例如以下 HANDLE semophore; semophore = CreateSemaphore(lpSemaphoreA ...

  5. RabbitMQ入门学习系列(二),单生产者消费者

    友情提示 我对我的文章负责,发现好多网上的文章 没有实践,都发出来的,让人走很多弯路,如果你在我的文章中遇到无法实现,或者无法走通的问题.可以直接在公众号<爱码农爱生活 >留言.必定会再次 ...

  6. 【Windows】用信号量实现生产者-消费者模型

    线程并发的生产者-消费者模型: 1.两个进程对同一个内存资源进行操作,一个是生产者,一个是消费者. 2.生产者往共享内存资源填充数据,如果区域满,则等待消费者消费数据. 3.消费者从共享内存资源取数据 ...

  7. Python 使用python-kafka类库开发kafka生产者&消费者&客户端

    使用python-kafka类库开发kafka生产者&消费者&客户端   By: 授客 QQ:1033553122       1.测试环境 python 3.4 zookeeper- ...

  8. Kafka技术内幕 读书笔记之(三) 生产者——消费者:高级API和低级API——基础知识

    1. 使用消费组实现消息队列的两种模式 分布式的消息系统Kafka支持多个生产者和多个消费者,生产者可以将消息发布到集群中不同节点的不同分区上:消费者也可以消费集群中多个节点的多个分区上的消息 . 写 ...

  9. centos7单机安装kafka,进行生产者消费者测试

    [转载请注明]: 原文出处:https://www.cnblogs.com/jstarseven/p/11364852.html   作者:jstarseven    码字挺辛苦的.....  一.k ...

  10. kafka集群搭建和使用Java写kafka生产者消费者

    1 kafka集群搭建 1.zookeeper集群  搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties ...

随机推荐

  1. 【学习笔记】注意力机制(Attention)

    前言 这一章看啥视频都不好使,啃书就完事儿了,当然了我也没有感觉自己学的特别扎实,不过好歹是有一定的了解了 注意力机制 由于之前的卷积之类的神经网络,选取卷积中最大的那个数,实际上这种行为是没有目的的 ...

  2. RabbitMQ各个端口被占用的进程说明

    官方地址:https://www.rabbitmq.com/networking.html#ports 端口 描述 4369 erlang 发现端口,被 epmd 占用,用于 RabbitMQ 节点和 ...

  3. Logstash: 如何创建可维护和可重用的Logstash管道

  4. 安装ceph (快速) 步骤三: Ceph 客户端

    大多数 Ceph 用户不会直接往 Ceph 存储集群里存储对象,他们通常会使用 Ceph 块设备. Ceph 文件系统.或 Ceph 对象存储这三大功能中的一个或多个. 前提条件 先完成存储集群快速入 ...

  5. 在 K8S 上部署以 mysql 数据库作为后端存储的单机版 nacos

    Nacos 被用于: 服务发现 微服务配置信息管理 部署 nacos 时,需要用到如下两个镜像,这两个镜像均来自于 nacos 官方发布到 docker hub 的镜像, nacos/nacos-se ...

  6. csv->html

    seg1=''' <!DOCTYPE HTML>\n<html>\n<body>\n<meta charset=gb> <h2 align=cen ...

  7. 为什么 MES 管理系统是智能制造的核心?

    不能说MES 管理系统是智能制造的核心,只能说MES管理系统是智能制造的核心的一部分,并且是一小部分.智能制造的核心的为高端制造装备和工业互联网平台,引用工信部赛迪研究院软件所所长潘文的话" ...

  8. SpringSecurity 在 SSM架构中的使用

    SpringSecurity - SSM SpringSecurity 对比 Shiro SpringSecurity的特点: 能和 Spring无缝贴合 能实现全面的权限控制 专门为 Web开发而设 ...

  9. JavaScript基础&实战 JS中正则表达式的使用

    文章目录 1.正则表达式 1.1 代码 1.2 测试结果 2.splict | search 2.1 代码 2.2 测试结果 1.正则表达式 1.1 代码 <!DOCTYPE html> ...

  10. 在IDEA 、springboot中使用切面aop实现日志信息的记录到数据库

    文章目录 1.导入相关的依赖 2.创建要保存的数据信息实体类 3 .编写对应的sql语句 4.使用spring 的 aop 技术切到自定义注解上,所以先创建一个自定义注解类 5. 创建aop切面实现类 ...