目录 1. 概述 2. 环境准备 3. 命令行常用命令 4. java api实现 1. 概述 Apache Kafka是一个分布式消息系统,凭借其优异的特性而被广泛使用. 高性能:O(1)复杂度消息快速持久化. 高吞吐率: 单机每秒10w条消息传输. 支持消息分区和分布式消费. 支持在线水平扩展. 架构及核心组件 Producer: 消息生产者,即向kafka broker发送消息的客户端. Consumer:消息消费者,即从kafka broker获取消息的客户端. Topic:消息根据to…

1 Kafka的基本介绍 Apache Kafka是分布式发布-订阅消息系统.它最初由LinkedIn公司开发,之后成为Apache项目的一部分.具有快速.可扩展.分布式.可复制等特点.Kafka与传统消息系统相比,有以下不同: 它被设计为一个分布式系统,易于向外扩展: 它同时为发布和订阅提供高吞吐量: 它支持多订阅者,当失败时能自动平衡消费者: 它将消息持久化到磁盘,因此可用于批量消费. 1.1 相关概念 topic 每条发布到Kafka集群的消息都有一个类别,这个类别被称为topic.(物理…

Kafka其实只是众多消息队列中的一种,对于Kafka的具体释义我这里就不多说了,详见:http://baike.baidu.com/link?url=HWFYszYuMdP_lueFH5bmYnlmH--SlsarbzE1CcfMi9JqeQBR77jCu30MubmAyBqqOSSZy9qfnrp5y5a_8wYota 想要下载Kafka可以直接上官网:http://kafka.apache.org/ (强烈建议一定要上官网下载,其它地方下载的可能有问题) Kafka下载成功之后,在libs…

  Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用.目前越来越多的开源分布式处理系统如Cloudera.Apache Storm.Spark都支持与Kafka集成. Kafka创建背景 Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础.现在它已被作为多种类型的数据管道和消息系统使用.活动流数据是几乎所有站点在对其网站使…

学习计划 2019年计划 1.学习计算机基础,并加以实践.包括LeetCode刷题.数据库原理(索引和锁.Sql优化等).网络协议(Http.Tcp).操作系统(加深Linux).<Http权威指南>.<操作系统设计与实现 >(重点!) 2.巩固java基础.重点加深多线程.并发.Jvm.NIO.多温习<深入理解Java虚拟机>(重点!) 3.阅读Spring源码,Mybatis源码,体会设计模式.可以配合博客.书籍去理解源码. 4.提高技术深度.包括微服务Spring…

Kafka是一个开源的,轻量级的.分布式的.具有复制备份.基于zooKeeper协调管理的分布式消息系统. 它具备以下三个特性: 能够发布订阅流数据: 存储流数据时,提供相应的容错机制 当流数据到达时,能够被及时处理. 首发于个人博客网站:链接地址 下载安装 本次安装只介绍在linux环境下,windows的暂时不考虑. 下载 作为一个消息中间件,kafka并不是一个jar包,而是一个完整的应用,所以直接取官网下载部署包. 下载地址:https://kafka.apache.org/downlo…

目录 Fabric开发环境搭建 更新说明 教程环境及软件版本 Docker 安装Docker 配置用户组 配置Aliyun Docker加速器 安装docker-compose Go 下载源码 安装源码 Node.js && NPM Node.js源码安装 安装Python 安装Fabric范例.源码和Docker镜像 总结 Fabric开发环境搭建 Author:ljo0412@live.com 更新说明 在根据Fabric手册进行学习的过程中,遇到了一个严重的问题,导致无法向下继续,总…

Elasticsearch.XXLJob以及最近的学习记录 前言 在这九月的最后一周,来总结一下最近的学习记录,主要是对于Elasticsearch.XXLjob的初步学习,想着还是多记录点,以便后面去看看,具体的错误认知点在哪,以及找到一些自己的认识点. 后台数据脱敏 一.普通方式 首先该功能是基于Spring Boot项目做的,所以这是一个简单的流程. 具体实现:首先设定一个角色code,比如 "涉密人员" "secret": 通过登录时获取token中的用户名…

概述 日志段及其相关代码是 Kafka 服务器源码中最为重要的组件代码之一.你可能会非常关心,在 Kafka 中,消息是如何被保存和组织在一起的.毕竟,不管是学习任何消息引擎,弄明白消息建模方式都是首要的问题.因此,你非常有必要学习日志段这个重要的子模块的源码实现.今天,我会带你详细看下日志段部分的源码.不过在此之前,你需要先了解一下 Kafka 的日志结构日志是 Kafka 服务器端代码的重要组件之一,很多其他的核心组件都是以日志为基础的,比如后面要讲到的状态管理机和副本管理器等. 总的来说,…

概述 学习和使用kafka不知不觉已经将近5年了,觉得应该总结整理一下之前的知识更好,所以决定写一系列kafka学习笔记,在总结的基础上希望自己的知识更上一层楼.写的不对的地方请大家不吝指正,感激万分.第一篇介绍消息队列概况和kafka的入门知识. 消息队列系统 首先说一下消息队列的含义,"消息系统"这个词是从英文翻译过来的,英文的名字是"Messaging System",稍微学习过英语基础的都知道要翻译成消息队列,但是也有一些大家觉得并不正确,因为它片面强调了消…