kafka学习之-雅虎开源管理工具Kafka Manager

管理工具 Kafka Manager

管理工具 Kafka Manager 一.概述 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽. 为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager.这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况.它支持管理多个集群.选择副本.副本重新分配以及创建Topic.同时,这个管理工具也是一个非…

Kafka学习之（六）搭建kafka集群

想要搭建kafka集群,必须具备zookeeper集群,关于zookeeper集群的搭建,在Kafka学习之(五)搭建kafka集群之Zookeeper集群搭建博客有说明.需要具备两台以上装有zookeeper的服务器,其次,稳定可靠的kafka版本,本篇使用kafka_2.11-0.9.0.1. 准备 192.168.244.131.192.168.244.133.192.168.244.134,kafka下载地址 https://archive.apache.org/dist/kafka/0…

优秀的Kafka GUI客户端、可视化管理工具、监控工具

想要查看Topic里的消息却找不到软件,想要查看或更新Broker.Topic配置,想要监控Broker服务器状态?试试下面的Kafka GUI工具--Kafka Assistant 官网地址:http://www.redisant.cn/ka 连接到Kafka集群输入 Bootstrap server 和 Post 即可连接,支持各种认证协议仪表盘通过上方的仪表盘按钮即可打开实时监控界面,可以查看请求处理器空闲率.流出和流出字节量.流入消息量等等. 生成拓扑图 Topology.desc…

kafka学习（二）-------- 什么是Kafka

通过Kafka的快速入门 https://www.cnblogs.com/tree1123/p/11150927.html 能了解到Kafka的基本部署,使用,但他和其他的消息中间件有什么不同呢? Kafka的基本原理,术语,版本等等都是怎么样的?到底什么是Kafka呢? 一.Kafka简介 http://kafka.apache.org/intro 2011年,LinkIn开源, November 1, 2017 1.0版本发布 July 30, 2018 2.0版本发布参考官网的图: Ka…

Docker 开源管理工具集锦

俗话说工欲善其事.必先利其器.Docker 是一种详细的虚拟化技术,Docker 尽管以RestAPI形式提供服务.但在实际生产环境中,管理大规模集群部署的Docker容器确实是一个巨大的挑战.尽管Docker对于DevOps来说.是一场革命.可是在缺乏集群管理工具的时候,DevOps的难度一点都没有减少.甚至更大. 近期想找一款比較方便易用的Docker工具来開始Docker的深入研究.搜集了一些比較好的工具.摘录下来. 软件项目的成功经常依据其催生的生态系统来衡量. 环绕或基于核心技术构建的…

Kafka 学习之路（三）—— Kafka生产者详解

一.生产者发送消息的过程首先介绍一下Kafka生产者发送消息的过程: Kafka会将发送消息包装为ProducerRecord对象, ProducerRecord对象包含了目标主题和要发送的内容,同时还可以指定键和分区.在发送ProducerRecord对象前,生产者会先把键和值对象序列化成字节数组,这样它们才能够在网络上传输. 接下来,数据被传给分区器.如果之前已经在ProducerRecord对象里指定了分区,那么分区器就不会再做任何事情.如果没有指定分区 ,那么分区器会根据Produce…

kafka学习汇总系列（一）kafka概述

一.kafka概述在流式计算中,kafka是用来缓存数据的,storm通过消费kafka的数据进行计算.kafka的初心是,为处理实时数据提供一个统一.高通量.低等待的平台: 1.kafka是一个分布式消息队列:kafka对消息保存是根据topic主题进行归类,发送消息者称为producer,消息接受者称为consumer,此外kafka集群有多个kafka实例组成,每个实例(server)称为broker: 2.kafka的结构关系:kafka集群是有多个broker实例组成,一个broke…

Kafka学习之路（四）Kafka的安装

一.下载下载地址: http://kafka.apache.org/downloads.html http://mirrors.hust.edu.cn/apache/ 二.安装前提(zookeeper安装) 参考http://www.cnblogs.com/qingyunzong/p/8634335.html#_label4_0 三.安装此处使用版本为kafka_2.11-0.8.2.0.tgz 2.1 上传解压缩 [hadoop@hadoop1 ~]$ tar -zxvf kafka_2.…

Kafka学习之（七）搭建kafka可视化服务Kafka Eagle

一.下载安装包 kafka-eagle-bin-1.2.4.tar.gz 百度云链接:链接:https://pan.baidu.com/s/1SNIkpsvs20A_Ljtx5PaMuA 密码:o4bi 二.设置全局变量,设置JDK的全局变量JAVA_HOME和本应用的KE_HOME # vim /etc/profile #———start export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAV…

kafka集群图形界面管理工具kafka-manager

应用说明: 图形web相对于命令行很多时候显得更直观,kafka-manager是yahoo开源出来的项目,web界面还挺好用,安装更是很便捷. 安装环境: 具体安装: 1. 下载已经编译好的zip包下载链接:http://download.csdn.net/download/dajdajdajdaj/10190837 说明:编译时间较长,直接下载已经编译好的包就可以使用. [root@server- ~]# unzip kafka-manager-1.3.3.15.zip -d /opt/…

kafka管理工具-kafka manager安装

kafka-manager 简介 # 项目信息 https://github.com/yahoo/kafka-manager 安装环境要求: Kafka 0.8.. or 0.9.. or 0.10.. Java 8+ zookeeper 2+ 启动kafka集群先修改kafka启动脚本想要看到读取,写入速度需要开启JMX #要在kafka启动脚本中添加JMX_PORT #bin/kafka-server-start.sh if [ "x$KAFKA_HEAP_OPTS" = &…

Kafka学习之路（二）Kafka的架构

一.Kafka的架构如上图所示,一个典型的Kafka集群中包含若干Producer(可以是web前端产生的Page View,或者是服务器日志,系统CPU.Memory等),若干broker(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干Consumer Group,以及一个Zookeeper集群.Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group发生变化时进行rebalance.Producer使用push模式将消息发…

Kafka学习之（五）搭建kafka集群之Zookeeper集群搭建

Zookeeper是一种在分布式系统中被广泛用来作为:分布式状态管理.分布式协调管理.分布式配置管理.和分布式锁服务的集群.kafka增加和减少服务器都会在Zookeeper节点上触发相应的事件kafka系统会捕获这些事件,进行新一轮的负载均衡,客户端也会捕获这些事件来进行新一轮的处理. Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群. Linux服务器一台.三台.五台.(2*n+1),是否可以用偶数,不一定,其实没必要.假设集群中有3台服务器在工作,根据z…

Kafka 学习之路（一）—— Kafka简介

一.简介 Apache Kafka是一个分布式的流处理平台.它具有以下特点: 支持消息的发布和订阅,类似于RabbtMQ.ActiveMQ等消息队列: 支持数据实时处理: 能保证消息的可靠性投递: 支持消息的持久化存储,并通过多副本分布式的存储方案来保证消息的容错: 高吞吐率,单Broker可以轻松处理数千个分区以及每秒百万级的消息量. 二.基本概念 2.1 Messages And Batches Kafka的基本数据单元被称为message(消息),为减少网络开销,提高效率,多个消息会被放入…

Kafka学习之路（三）Kafka的高可用

一.高可用的由来 1.1 为何需要Replication 在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费,这与Kafka数据持久性及Delivery Guarantee的设计目标相悖.同时Producer都不能再将数据存于这些Partition中. 如果Producer使用同步模式则Producer会在尝试重新发送message.send.max.retries(默认值为3)次后抛出Exception,…

Kafka学习之路（一）Kafka的简介

一.简介 1.1 概述 Kafka是最初由Linkedin公司开发,是一个分布式.分区的.多副本的.多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志.访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目. 主要应用场景是:日志收集系统和消息系统. Kafka主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能. 高吞吐率.即使在非…

Kafka 学习之路（四）—— Kafka消费者详解

一.消费者和消费者群组在Kafka中,消费者通常是消费者群组的一部分,多个消费者群组共同读取同一个主题时,彼此之间互不影响.Kafka之所以要引入消费者群组这个概念是因为Kafka消费者经常会做一些高延迟的操作,比如把数据写到数据库或HDFS ,或者进行耗时的计算,在这些情况下,单个消费者无法跟上数据生成的速度.此时可以增加更多的消费者,让它们分担负载,分别处理部分分区的消息,这就是Kafka实现横向伸缩的主要手段. 需要注意的是:同一个分区只能被同一个消费者群组里面的一个消费者读取,不可能存…

Kafka学习之路（五）Kafka在zookeeper中的存储

一.Kafka在zookeeper中存储结构图二.分析 2.1 topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 [zk: localhost:(CONNECTED) ] get /brokers/topics/topic2 Schema: { "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号&…

Docker下kafka学习三部曲之一：极速体验kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统,从本章开始我们先极速体验,再实战docker下搭建kafka环境,最后开发一个java web应用来体验kafka服务. 我们一起用最快的速度体验kafka的消息发布订阅功能: 新建一个docker-compose.yml文件,内容如下: version: '2' services: zk_server: image: daocloud.io/library/zookeeper:3.3.6 restart: always kafka_server…