下载打包 release下载:https://github.com/yahoo/kafka-manager/releases 源码位置:https://github.com/yahoo/kafka-manager 从上面两处获取的都是源码,需要自己打包,才可以使用 1.进入解压后的 Kafka-manager 目录,执行下面的命令:./sbt clean dist.如果之前从来没有用过Play框架,这个步骤会需要一定时间,主要是下载依赖的jar包,使用aliyun的私服可以让这个过程缩短很多.

第一行,列出了topic的名称,分区数(PartitionCount),副本数(ReplicationFactor)以及其他的配置(Config.s) Leader:1 表示为做为读写的broker的编号 Replicas:表示该topic的每个分区在那些borker中保存 Isr:表示当前有效的broker, Isr是Replicas的子集

修改分区个数: ./kafka-topics./kafka/<id_of_kafka> --alter --partitions 10 --topic test_topic 上面命令将test_topic对应的分区数目调整为10个,127.0.0.1是zookeeper的地址,2181是zookeeper端口. 删除topic ./kafka-topics./kafka/<id_of_kafka> --delete --topic test_topic 上面命令将主题test_to

Kafka官方提供了两个脚本来管理topic,包括topic的增删改查.其中kafka-topics.sh负责topic的创建与删除:kafka-configs.sh脚本负责topic的修改和查询,但很多用户都更加倾向于使用程序API的方式对topic进行操作.   上一篇文章中提到了如何使用客户端协议(client protocol)来创建topic,本文则使用服务器端的Java API对topic进行增删改查.开始之前,需要明确的是,下面的代码需要引入kafka-core的依赖,以kafka

1.概述 Kafka是一个分布式消息中间件系统,里面存储着实际场景中的数据.Kafka原生是不支持点查询的,如果我们想对存储在Topic中的数据进行查询,可能需要对Topic中的数据进行消费落地,然后构建索引(或者数据落地到自带所以的存储系统中,例如HBase.Hive等).今天,笔者就为大家来介绍如何实现Kafka分布式查询引擎. 2.内容 对于点查询,我们可以总结为两个要点.其一,有数据供我们查询:其二,对待查询的数据构建索引.在Kafka中,Topic存储数据,满足了第一点,虽然Kafka

HIBERNATE一些_方法_@注解_代码示例操作数据库7步骤 : 1 创建一个SessionFactory对象 2 创建Session对象 3 开启事务Transaction : hibernate中,然后数据库操作,都必须是事务的,哪怕是查询 4 执行数据保存操作(必须提交,才会执行对应的操作方法) 5 提交事务 6 关闭Session session.close(); getCurrentSession();不需要手动关闭,opensession需要手动关闭 7 关闭SessionFact

    Kafka 0.8.2引入了一个用Java写的producer.下一个版本还会引入一个对等的Java版本的consumer.新的API旨在取代老的使用Scala编写的客户端API,但为了兼容性的考虑两版API还要同时存在一段时间.另外,新版的API可以打成独立的jar包,而Scala版本的不行.     Kafka官网是鼓励用户使用java版的producer的,而kafka.core.producer包实际上是老版的实现.这个包中还包括一个async包,应该是实现异步发送的,与之平行的

一.简介 官方简介: l  RocketMQ是一款分布式.队列模型的消息中间件,具有以下特点: l  能够保证严格的消息顺序 l  提供丰富的消息拉取模式 l  高效的订阅者水平扩展能力 l  实时的消息订阅机制 l  亿级消息堆积能力 二.网络架构 三.特性 1.      nameserver 相对来说,nameserver的稳定性非常高.原因有二: 1 .nameserver互相独立,彼此没有通信关系,单台nameserver挂掉,不影响其他nameserver,即使全部挂掉,也不影响业务

kafka是一个开源的分布式消息队列 他提供可靠的集群容错机制,并保证故障切换时的数据完整性. 无论从性能.可靠性.易用性都强过ActiveMQ(client的API感觉还是不如ActiveMQ好用,文档也没有更新到最新版)   下面简单记录一下安装步骤和常用命令.   1.安装 http://kafka.apache.org/documentation.html 下载压缩包并解压 可以解压到 /usr/local/kafka   2.配置 vim conf/server.properties

如果你在使用Kafka来分发消息,在数据处理的过程中可能会出现处理程序出异常或者是其它的错误,会造成数据丢失或不一致.这个时候你也许会想要通过kafka把数据从新处理一遍,我们知道kafka默认会在磁盘上保存到7天的数据,你只需要把kafka的某个topic的consumer的offset设置为某个值或者是最小值,就可以使该consumer从你设置的那个点开始消费. 查询topic的offset的范围 用下面命令可以查询到topic:DynamicRange broker:SparkMaster

RocketMQ初步应用架构理论 写给RocketMQ架构应用入门,内容涉及它的设计机理以及推到出来的应用注意事项,入门人员请看. 稍微涉及技术细节,留以我设计中间件时参考,将来整理深度文档时会抽取走,入门人员可以无视. 以下RocketMQ简称为RQ,理论部分采用版本为3.2.4,测试部分采用版本为3.2.6. MQ的需求 我们对MQ的需求,相比JMS标准有几点要求更高: 1. 必须优美灵活地支持集群消费. 2. 尽量支持消息堆积. 3. 服务高可用性和消息可靠性. 4. 有起码的运维工具做集

Java curator操作zookeeper获取kafka Curator是Netflix公司开源的一个Zookeeper客户端,与Zookeeper提供的原生客户端相比,Curator的抽象层次更高,简化了Zookeeper客户端的开发量. 原文地址:http://blogxinxiucan.sh1.newtouch.com/2017/08/01/Java-curator操作zookeeper获取kafka/ Curator的Maven依赖 <dependency> <groupId

生产者 ./kafka-console-producer.sh --broker-list --topic norm 消费者 ./kafka-console-consumer.sh --zookeeper --from-beginning --topic norm 查询topic的offset offset最小值 bin/kafka-run- -topic norm --time - offset最大值 bin/kafka-run-class.sh kafka.tools.GetOffsetSh

创建ros工作环境: mkdir -p ~/catkin_ws/src //建立项目目录,同时生成src文件夹 cd ~/catkin_ws/ //进入项目目录 catkin_make //编译项目,即使什么文件也没有也可以编译 source devel/setup.bash //执行编译生成的脚本文件,这会使当前项目目录加入环境变量.每次开启终端都要设置 echo $ROS_PACKAGE_PATH //检查环境变量是否修改 ros文件架构:粗体为文件夹,此外为文件 catkin_ws 总目录

匠心零度 转载请注明原创出处,谢谢! RocketMQ网络部署图 NameServer:在系统中是做命名服务,更新和发现 broker服务. Broker-Master:broker 消息主机服务器. Broker-Slave: broker 消息从机服务器. Producer: 消息生产者. Consumer: 消息消费者. rocketmq的几个核心的模块,而对于每个模块都是单独的jvm进程,我们看到上面的架构图的时候,那些箭头就是rocketmq的rpc调用,下面我们来看看rocketmq

本文基于A Guide To The Kafka Protocol文档,以及Spark Streaming中实现的org.apache.spark.streaming.kafka.KafkaCluster类.整理出Kafka中有关 Metadata API Produce API Fetch API Offset API(Aka ListOffset) Offset Commit/Fetch API Group Membership API Administrative API 零.准备工作 需

问题现象 今天忽然收到RocketMQ预警信息如下: 提醒有部分数据没有消费,产生堆积情况. 打开RocketMq-Console-Ng查看如下图形式: 备注:第一反应是Consumer Group内订阅了多个topic?(为什么这么怀疑,下次分析). 通过命令statsAll 作用是查询Topic and Consumer tps stats: sh mqadmin statsAll -n namesrv 发现没有问题,很奇怪?还好之前源码看过,只能调试源码了. 源码调试 本篇不重点讲解源码过

1.概述 对于数据的转发,Kafka是一个不错的选择.Kafka能够装载数据到消息队列,然后等待其他业务场景去消费这些数据,Kafka的应用接口API非常的丰富,支持各种存储介质,例如HDFS.HBase等.如果不想使用Kafka API编写代码去消费Kafka Topic,也是有组件可以去集成消费的.下面笔者将为大家介绍如何使用Flume快速消费Kafka Topic数据,然后将消费后的数据转发到HDFS上. 2.内容 在实现这套方案之间,可以先来看看整个数据的流向,如下图所示: 业务数据实时

1.概述 最近有同学留言反馈了使用Kafka监控工具Kafka Eagle的一些问题,这里笔者特意整理了这些问题.并且希望通过这篇博客来解答这些同学的在使用Kafka Eagle的时候遇到的一些困惑,同时也给出一些定位分析Kafka Eagle异常的时的解决办法. 2.内容 2.1 背景 在使用Kafka Eagle监控系统之前,笔者简单的介绍一下这款工具的用途.Kafka Eagle监控系统是一款用来监控Kafka集群的工具,目前更新的版本是v1.2.3,支持管理多个Kafka集群.管理Kaf

说明 主要内容是在网上的一些文章中整理出来: 加粗的字体是比较重要的内容,部分是自己的经验和理解: 整理的目的主要是为了方便查阅: 为什么需要消息系统 解耦: 在项目启动之初来预测将来项目会碰到什么需求,是极其困难的.消息队列在处理过程中间插入了一个隐含的.基于数据的接口层,两边的处理过程都要实现这一接口.这允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束. 冗余: 有些情况下,处理数据的过程会失败.除非数据被持久化,否则将造成丢失.消息队列把数据进行持久化直到它们已经被完全

在测试过程中有用到kafka,由于开发说我往kafka里面生产了消息,通知了对方要消费....看到这块一头雾水 kafka主要2个功能生产和消费 ##查询topic列表 ./kafka-topics.sh --list --zookeeper localhost:21810 ###模拟生产数据./kafka-console-producer.sh --broker-list 10.12.70.18:9092,10.12.70.19:9092,10.12.70.20:9092 --topic pa