配置多个broker

前言什么是kafka?举个例子,生产者消费者,生产者生产鸡蛋,消费者消费鸡蛋,生产者生产一个鸡蛋,消费者就消费一个鸡蛋,假设消费者消费鸡蛋的时候噎住了(系统宕机了),生产者还在生产鸡蛋,那新生产的鸡蛋就丢失了.再比如生产者很强劲(大交易量的情况),生产者1秒钟生产100个鸡蛋,消费者1秒钟只能吃50个鸡蛋,那要不了一会,消费者就吃不消了(消息堵塞,最终导致系统超时),消费者拒绝再吃了,"鸡蛋"又丢失了,这个时候我们放个篮子在它们中间,生产出来的鸡蛋都放到篮子里,消费者去篮子里拿鸡蛋,…

由于DG Broker的配置导致RAC某实例无法mount

今天碰到一个我自己实验室发生的故障,起初看起来很简单,但实际上还很有趣,而且不细心的话还容易被忽视掉.相信在生产环境也会有客户会实际遇到. 环境:Oracle 11.2.0.4 RAC (2 nodes Primary + 2 nodes Standby) 背景:起初这个实验环境搭建好是没有任何问题的.后期做过各类测试,其中包括主库增加了新的存储目录,所以现在需要修改备库的db_file_name_convert参数,添加对应各自的关系. 本来修改个参数没太在意,当时重启数据库也是成功的,结果后…

Oracle物理DG自动切换——Dataguard Broker配置

1.前言部分 1.1 导读各位技术爱好者,看完本文后,你可以掌握如下的技能: ① Data Guard Broker 的配置 ② Fast-Start Failover 的配置 ③ Oracle DataGuard 之客户端TAF 配置 ④ 使用DGMGRL 来管理数据库 ⑤ 物理dg管理和维护的一些sql ⑥ DataGuard 客户端特级配置注意:本篇BLOG中代码部分需要特别关注的地方我都用黄色背景和红色字体来表示,比如下边的例子中,thread 1的最大归档日志号为33,thread…

【DATAGUARD】物理dg配置客户端无缝切换 (八.1)--Data Guard Broker 的配置

[DATAGUARD]物理dg配置客户端无缝切换 (八.1)--Data Guard Broker 的配置一.1 BLOG文档结构图一.2 前言部分一.2.1 导读各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~: ① Data Guard Broker 的配置 ② Fast-Start Failover 的配置 ③ Oracle DataGuard 之客户端TAF 配置 ④ 使用DGMGRL 来管理数据库 ⑤…

kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转）

问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行"随机读写"的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么? 一.入门 1.简介 Kafka is a distributed,partitioned,replicated commit logservice.它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JM…

关于ActiveMQ的几种集群配置

ActiveMQ的几种集群配置. Queue consumer clusters 此集群让多个消费者同时消费一个队列,若某个消费者出问题无法消费信息,则未消费掉的消息将被发给其他正常的消费者,结构图如下: Broker clusters 此种配置是一个消费者连接到多个broker集群的中的一个broker,当该broker出问题时,消费者自动连接到其他一个正常的broker.消费者使用 failover:// 协议来连接broker. failover:(tcp://localhost:6161…

ActiveMQ的几种集群配置

ActiveMQ是一款功能强大的消息服务器,它支持许多种开发语言,例如Java, C, C++, C#等等.企业级消息服务器无论对服务器稳定性还是速度,要求都很高,而ActiveMQ的分布式集群则能很好的满足这一需求,下面说说ActiveMQ的几种集群配置. Queue consumer clusters 此集群让多个消费者同时消费一个队列,若某个消费者出问题无法消费信息,则未消费掉的消息将被发给其他正常的消费者,结构图如下: Broker clusters 此种配置是一个消费者连接到多个bro…

kafka 集群部署多机多broker模式

kafka 集群部署多机多broker模式环境IP : 172.16.1.35 zookeeper kafka 172.16.1.36 zookeeper kafka 172.16.1.37 zookeeper kafka 开放端口 2181 2888 3888 9092 编辑 server.properties 文件 (以下为 172.16.1.35 的配置) #在默认的配置上,我只修改了4个地方.broker.id = 三个主机172.16.1.3…

Kafka认证权限配置(动态添加用户)

之前写过一篇Kafka ACL使用实战,里面演示了如何配置SASL PLAINTEXT + ACL来为Kafka集群提供认证/权限安全保障,但有一个问题经常被问到:这种方案下是否支持动态增加/移除认证用户——这里给出明确的答案:不可以!因为所有认证用户信息全部配置在静态的jaas文件中,故无法在不重启broker的情况下实现用户增减.这一次我以Kafka 2.1.0版本为例演示配置SASL SCRAM + ACL来实现如何动态增减用户,另外也想完善和优化上一篇中的一些不足之处(比如说不用再修改初…

Kafka 配置安装

1.从官网下载安装包 http://kafka.apache.org/downloads2.上传到01虚拟机,解压3.进入安装目录下的config目录4.对server.properties进行配置 [root@hadoop01 config]# vim server.properties 配置示例: broker.log.dirs=/home/software/kafka_2.10-0.10.0.1/kafka-logs zookeeper.connect=hadoop01:,hadoop02…

Service Broker 概述

ServiceBroker(简称SSB)是基于数据库引擎提供的一个强大的异步编程模型,通过ServiceBroker,开发人员无需编写复杂的通信和消息程序,即可在数据库实例之间完成高效可靠的异步通信. Service Broker具有如下特点: 1 数据库集成完全基于数据库引擎,无需任何开发.对象和数据也存储于数据库中,可以应用标准的数据维护方法(例如备份/还原数据). 2 自动激活可以为接收消息的Service配置消息处理存储过程,当收到消息时,自动激活该存储过程处理收到的消息. 3 …

kafka配置参数详解【收藏】

3.1 Broker Configs 基本配置如下: -broker.id -log.dirs -zookeeper.connect Topic-level配置以及其默认值将在下面讨论. Property Default Description broker.id 每个broker都可以用一个唯一的非负整数id进行标识:这个id可以作为broker的“名字”,并且它的存在使得broker无须混淆consumers就可以迁移到不同的host/port上.你可以选择任意你喜欢的数字作…

kafka_zookeeper_配置文件配置

server.properties配置如下: broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.request.max.bytes=104857600 log.dirs=/tmp/kafka-logs num.partitions=2 log.retention.hours=168 log.…

【Kafka】Broker之Server.properties的重要参数说明

名称描述类型默认值有效值区间重要程度 zookeeper.connect zk地址 string 高 advertised.host.name 过时的:只有当advertised.listeners或listeners没有配置的时候才会生效.使用advertised.listeners代替.发布在zk上的hostname,供客户端使用.在IaaS环境下,该值需要与broker绑定的接口不一样.如果该值没有配置,会使用配置的host.name.否则会使用java.net.InetAddr…

hadoop生态搭建（3节点）-08.kafka配置

如果之前没有安装jdk和zookeeper,安装了的请直接跳过 # https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html # ==================================================================安装 jdk mkdir -p /usr/java tar -zxvf ~/jdk-8u111-linux-x64…

CDH 安装配置指南（Tarball方式）

采用CDH Tarbal方式安装Hadoop集群. 1. 环境组件版本组件名称组件版本用途 jdk 1.8 jdk-8u191-linux-x64 oracle jdk mysql mysql-5.7.13-linux-glibc2.5-x86_64 存放cloudera manager配置文件 zookeeper zookeeper-3.4.5-cdh5.12.2 分布式协调服务 hadoop hadoop-2.6.0-cdh5.12.2 包含HDFS和YARN,支撑分布式存储和资源管理…

Kafka server.properties配置，集群部署

server.properties中所有配置参数说明(解释) broker.id =0每一个broker在集群中的唯一表示,要求是正数.当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况log.dirs=/data/kafka-logskafka数据的存放地址,多个地址的话用逗号分割 /data/kafka-logs-1,/data/kafka-logs-2port =9092broker server服务端口message.max.bytes =…

kafka brokers配置参数详解

基本配置如下: -broker.id-log.dirs-zookeeper.connect Topic-level配置以及其默认值将在下面讨论. Property Default Description broker.id 每个broker都可以用一个唯一的非负整数id进行标识:这个id可以作为broker的“名字”,并且它的存在使得broker无须混淆consumers就可以迁移到不同的host/port上.你可以选择任意你喜欢的数字作为id,只要id是唯一的即可. log.dirs /t…

Apache Qpid Broker的安全机制

一. Apache Qpid的安全机制简介 Apache Qpid提供多种安全机制,包括用户认证.规则定制的授权.消息加密和数字签名等.Apache Qpid使用SASL框架实现对用户身份的认证,使用访问控制列表(ACL)对角色用户的权限进行管理控制,消息加密和数字签名则是使用SSL安全套接字层来实现. 二. 用户认证 AMQP使用SASL(Simple Authentication and Security Layer)对连接到Broker的每一个客户端进行身份认证.SASL是…

oracle data guard配置dg_broker

https://community.oracle.com/docs/DOC-1007327 本文主要包括以下内容: 1. 配置dg broker,需要完成以下几个工作: 在主备库配置静态监听注册,注册的服务名为db_unique_name_DGMGRL: 在主备库修改tnsnames.ora文件,配置别名: 主备库都开启dg_broker_start参数: 在主库注册broker: 在主库添加备库的broker并开启. 2. Data Guard switchover: 3. Data G…

kafka入门配置

问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么? 一.入门 1.简介 Kafka is a distributed,partitioned,replicated commit logservice.它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实…

中间件 | kafka简介、使用场景、设计原理、主要配置及集群搭建

开源Java学习公众号一.入门 1.简介 Kafka is a distributed,partitioned,replicated commit logservice.它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现.kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker.无论是kafka集群,还是producer和c…

ActiveMQ配置详解

原文链接一.消息目的地策略在节点destinationPolicy配置策略,可以对单个或者所有的主题和队列进行设置,使用流量监控,当消息达到memoryLimit的时候,ActiveMQ会减慢消息的产生甚至阻塞,destinationPolicy的配置如下:  <!-- wildcards意义见http://activemq.apach…

[转帖]kafka入门：简介、使用场景、设计原理、主要配置及集群搭建

kafka入门:简介.使用场景.设计原理.主要配置及集群搭建 http://www.aboutyun.com/thread-9341-1-1.html 还没看完感觉挺好的. 问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么? 一.入门 1.简介 Kafka is a distr…

kafka 配置权限

参考:https://www.cnblogs.com/huxi2b/p/10437844.html http://kafka.apache.org/documentation/#security_authz_examples kafka 版本 :2.3.0建立用户:kafka-configs.bat --zookeeper localhost:2181/kafka-scram --alter --add-config SCRAM-SHA-256=[iterations=8192,password…