Kafka集群安装及prometheus监控
前提
zookeeper安装参考:https://www.cnblogs.com/JustinLau/p/11372782.html
其他安装参考:https://www.cnblogs.com/luotianshuai/p/5206662.html
安装Kafka前需要先安装zookeeper集群,集体安装方法请参照我的另一篇文档。
Kafka安装
下载
wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz
解压
tar -zxvf kafka_2.8.0-0.8.0.tar.gz
移动文件夹
mv kafka_2.8.0-0.8.0 /usr/local/hadoop/
修改配置
cd /usr/local/hadoop/config
vi server.properties
参照下图信息修改
Kafaka操作
启动kafka server
cd ../
bin/kafka-server-start.sh config/server.properties
创建主题
cd /usr/local/hadoop/bin
./kafka-create-topic.sh --partition 1 --replica 1 --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test
检查主题是否创建成功
./kafka-list-topic.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181
启动producer
./kafka-console-producer.sh --broker-list 192.168.6.100:9092 --topic test
输入hello后,回车 ,然后另外打开一个shell终端
启动consumer
./kafka-console-consumer.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test
关闭kafka
./kafkastop.sh
新版本命令
---new version--
./kafka-topics.sh --create --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --replication-factor 1 --partitions 1 --topic test
./kafka-topics.sh --list --zookeeper 192.168.6.100:2181,192.168.6.103:2181
./kafka-console-producer.sh --broker-list 192.168.6.100:9092 --topic test
./kafka-console-consumer.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test --from-beginning
附:有可能遇到的问题和解决方案
问题1: Failed to acquire lock on file .
这里写图片描述
解决方案:
这是因为之前已经有kafka进程在运行,可以如下:
通过jps命令查看进程号,并kill掉,然后重新启动kafka即问题解决
采集器
下载地址
解压
tar -xzvf kafka_exporter-1.2.0.linux-amd64.tar.gz
启动
./kafka_exporter --kafka.server=192.168.6.103:9092
Kafka集群安装及prometheus监控的更多相关文章
- Kubernetes容器集群管理环境 - Prometheus监控篇
一.Prometheus介绍之前已经详细介绍了Kubernetes集群部署篇,今天这里重点说下Kubernetes监控方案-Prometheus+Grafana.Prometheus(普罗米修斯)是一 ...
- kafka集群安装部署
kafka集群安装 使用的版本 系统:centos6.5 centos6.7 jdk:1.7.0_79 zookeeper:3.4.9 kafka:2.10-0.10.1.0 一.环境准备[只列,不具 ...
- zookeeper+kafka集群安装之二
zookeeper+kafka集群安装之二 此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境. zookeeper安装 ...
- zookeeper+kafka集群安装之一
zookeeper+kafka集群安装之一 准备3台虚拟机, 系统是RHEL64服务版. 1) 每台机器配置如下: $ cat /etc/hosts ... # zookeeper hostnames ...
- zookeeper+kafka集群安装之中的一个
版权声明:本文为博主原创文章.未经博主同意不得转载. https://blog.csdn.net/cheungmine/article/details/26678877 zookeeper+kafka ...
- KafKa集群安装详细步骤
最近在使用Spring Cloud进行分布式微服务搭建,顺便对集成KafKa的方案做了一些总结,今天详细介绍一下KafKa集群安装过程: 1. 在根目录创建kafka文件夹(service1.serv ...
- Kafka 集群安装
Kafka 集群安装 环境: Linux 7.X kafka_2.x 在linux操作系统中,kafka安装在 /u04/app目录中 1. 下载 # wget https://mirrors.cnn ...
- KafKa集群安装、配置
一.事前准备 1.kafka官网:http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:(linux) 192.168.145.12 ...
- Centos7.4 kafka集群安装与kafka-eagle1.3.9的安装
Centos7.4 kafka集群安装与kafka-eagle1.3.9的安装 集群规划: hostname Zookeeper Kafka kafka-eagle kafka01 √ √ √ kaf ...
随机推荐
- Fences_3.08破解安装
Fences_3.08破解安装 一.总结 一句话总结: 找破解软件去吾爱破解论坛,非常节约时间 二.Fences_3.08破解安装(亲测有效) 来源:吾爱破解论坛 百度网盘下载地址:链接:https: ...
- MAC将根目录文件夹的权限赋给用户
https://my.oschina.net/liujiest/blog/762004 1.sudu -i进入root模式(需输入密码) 2.chown -R 用户名 /文件夹名 sudo -i Pa ...
- VMware Workstation虚拟机打开系统时,提示“无法打开内核设备“\\.\Global\vmx86”: 系统找不到指定的文件。是否在安装 VMware Workstation 后重新引导?”
VMware Workstation虚拟机打开系统时,提示“无法打开内核设备“\\.\Global\vmx86”: 系统找不到指定的文件.是否在安装 VMware Workstation 后重新引导? ...
- wordpress插件开发流程梳理
1.声明一个插件 首先我们必须明白,wordpress的插件可以是单文件,也可以是多文件,css/html都不是必须的,以下举例暂且在单文件模式下 比如我们要创建一个名为 hellophp的插件,那我 ...
- Bitmap之compress图片压缩
package com.loaderman.customviewdemo; import android.app.Activity; import android.graphics.Bitmap; i ...
- python小白之数组索引
索引 numpy中的数组索引形式和Python是一致的.如: np.arange(10) print x[2] #单个元素,从前往后正向索引.注意下标是从0开始的. print x[-2] #从后 ...
- python小白之矩阵matrix笔记(updating)
Matrix #python学习之矩阵matrix 2018.4.18 # -*- coding: UTF-8 -*- from numpy import * import numpy as np i ...
- osg机械臂模拟
实现自由旋转
- Springboot集成MapperFactory(ma.glasnost.orika.MapperFactory)类属性复制
一.导入Jar() gradle方式 compile group: 'ma.glasnost.orika', name: 'orika-core', version: '1.5.1' maven方式 ...
- LeetCode_118. Pascal's Triangle
118. Pascal's Triangle Easy Given a non-negative integer numRows, generate the first numRows of Pasc ...