一,kafka解压到/usr/local/下后,修改配置文件

vim config/zookeeper.properties

修改如下几行:

dataDir=/usr/local/zookeeper/zkdata

dataLogDir=/usr/local/zookeeper/logs

# the port at which the clients will connect

clientPort=2181

创建zookeeper数据目录,日志目录

mkdir -p /usr/local/zookeeper/logs

修改kafka配置文件:

vim config/server.properties

#修改以下几行:

broker.id=0

listeners=PLAINTEXT://0.0.0.0:9092

advertised.listeners=PLAINTEXT://0.0.0.0:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/tmp/kafka-logs

num.partitions=1

num.recovery.threads.per.data.dir=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=localhost:2181

zookeeper.connection.timeout.ms=6000

二,编辑启动脚本

1,zk启动脚本

cat /etc/init.d/zookeeper

#!/bin/bash

export JAVA_HOME=/data/jdk

export PATH=$JAVA_HOME/bin:$PATH

#chkconfig:2345 20 90

#description:zookeeper

#processname:zookeeper

case $1 in

start)

/usr/local/kafka/bin/zookeeper-server-start.sh -daemon /usr/local/kafka/config/zookeeper.properties

;;

*)

echo "require start|stop|status|restart"

;;

esac

2,kafka启动脚本

cat /etc/init.d/kafka

#!/bin/bash

export JAVA_HOME=/data/jdk

export PATH=$JAVA_HOME/bin:$PATH

case $1 in

start)

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

;;

*)

echo "require start|stop|status|restart"

;;

esac

3,如果要加入到开机自启动中,可在rc.local中添加

/etc/init.d/zookeeper start

/etc/init.d/kafka start

请注意启动顺序,先启动zk,后启动kafka。

三,kafka消息测试

1,创建topic

查看命令的帮助信息:直接输入bin/kafka-topics.sh,而后enter,即可以查看所有的参数信息

bin/kafka-topics.sh --create --zookeeper 192.168.20.20:2181 --replication-factor 1 --partitions 1 --topic summer

注释:参数说明

  • replication-factor:设置副本数
  • partitions:设置分区数

2,查看当前所有的topic列表

bin/kafka-topics.sh --list --zookeeper 192.168.20.20:2181

3,查看topic的介绍信息

bin/kafka-topics.sh --describe --zookeeper 192.168.20.20:2181

  查看指定topic:

  bin/kafka-topics.sh --describe --zookeeper 192.168.20.20:2181 --topic summer

4,发送消息

bin/kafka-console-producer.sh --broker-list 192.168.20.20:9092 --topic summer

5,消费消息

bin/kafka-console-consumer.sh --zookeeper 192.168.20.20:2181 --topic summer --from-beginning

此方法会有警告信息,表示已废弃的用法,建议使用新的用法【bootstrap-server】

bin/kafka-console-consumer.sh --bootstrap-server 192.168.20.20:9092 --topic summer

 

  • --from-beginning参数的作用:重新开始消费消息,不论能否已经被消费了

centos6.5 单点kafka测试的更多相关文章

  1. Kafka测试

    准备工作 硬件:笔记本,windows10系统4核8G内存 软件:接口测试工具,以及kafka自带测试工具 影响测试结果配置分析 Borker num.network.thread=3 用于接收并处理 ...

  2. ffmpeg centos6.5上安装(测试 amr 转换为 mp3)

    1. 下载相关源码包 wget http://www.tortall.net/projects/yasm/releases/yasm-1.2.0.tar.gz wget http://sourcefo ...

  3. CentOS6.9安装Kafka

    先设置jdk1.8 vi /etc/profile export JAVA_HOME=/usr/local/jdkexport JRE_HOME=/usr/local/jdk/jreexport CL ...

  4. CentOS6.5 安装Kafka集群

    1.安装zookeeper 参考文档:http://www.cnblogs.com/hunttown/p/5452138.html 2.下载:https://www.apache.org/dyn/cl ...

  5. 【Kafka】Kafka测试时控制台日志级别修改

    在学习Kafka客户端时日志打的飞起,根本看不到自己发的消息,找了半天网上竟然没有这方面的资料.想了下依赖关系,这里应该只要把slf4j的日志级别调整应该就ok了. static { LoggerCo ...

  6. Flume 测试 Kafka 案例

    Flume Kafka 测试案例,Flume 的配置. a1.sources = s1 a1.channels = c1 a1.sinks = k1 a1.sources.s1.type = netc ...

  7. centos7安装kafka 转

    CentOS7安装和使用kafka         环境准备 安装kafka之前我们需要做一些环境的准备 1.centOS7系统环境 2.jdk环境 3.可用的zookeeper集群服务 安装jdk ...

  8. 【Java EE 学习 68】【单点登录】【两种单点登录类型:SSO/CAS、相同一级域名的SSO】

    单点登录:SSO(Single Sign On) 什么是单点登录:大白话就是多个网站共享一个用户名和密码的技术,对于普通用户来说,只需要登录其中任意一个网站,登录其他网站的时候就能够自动登陆,不需要再 ...

  9. 【单点登录】【两种单点登录类型:SSO/CAS、相同一级域名的SSO】

    单点登录:SSO(Single Sign On) 什么是单点登录:大白话就是多个网站共享一个用户名和密码的技术,对于普通用户来说,只需要登录其中任意一个网站,登录其他网站的时候就能够自动登陆,不需要再 ...

随机推荐

  1. Linux文件系统之目录清单

    挂载点:挂载:将设备关联到当前文件系统目录 文件系统:rootfs:根文件系统/boot:系统启动相关文件,如内核.initrd.以及grub(bootleader:引导加载器)/dev:设备文件,  ...

  2. GET /static/plugins/bootstrap/css/bootstrap.css HTTP/1.1" 404 1718

    引用的Bootstrap一直不出来,页面中的静态资源无法加载, 报这个错的原因,是因为配置setting时候没有配置好. 后面在setting里面添加下面这段就好了 STATICFILES_DIRS ...

  3. 基于蓝图的完整的Flask项目

    其一Flask_Script 安装: pip3 install flask_script flask_script作用: -改变flask的启动方式:python manage.py runserve ...

  4. 【python爬虫】 爬云音乐我和xxx共同听过的歌曲

    闲聊的时候,觉得,想写个爬虫,爬下2个人共同听过的歌曲有哪些,然后一鼓作气,花了一个多小时,写了一个.支持最近一周和所有时间,需要用户没有关闭听歌排行显示 How to start 使用到的工具是Se ...

  5. Codeforces Round #512 (Div. 2, based on Technocup 2019 Elimination Round 1) E. Vasya and Good Sequences(DP)

    题目链接:http://codeforces.com/contest/1058/problem/E 题意:给出 n 个数,对于一个选定的区间,区间内的数可以通过重新排列二进制数的位置得到一个新的数,问 ...

  6. python--openCV--图像处理

    安装 pip3 install opencv-python 图像处理: import cv2 #导入opencv库 import numpy as np img = cv2.imread(" ...

  7. 我理解的windows中断管理

    只谈外部中断的windows内核管理,异常和trap不在此文的讨论之列. 1. windows中断总貌 在windows中,物理上的中断源被抽象为KINTERRUPT结构.一个中断源在windows中 ...

  8. Java线程的启动和停止(一)

    如何构造线程 在运行线程之前需要先构造线程对象,线程对象的构造需要指定线程所需要的属性,比如:所属线程组.线程优先级.是否为Daemon线程等信息.下面我们看一下,java.lang.Thread中对 ...

  9. $\LaTeX$数学公式大全

    $\LaTeX$数学公式大全$1\ Geek\ and\ Hebrew\ letters$ $\LaTeX$数学公式大全$2\ Math\ Constructs$ $\LaTeX$数学公式大全$3\ ...

  10. 引发了未经处理的异常:读取访问权限冲突。 _First 是 nullptr。

    1.问题:程序崩溃出现错误 引发了未经处理的异常:读取访问权限冲突. _First 是 nullptr. string strreponse=0: 定义这条语句,字符串初始化错误. 自己开发了一个股票 ...