kafka及扩展的安装笔记

参考文件

https://blog.csdn.net/weiwenjuan0923/article/details/76152744

一.首先确认下jdk有没有安装

安装参照这个连接

https://www.cnblogs.com/panzhaohui/p/6306675.html

安装包的下载地址:

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile 使配置文件生效：

java -version 查看安装上了没有

二. 接下来安装Kafka

安装kafka参考这个页面(参考这个)

http://orchome.com/6

https://blog.csdn.net/weiwenjuan0923/article/details/76152744

到https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载相应的版本

1. 下载kafka

wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-i586.tar.gz

kafka-0.8.2.2-src.tgz (asc, md5)

wget https://archive.apache.org/dist/kafka/0.8.2.2/kafka-0.8.2.2-src.tgz

1. 解压到 /usr/local/kafka/
2. 运行默认的Kafka

后台启动运行 Zookeeper server

nohup sh bin/zookeeper-server-start.sh config/zookeeper.properties

或者前台启动启动运行

bin/zookeeper-server-start.sh config/zookeeper.properties

lsof -i:2181 查看2181端口占用 (出下面的说明端口号已经被监听了)

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

java 19358 root 90u IPv6 7266908 0t0 TCP *:eforward (LISTEN)

如果没有安装lsof就用yum安装一下

yum install lsof

启动Kafka server

``

jps 查看kafka是否启动服务

kafka常用操作

https://blog.csdn.net/code52/article/details/50935849

启动kafka

bin/kafka-server-start.sh -daemon config/server.properties

lsof -i:9092

kafka php扩展的安装

参考下面的两个连接

https://blog.csdn.net/u013177568/article/details/62432940

https://www.cnblogs.com/whlives/p/8193669.html

安装librdkafka

git clone https://github.com/edenhill/librdkafka.git

cd librdkafka/

./configure

make

sudo make install

安装php-rdkafka

下载php-rdkafka文件，运行 git clone https://github.com/arnaud-lb/php-rdkafka.git

cd php-rdkafka

phpize

./configure --with-php-config=/www/server/php/70/bin/php-config //这里找到你的php安装目录

make && make install

此时会在/www/server/php/extensions/debug-non-zts-20151012/目录下有rdkafka.so文件

将extension=rdkafka.so增加在php.ini文件中 //宝塔里的是php.ini是在/www/server/php/70/etc

这个是常用命令的操作说明

https://blog.csdn.net/code52/article/details/50935849

Step 3: 创建一个主题(topic)

创建一个名为“test”的Topic，只有一个分区和一个备份：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

创建好之后，可以通过运行以下命令，查看已创建的名为test的topic主题信息：

bin/kafka-topics.sh --list --zookeeper localhost:2181 test

查看test主题下partitions分驱

bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test

发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费分区里的消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

配置kafka

vim config/server.properties

查看topic下的日志日志对应的文件

push /tmp/kafka-logs/

ls

test-0就是对应的文件夹

pwd

此时已经在下面这个文件夹里了

/tmp/kafka-logs

cd test-0/

ll

此时就可以看到对应的topic里的日志文件了