efk

准备三台虚拟机 都安装 zookeeper kafka

kafka01   192.168.202.131   +elasticsearch + kibana   

kafka02 192.168.202.132    + logstash

kafka03 192.168.202.133     +kafka 创建 topic

第一步 三台虚拟机做zookeeper

1.安装jdk环境

[root@localhost ~]# rpm -ivh jdk-8u131-linux-x64_.rpm

 

2.测试环境

Java -version

[root@localhost ~]# java -version
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

 

3.安装 zookeeper

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
tar -zxvf zookeeper-3.4.14.tar.gz

mv zookeeper-3.4.14 /usr/local/zookeeper

 

5. 创建两个目录后面要用

 

cd /usr/locaol/zookeeper 

mkdir {zkdata,zkdatalog}

 

6. 编辑zookeeper配置文件

cd /usr/local/zookeeper/conf

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

执行 ：g/^#/d 删除说有注释行

7.给三个zkdata 分别不同的东西

echo '1'>/usr/local/zookeeper/zkdata/myid

echo '2'>/usr/local/zookeeper/zkdata/myid

echo '3'>/usr/local/zookeeper/zkdata/myid

　　

8.启动 检测 成不成功  先关闭防火墙 和selinux

 

    cd /usr/local/zookeeper/bin

./zkServer.sh start

[root@kafka03 bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader

第二部 三台虚拟主机 安装Kafka

1.安装 kafka

wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz
tar -zxvf zookeeper-3.4.14.tar.gz
mv zookeeper-3.4.14 /usr/local/kafka

　　

2.编辑配置文件

[root@kafka03 bin]# cd /usr/local/kafka/config
[root@kafka03 config]# vim server.properties

第一台 ：

第二台
broker.id=2
advertised.listeners=PLAINTEXT://kafka02:9092
zookeeper.connect=192.168.202.131:2181,192.168.202.132:2181,192.168.202.133:2181
第三台
broker.id=3
advertised.listeners=PLAINTEXT://kafka03:9092
zookeeper.connect=192.168.202.131:2181,192.168.202.132:2181,192.168.202.133:2181

　　

3.  vim /etc/hosts

192.168.202.131 kafka01
192.168.202.132 kafka02
192.168.202.133 kafka03

　

9 如果要收集nginx的日志 需要配置yum源

[root@localhost yum.repos.d]# cd /etc/yum.repos.d
[root@localhost yum.repos.d]# vim filebeat.repo 

[filebeat-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

10 安装filebeat

[root@localhost yum.repos.d]# yum -y install filebeat

　　

11 编辑filebeat的配置文件