Angel - 模拟Kafka数据流调试FTRL的方法

Angel - 模拟Kafka数据流调试FTRL的方法

Mac或者Linux版本(Win10的Linux子系统同样适用) 创建一个目录用来安装kafka以及zookeeper等相关软件，比如，新建一个名为streaming的文件夹

mkdir streaming

Zookeeper安装

1.下载zookeeper

这里使用的版本是3.4.11，下载页面是Zookeeper下载，当然你也可以直接输入下面的命令

wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz

2.安装Zookeeper

解压：

tar zxvf zookeeper-3.4.11.tar.gz

进入到解压好的zookeeper目录中，得到当前目录

cd zookeeper-3.4.11
pwd

编辑你环境变量文件：/.bashrc或者其他文件(如是zsh，则为/.zshrc) 添加：

export ZK_HOME=/your/zk/home  # 这里填写你pwd的结果
export PATH=$PATH:$ZK_HOME/bin

然后使之生效：

source ~/.bashrc  # 刚才编辑的环境变量文件

进入到配置目录：

cd zookeeper-3.4.11/conf

复制配置文件：

cp zoo_sample.cfg  zoo.cfg

将dataDir=/tmp/zookeeper修改为你的安装目录下的data文件夹

3.启动zookeeper

zkServer.sh start

Kafka安装

1.下载kafka

回到刚才创建的streaming目录

cd ../..

你可以从kafka官网上下载：下载地址，也可以直接输入下面命令下载

wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

2.安装kafka

解压：

tar zxvf kafka_2.11-1.0.0.tgz

修改zk相关的配置文件： 修改dataDir的值和刚才在zk中的值同步

3.启动并创建topic

启动kafka：

 bin/kafka-server-start.sh config/server.properties

创建topic：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

其中：

• zookeeper：如localhost:2181，表示zookeeper的地址
• topic：topic的名字，如test1
• partitions：topic的分区数，非特殊情况取1即可

4.建立producer

建立生产者来发送streaming数据，同样在kafka安装目录下，输入：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1

其中

• broker-list：指定生产者要推送消息的broker地址
• topic:指定topic,跟刚才建立的topic名字保持一致

5.将需要发送的数据在producer端发送

生产者建立后，生产者端一直处于等待发送数据状态。此时copy你需要发送的数据至生产者端，按回车即发送。

6.消费者consumer端接收数据

消费者端接收数据时，需要指定kafka端的三个信息：zookeeper地址，group名，topic名。其中zookeeper的地址以及topic的名字只需与上述过程的设置保持一致即可，如zookeeper地址为“localhost:2181”，topic名字为“test1”，group名可自己设定。