1.安装zookeeper(3.4.6)

安装过程(略)

启动zookeeper ./bin/zkServer.sh start
或者bin/zookeeper-server-start.sh conf/zoo.cfg
netstat -tunlp|grep 2181 #查看zookeeper端口

2. kafka 安装部署(kafka_2.12-0.11.0.0)

2.1 下载

curl -L -O http://mirrors.cnnic.cn/apache/kafka/0.9.0.0/kafka_2.12-0.11.0.0.tgz 

2.2 解压

tar -xzf kafka_2.11-0.9.0.0.tgz

2.3 修改配置文件

cd kafka_2.12-0.11.0.0

vi config/server.properties

server.properties具体设置如下:
listeners=PLAINTEXT://10.22.0.130:9092(绑定Kafka启动监听的host信息)
zookeeper.connect=10.22.0.130:2181

2.4 启动kafka

bin/kafka-server-start.sh config/server.properties

2.5 kafka测试

cd kafka_2.12-0.11.0.0
生产者:bin/kafka-console-producer.sh --broker-list 10.22.0.130:9092 --topic test
消费者:bin/kafka-console-consumer.sh --zookeeper 10.22.0.130:2181 --topic test --from-beginning
模拟生产者发送消息,消费者接收消息
如图:
生产者:
消费者:
(尽量全都用具体的IP,不要用localhost,很容易报错)

3.ES-2.4.0安装

3.1 下载elasticsearch-2.4.0解压即可(用非root用户安装,最好不要用高版本,高版本安装head插件很多坑)

修改elasticsearch.yml文件,主要是IP和端口
cd elasticsearch-2.4.0

vi config/elasticsearch.yml

然后启动ES,启动方式:./bin/elasticsearch
可以使用浏览器访问: 

3.2安装head插件

①下载elasticsearch-head-master包,解压
②然后将所有文件复制到elasticsearch-2.4.0/plugins/head目录下
③重启ES
④可以使用浏览器访问: http://10.22.0.130:9200/_plugin/head
如图所示:

4.启动zipkin

zipkin的启动时可以通过传参数的形式配置kafka和ES
启动命令如下:
java -DKAFKA_ZOOKEEPER=10.22.0.130:2181 -DSTORAGE_TYPE=elasticsearch
-DES_HOSTS=http://10.22.0.130:9200 -jar zipkin.jar
(-D 启动zipkin时携带参数)

5.编写测试demo

编写测试demo,向kafka消息队列(10.22.0.130:9092)中发送消息,然后在http://10.22.0.132:9411页面查看zipkin的链路跟踪信息,并且可以在http://10.22.0.130:9200/_plugin/head页面看到相关数据

zipkin+kafka+elasticsearch的更多相关文章

  1. Spring Cloud Edgware之后版本 Zipkin+Kafka整合

    zipkin服务器端 1.依赖 <!-- zipkin server --> <dependency> <groupId>io.zipkin.java</gr ...

  2. 微服务日志监控与查询logstash + kafka + elasticsearch

    使用 logstash + kafka + elasticsearch 实现日志监控 https://blog.csdn.net/github_39939645/article/details/788 ...

  3. Apache Kafka(七)- Kafka ElasticSearch Comsumer

    Kafka ElasticSearch Consumer 对于Kafka Consumer,我们会写一个例子用于消费Kafka 数据传输到ElasticSearch. 1. 构造ElasticSear ...

  4. 基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台(转)

    0背景介绍 随着机器个数的增加.各种服务.各种组件的扩容.开发人员的递增,日志的运维问题是日渐尖锐.通常,日志都是存储在服务运行的本地机器上,使用脚本来管理,一般非压缩日志保留最近三天,压缩保留最近1 ...

  5. mysql+canal+kafka+elasticsearch构建数据查询平台

    1. 实验环境 CPU:4 内存:8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java >=1.5 使用yum方式安装的java,提前配置好JAVA_ ...

  6. Elasticsearch 2.4 安装

    Ubuntu 18.04.1 Part I. Elasticsearch 1. install JDK Note: >1.8 reference: <Linux下安装Tomcat> ...

  7. 使用Akka、Kafka和ElasticSearch等构建分析引擎 -- good

    本文翻译自Building Analytics Engine Using Akka, Kafka & ElasticSearch,已获得原作者Satendra Kumar和网站授权. 在这篇文 ...

  8. Flink SQL结合Kafka、Elasticsearch、Kibana实时分析电商用户行为

    body { margin: 0 auto; font: 13px / 1 Helvetica, Arial, sans-serif; color: rgba(68, 68, 68, 1); padd ...

  9. 全链路spring cloud sleuth+zipkin

    http://blog.csdn.net/qq_15138455/article/details/72956232 版权声明:@入江之鲸 一.About ZipKin please google 二. ...

随机推荐

  1. 面向对象,更适合JavaScript

    面向对象程序设计是软件开发中一个很庞大很复杂的话题,它并不是仅仅学会类.继承.封装.多态这些面向对象编程语法元素就表示掌握的,这些语法元素只是实现面向对象程序的工具, 就像砖块.水泥能搭建小屋,也能造 ...

  2. C# 固定大小的缓存

    有时候需要把最新的N条记录暂时存起来供需要的时候调用,C#有没有指针,怎么办呢咱利用数组和byte字节整一个类 public class Buffer<T> { private T[] _ ...

  3. cocos2d-x学习之路之工作吐槽

    经过大半年的cocos2d-x的学习,目前已在一个游戏创业公司实习,负责客户端的代码编写和维护.公司做了一款网游.比较给力,马上就要发布了.希望能够大卖.比较坑的是,居然电脑不给联网.查资料都不好查, ...

  4. Python_跟随目标主机IP变换

    ''' 为了防止黑客攻击或者负载均衡,会经常变换主机,这样同一个域名在不同时间可能会对应不同的IP地址,在这种情况下可以通过 socket模块的gethostbyname()函数来实时获取目标主机的I ...

  5. 读《图解HTTP》有感-(HTTP首部)

    写在前面 该章节是对请求报文及响应报文的首部信息进行解析.通过该章节的学习,相信大家对首部结构,及各个首部字段的作用有个基本的了解 正文 HTTP报文由HTTP报文首部.空行以及HTTP报文主体组成. ...

  6. 如何使用 toml 配置 SpaceVim

    配置 SpaceVim 主要包括以下几个内容: 设置 SpaceVim 选项 启动/禁用模块 添加自定义插件 添加自定义按键映射以及插件配置 设置SpaceVim选项 原先,在 init.vim 文件 ...

  7. 输入流IS和输出流OS学习总结

    1.我们编写的程序,除了自身会定义一些数据信息外,经常还会引用外界的数据,或是将自身的数据发送到外界,比如我们编写的程序想读取一个文本文件, 又或者是我们想将程序的一些数据写到一个文件中,这时我们就要 ...

  8. C++程序内存布局

      代码区(code area) 程序内存空间 全局数据区(data area) 堆区(heap area) 栈区(stack area) 一个由C/C++编译的程序占用的内存分为以下几个部分, 1) ...

  9. 网络编程之select

    一.select函数简介 select一般用在socket网络编程中,在网络编程的过程中,经常会遇到许多阻塞的函数,网络编程时使用的recv, recvfrom.connect函数都是阻塞的函数,当函 ...

  10. CSS实现Tab布局

    一.布局方式 1.内容与tab分离 <div class="container"> <div class="tab-content"> ...