Ubuntu16.04+Kafka1.0.0

1.下载kafka_2.11-1.0.0.tgz

http://kafka.apache.org/downloads

2.解压到/usr/local/kafka中

3.设置配置文件/etc/profile文件,增加kafka的路径

①vi /etc/profile

export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin

②让配置文件立即生效

source /etc/profile

4.检查kafka环境是否生效

kafka-server-stop.sh

显示

No kafka server to stop

5.启动zookeeper(这里使用kafka自带的zookeeper,也可以独立部署zookeeper使用)

使用默认的zookeeper.properties配置文件

zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties

6.启动kafka

使用默认的server.properties配置文件

kafka-server-start.sh /usr/local/kafka/config/server.properties

启动失败并提示如下错误:

 FATAL [KafkaServer id=] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)nager)) by writing to Zk with path version  (kafka.coordinator.java.net.UnknownHostException: server38: server38: 未知的名称或服务
at java.base/java.net.InetAddress.getLocalHost(Unknown Source)
at kafka.server.KafkaHealthcheck$$anonfun$.apply(KafkaHealthcheck.scala:)
at kafka.server.KafkaHealthcheck$$anonfun$.apply(KafkaHealthcheck.scala:)
at scala.collection.TraversableLike$$anonfun$map$.apply(TraversableLike.scala:)
at scala.collection.TraversableLike$$anonfun$map$.apply(TraversableLike.scala:)
at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:)
at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:)
at scala.collection.TraversableLike$class.map(TraversableLike.scala:)
at scala.collection.AbstractTraversable.map(Traversable.scala:)
at kafka.server.KafkaHealthcheck.register(KafkaHealthcheck.scala:)

表示解析不了server38这个host!

使用hostname可以看到,我们机器的hostname就是server38

修改/etc/hosts文件,增加一行如下内容即可:

127.0.0.1 server38 localhost

7.创建一个名字为test的topic

2181为zookeeper的默认端口

kafka-topics.sh --create --zookeeper localhost: --replication-factor  --partitions  --topic test

8.创建一个consumer接受消息

9092为kafka默认端口

kafka-console-consumer.sh --bootstrap-server localhost: --topic test

9.创建一个producer,并输入信息。

kafka-console-producer.sh --broker-list localhost: --topic test

在consumer进程中可以看到对应的输入信息。

PS:

1.查看kafka当前的topic列表

kafka-topics.sh --list --zookeeper localhost:

2.使用参数--from-beginning,让consumer从第一个开始接受消息

kafka-console-consumer.sh --bootstrap-server localhost: --topic test --from-beginning

以上。

大数据新手之路三:安装Kafka的更多相关文章

  1. 大数据新手之路四:联合使用Flume和Kafka

    Ubuntu16.04+Kafka1.0.0+Flume1.8.0 1.目标 ①使用Flume作为Kafka的Producer: ②使用Kafka作为Flume的Sink: 其实以上两点是同一个事情在 ...

  2. 大数据新手之路一:安装JDK

    Ubuntu16.04 1.下载jdk-8u192-linux-x64.tar.gz https://www.oracle.com/technetwork/java/javase/downloads/ ...

  3. 大数据新手之路二:安装Flume

    Ubuntu16.04+Flume1.8.0 1.下载apache-flume-1.8.0-bin.tar.gz http://flume.apache.org/download.html 2.解压到 ...

  4. 大数据学习之路-Centos6安装python3.5

    Centos 6.8安装python3.5.2 因为学习所需,需要用到python3.x的环境,目前Linux系统默认的版本都是python2.x的,还有一些自带的工具需要用到python2.6版本, ...

  5. CentOS6安装各种大数据软件 第五章:Kafka集群的配置

    相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...

  6. 大数据系列之数据仓库Hive安装

    Hive系列博文,持续更新~~~ 大数据系列之数据仓库Hive原理 大数据系列之数据仓库Hive安装 大数据系列之数据仓库Hive中分区Partition如何使用 大数据系列之数据仓库Hive命令使用 ...

  7. 大数据学习day31------spark11-------1. Redis的安装和启动,2 redis客户端 3.Redis的数据类型 4. kafka(安装和常用命令)5.kafka java客户端

    1. Redis Redis是目前一个非常优秀的key-value存储系统(内存的NoSQL数据库).和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list ...

  8. 大数据学习之路之Hadoop

    Hadoop介绍 一.简介 Hadoop是一个开源的分布式计算平台,用于存储大数据,并使用MapReduce来处理.Hadoop擅长于存储各种格式的庞大的数据,任意的格式甚至非结构化的处理.两个核心: ...

  9. 大数据学习之路又之从小白到用sqoop导出数据

    写这篇文章的目的是总结自己学习大数据的经验,以为自己走了很多弯路,从迷茫到清晰,真的花费了很多时间,希望这篇文章能帮助到后面学习的人. 一.配置思路 安装linux虚拟机--->创建三台虚拟机- ...

随机推荐

  1. oracle /*+ SYS_DL_CURSOR */ 这个hint

    之前一直都没使用过 /*+ SYS_DL_CURSOR */这个提示,今天下午在排查一个性能问题的时候,发现出问题的session在执行一个带了SYS_DL_CURSOR提示的语句,类似于: 经查这个 ...

  2. Codeforces 839B Game of the Rows - 贪心

    Daenerys Targaryen has an army consisting of k groups of soldiers, the i-th group contains ai soldie ...

  3. 如何使用AsyncTask

    1 如何使用handler,安卓规定只能再UI线程里面刷新UI,但是不能再UI线程里面执行耗时操作.所以我们要把耗时操作放在子线程里,然后把要刷新UI的操作传递到handler里面,然后在由Handl ...

  4. Bootstrap3基础 nav 便签页(横版、竖版)

      内容 参数   OS   Windows 10 x64   browser   Firefox 65.0.2   framework     Bootstrap 3.3.7   editor    ...

  5. C# 控制台运行 应用运行

    https://blog.csdn.net/Koala_Ivy/article/details/79577830 开发遇到的问题 记录一下 前段时间捣鼓dotnetty框架,服务端写了一个控制台程序来 ...

  6. Entity Framework Core

    Entity Framework是一种支持 .NET 开发人员使用 .NET 对象处理数据库的对象关系映射程序 (O/RM). 它不要求提供开发人员通常需要编写的大部分数据访问代码. Entity F ...

  7. 【AT1219】历史研究

    Problem Description \(IOI\)国历史研究的第一人--\(JOI\)教授,最近获得了一份被认为是古代\(IOI\)国的住民写下的日记.\(JOI\)教授为了通过这份日记来研究古代 ...

  8. python Exception raise

    异常是指程序中的例外,违例情况.异常机制是指程序出现错误后,程序的处理方法.当出现错误后,程序的执行流程发生改变,程序的控制权转移到异常处理.Exception类是常用的异常类,该类包括Standar ...

  9. 【Python】【进程&线程】

    #[[进程 和 线程 ]] """ # [多进程]'''import os print ('Process (%s) start...' % os.getpid()) # ...

  10. 转youhu科技的文章 勿怪 感激 感激

    资源加载 资源加载是加载模块中最为耗时的部分,其CPU开销在Unity引擎中主要体现在Loading.UpdatePreloading和Loading.ReadObject两项中,相信经常查看Prof ...