大数据新手之路三:安装Kafka
Ubuntu16.04+Kafka1.0.0
1.下载kafka_2.11-1.0.0.tgz
http://kafka.apache.org/downloads
2.解压到/usr/local/kafka中
3.设置配置文件/etc/profile文件,增加kafka的路径
①vi /etc/profile
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin
②让配置文件立即生效
source /etc/profile
4.检查kafka环境是否生效
kafka-server-stop.sh
显示
No kafka server to stop
5.启动zookeeper(这里使用kafka自带的zookeeper,也可以独立部署zookeeper使用)
使用默认的zookeeper.properties配置文件
zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
6.启动kafka
使用默认的server.properties配置文件
kafka-server-start.sh /usr/local/kafka/config/server.properties
启动失败并提示如下错误:
FATAL [KafkaServer id=] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)nager)) by writing to Zk with path version (kafka.coordinator.java.net.UnknownHostException: server38: server38: 未知的名称或服务
at java.base/java.net.InetAddress.getLocalHost(Unknown Source)
at kafka.server.KafkaHealthcheck$$anonfun$.apply(KafkaHealthcheck.scala:)
at kafka.server.KafkaHealthcheck$$anonfun$.apply(KafkaHealthcheck.scala:)
at scala.collection.TraversableLike$$anonfun$map$.apply(TraversableLike.scala:)
at scala.collection.TraversableLike$$anonfun$map$.apply(TraversableLike.scala:)
at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:)
at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:)
at scala.collection.TraversableLike$class.map(TraversableLike.scala:)
at scala.collection.AbstractTraversable.map(Traversable.scala:)
at kafka.server.KafkaHealthcheck.register(KafkaHealthcheck.scala:)
表示解析不了server38这个host!
使用hostname可以看到,我们机器的hostname就是server38
修改/etc/hosts文件,增加一行如下内容即可:
127.0.0.1 server38 localhost
7.创建一个名字为test的topic
2181为zookeeper的默认端口
kafka-topics.sh --create --zookeeper localhost: --replication-factor --partitions --topic test
8.创建一个consumer接受消息
9092为kafka默认端口
kafka-console-consumer.sh --bootstrap-server localhost: --topic test
9.创建一个producer,并输入信息。
kafka-console-producer.sh --broker-list localhost: --topic test
在consumer进程中可以看到对应的输入信息。
PS:
1.查看kafka当前的topic列表
kafka-topics.sh --list --zookeeper localhost:
2.使用参数--from-beginning,让consumer从第一个开始接受消息
kafka-console-consumer.sh --bootstrap-server localhost: --topic test --from-beginning
以上。
大数据新手之路三:安装Kafka的更多相关文章
- 大数据新手之路四:联合使用Flume和Kafka
Ubuntu16.04+Kafka1.0.0+Flume1.8.0 1.目标 ①使用Flume作为Kafka的Producer: ②使用Kafka作为Flume的Sink: 其实以上两点是同一个事情在 ...
- 大数据新手之路一:安装JDK
Ubuntu16.04 1.下载jdk-8u192-linux-x64.tar.gz https://www.oracle.com/technetwork/java/javase/downloads/ ...
- 大数据新手之路二:安装Flume
Ubuntu16.04+Flume1.8.0 1.下载apache-flume-1.8.0-bin.tar.gz http://flume.apache.org/download.html 2.解压到 ...
- 大数据学习之路-Centos6安装python3.5
Centos 6.8安装python3.5.2 因为学习所需,需要用到python3.x的环境,目前Linux系统默认的版本都是python2.x的,还有一些自带的工具需要用到python2.6版本, ...
- CentOS6安装各种大数据软件 第五章:Kafka集群的配置
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- 大数据系列之数据仓库Hive安装
Hive系列博文,持续更新~~~ 大数据系列之数据仓库Hive原理 大数据系列之数据仓库Hive安装 大数据系列之数据仓库Hive中分区Partition如何使用 大数据系列之数据仓库Hive命令使用 ...
- 大数据学习day31------spark11-------1. Redis的安装和启动,2 redis客户端 3.Redis的数据类型 4. kafka(安装和常用命令)5.kafka java客户端
1. Redis Redis是目前一个非常优秀的key-value存储系统(内存的NoSQL数据库).和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list ...
- 大数据学习之路之Hadoop
Hadoop介绍 一.简介 Hadoop是一个开源的分布式计算平台,用于存储大数据,并使用MapReduce来处理.Hadoop擅长于存储各种格式的庞大的数据,任意的格式甚至非结构化的处理.两个核心: ...
- 大数据学习之路又之从小白到用sqoop导出数据
写这篇文章的目的是总结自己学习大数据的经验,以为自己走了很多弯路,从迷茫到清晰,真的花费了很多时间,希望这篇文章能帮助到后面学习的人. 一.配置思路 安装linux虚拟机--->创建三台虚拟机- ...
随机推荐
- glibc 2.x release note
glibc 2.x release note,参见: https://sourceware.org/glibc/wiki/Glibc%20Timeline https://www.gnu.org/so ...
- Tomcat 7服务器线程模型
Tomcat 7服务器网络处理主要由NioEndpoint,其处理客户端连接的主要流程如图所示图中Acceptor及Worker分别是以线程池形式存在,Poller是一个单线程.注意,与BIO的实现一 ...
- 0x17二叉堆之超市
题目链接:https://www.acwing.com/problem/content/147/ 容易想到一个贪心策略:在最优解中,对于每个时间(天数) t,应该在保证不卖出过期商品的前提下,尽量卖出 ...
- 我写的RunTime函数之一,为类的某个属性赋值以及方法交换
1,为属性赋值 #import <UIKit/UIKit.h> @interface UIViewController (RunTime) - (BOOL)setPropertyVal ...
- java Swing小知识点
private JTextArea jta=new JTextArea(1,2); private ScrollPane sp=new ScrollPane(); private JPasswordF ...
- C# lock 关键字的一些理解
C# lock 关键字的一些理解 问题1:谁是锁? lock 这个关键字,并不是“锁”,真正的“锁”是那个被lock的Object类型的“对象”,请注意,这里为“对象”加了双引号着重强调被lock的是 ...
- 翻硬币|2013年蓝桥杯B组题解析第八题-fishers
翻硬币 小明正在玩一个"翻硬币"的游戏. 桌上放着排成一排的若干硬币.我们用 * 表示正面,用 o 表示反面(是小写字母,不是零). 比如,可能情形是:oooooo 如果同时翻转左 ...
- 【Dalston】【第三章】声明式服务调用(Feign)
当我们通过RestTemplate调用其它服务的API时,所需要的参数须在请求的URL中进行拼接,如果参数少的话或许我们还可以忍受,一旦有多个参数的话,这时拼接请求字符串就会效率低下,并且显得好傻.那 ...
- HIHOcoder 1457 后缀自动机四·重复旋律7
思路 后缀自动机题目,题目本质上是要求求出所有不同的子串的和,SAM每个节点中存放的子串互不相同,所以对于每个节点的sum,可以发现是可以递推的,每个点对子节点贡献是sum[x]*10+c*sz[x] ...
- final、finally、finalize的用法
final: 1.被final修饰的类,就意味着不能再派生出新的子类,不能作为父类而被子类继承 2.将变量或方法声明为final,可以保证他们在使用的过程中不被修改. 3.被final声明的方法也同样 ...