软件下载:

http://mirrors.shu.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz

把下载好的包kafka_2.11-2.1.0.tgz 上传到hadoop集群上master:/home/hadoop

解压:

tar -zxvf kafka_2.11-2.1.0.tgz

mv kafka_2.11-2.1.0 kafka_2.11

修改配置文件:

vi server.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=1

#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
listeners = PLAINTEXT://master:9092
#listeners=PLAINTEXT://:9092

# A comma separated list of directories under which to store log files
log.dirs=/home/hadoop/kafka_2.11/tmp

# root directory for all kafka znodes.
zookeeper.connect=master:2181,saver1:2181,saver2:2181

一共以上四处地方需要修改!

分别SCP到其他节点

scp -r kafka_2.11 192.168.1.40:/home/hadoop/

scp -r kafka_2.11 192.168.1.50:/home/hadoop/

在192.168.1.40机器上修改的地方有:

vi server.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=2

#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
listeners = PLAINTEXT://saver1:9092
#listeners=PLAINTEXT://:9092

在192.168.1.50机器上修改的地方有:

vi server.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=3

#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
listeners = PLAINTEXT://saver2:9092
#listeners=PLAINTEXT://:9092

启动kafka

nohup /home/hadoop/kafka_2.11/bin/kafka-server-start.sh /home/hadoop/kafka_2.11/config/server.properties >/dev/null 2>&1 &

停止kafka
/home/hadoop/kafka_2.11/bin/kafka-server-stop.sh

在停止的时候,出现:No kafka server to stop,后天明明有进程,却无法停止。

查看kafka-server-stop.sh脚本,进行脚本修改:
PIDS=$(ps ax | grep -i 'kafka' | grep java | grep -v grep | awk '{print $1}')

三台机器都需要执行。

查看进行:jps

15856 Kafka

验证:

cd /home/hadoop/kafka_2.11/bin

./kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test

完。

hadoop-2.7.3安装kafka_2.11-2.1.0的更多相关文章

  1. Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装

    Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...

  2. centos7安装kafka_2.11

    1.下载 官网地址:http://kafka.apache.org/downloads.html 下载:wget https://www.apache.org/dyn/closer.cgi?path= ...

  3. Apache Hadoop集群离线安装部署(三)——Hbase安装

    Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...

  4. Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS、YARN、MR)安装

    虽然我已经装了个Cloudera的CDH集群(教程详见:http://www.cnblogs.com/pojishou/p/6267616.html),但实在太吃内存了,而且给定的组件版本是不可选的, ...

  5. 【原】Hadoop伪分布模式的安装

    Hadoop伪分布模式的安装 [环境参数] (1)Host OS:Win7 64bit (2)IDE:Eclipse Version: Luna Service Release 2 (4.4.2) ( ...

  6. Hadoop 2.x(YARN)安装配置LZO

    今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,网上的资料都是基于Hadoop 1.x的,基本没有对于Hadoop 2.x上应用LZO,我在这边记录整个安装配置过程 1. ...

  7. Hadoop分布式HA的安装部署

    Hadoop分布式HA的安装部署 前言 单机版的Hadoop环境只有一个namenode,一般namenode出现问题,整个系统也就无法使用,所以高可用主要指的是namenode的高可用,即存在两个n ...

  8. Hadoop开发第3期---Hadoop的伪分布式安装

    一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...

  9. 通过tarball形式安装HBASE Cluster(CDH5.0.2)——Hadoop NameNode HA 切换引起的Hbase错误,以及Hbase如何基于NameNode的HA进行配置

    通过tarball形式安装HBASE Cluster(CDH5.0.2)——Hadoop NameNode HA 切换引起的Hbase错误,以及Hbase如何基于NameNode的HA进行配置 配置H ...

  10. Hadoop集群_Hadoop安装配置

    1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...

随机推荐

  1. [spring boot]idea中实现热部署的方法

    发生了任何修改之后,必须关闭后再启动Application类才能够生效,显得略微麻烦. Springboot提供了热部署的方式,当发现任何类发生了改变,马上通过JVM类加载的方式,加载最新的类到虚拟机 ...

  2. java(SSM)上传文件到七牛云(对象存储)

    项目中会用到大量的图片和小视频,为了分担服务器压力,将文件都放在七牛云.这里的思路很简单, 就是移动端.pc端把文件上传到服务器,服务器做一个临时缓存,保存必要的信息到数据库后, 将文件上传到七牛云, ...

  3. 一百零七:CMS系统之权限和角色模型定义

    模型与权限关系映射表 class CMSPersmission: """ 权限管理映射 """ # 255的二进制方式来表示 1111 11 ...

  4. 一百:CMS系统之修改密码逻辑

    定义一个基类form,用于获取错误信息 from wtforms import Form class BaseForm(Form): def get_error(self): # a = {'aaa' ...

  5. 基于osgQt将OSG嵌入到Qt窗口中(有错误)

    1, 编译OSG 由于重装了win10的系统,Qt也安装了最新版5.13,把之前OSG重新编译了一遍,过程与之前的一模一样. Windows7 + OSG3.6 + VS2017 + Qt5.11 2 ...

  6. 手写web框架之实现Bean容器

    实现Bean容器    使用ClassHelper可以获取所加载的类,但无法通过类来实例化对象,因此我们需要提供一个反射工具类,让它封装java反射相关的API,对外提供更好用的工具方法.将该类命名为 ...

  7. python-Web-数据库-mysql

    概念: 服务器->数据库管理系统(软件)->数据库(文件夹)->表(文件) 关系型 安装与配置: >>>下载-安装-环境变量 >>>启动 mysq ...

  8. SSM项目模板

    项目一:恒德物流平台(SSM) ◎开发周期:3个月                           开发模式:团队4个人 ◎开发环境:jdk1.8.tomcat8.5       开发工具:IDE ...

  9. NDK学习笔记-C语言

    本文简要回顾了C语言的一些注意事项和理解细节,不再赘述C语言的所有语法 头文件 头文件作为引入文件,在编译的时候,加载到源代码,参与编译 在VS2013中可以看到,当引入头文件时候,只能看到函数的声明 ...

  10. 安装部署FastDFS

    安装部署FastDFS 此篇博文是在安装好虚拟机和CentOS7的前提和转自以下几篇博客得来: 1.开启CentOS的网络连接:   1.1.网址:http://blog.csdn.net/white ...