Kafka安装:

下载kafka_2.10-0.8.2.1

1.关闭防火墙

2.修改配置文件  server.properties

broker.id=1
log.dirs= /usr/kafka_2.10-0.8.2.1/data  //最后不要写log
zookeeper.connect=master:2181,slave01:2181,slave02:2181
delete.topic.enable = true //删除话题的时候需要设置其为true
num.partitions=3//建议默认3个分区,如果AIP里面你的分区数大于系统规定的则抛出异常
//分发给其他两台服务器,每台机器的broker.id必须唯一
3.配置环境变量
 
常用操作命令:
//启动。指定启动的配置文件,  输出到run_data目录, 2>&1所有正确错误的都输出,   &后台运行               
kafka-server-start.sh $KAFKA_HOME/config/server.properties >>$KAFKA_HOME/run_data 2>&1 &
 
//创建话题    指定zookeeper集群中任意一个主机都可以   
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 3 --partitions 1 --topic topic1
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 3 --partitions 3 --topic topic2
//副本数量为3,那么至少得启动3个kafka的server,否则会抛出异常。
 
//话题描述清单
kafka-topics.sh --describe --zookeeper slave01:2181 --topic topic1
 
//发送消息(生产者)
//轮循写入分区,即012 012 012
//第一次打开生产者是写入0分区,退出后,第二次打开生产者写入1分区
kafka-console-producer.sh --broker-list localhost:9092 --topic topic2
//2)当前broker(节点)没有kafka服务时,需要指定一个有kafka服务的broker(zookeeper集群中任意一个),
kafka-console-producer.sh --broker-list slave02:9092 --topic topic2
 
//接收队列消息(消费者) from-beginning如果不加,那么在消费者没有启动的时候,或者说它不在线之前的信息收不到
kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic2 --from-beginning
 
//删除话题  需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
kafka-topics.sh --delete --zookeeper \localhost:2181 --topic topic1
 
//查看所有话题
kafka-topics.sh --list --zookeeper localhost:2181
 

Kafka安装和常用操作命令的更多相关文章

  1. kafka安装及常用命令

    kafka是一个开源的分布式消息队列 他提供可靠的集群容错机制,并保证故障切换时的数据完整性. 无论从性能.可靠性.易用性都强过ActiveMQ(client的API感觉还是不如ActiveMQ好用, ...

  2. hadoop常用操作命令

    #############centos6.8IP常用操作命令#######################DEVICE=eth0TYPE=EthernetONBOOT=yesNM_CONTROLLED ...

  3. linux_jdk,zookeeper,kafka安装

    若是在虚拟机安装最好先进行下面的安装 1.1修改各个虚拟机主机名 vi /etc/sysconfig/network 1.2修改主机名和IP的映射关系 vi /etc/hosts 1.3关闭防火墙 # ...

  4. 【转载】Linux中常用操作命令

    说明:开始学习linux系统,为了方便查看,特转载一篇Linux中常用操作命令,转载地址:http://www.cnblogs.com/laov/p/3541414.html 正文: Linux简介及 ...

  5. kafka系列一、kafka安装及部署、集群搭建

    一.环境准备 操作系统:Cent OS 7 Kafka版本:kafka_2.10 Kafka官网下载:请点击 JDK版本:1.8.0_171 zookeeper-3.4.10 二.kafka安装配置 ...

  6. Storm常用操作命令及WordCount

    Storm常用操作命令 1.任务提交命令:storm jar [jar路径] [拓扑包名.拓扑类名] [拓扑名称] storm jar /export/servers/storm/examples/s ...

  7. zookeeper与kafka安装部署及java环境搭建(发布订阅模式)

    1. ZooKeeper安装部署 本文在一台机器上模拟3个zk server的集群安装. 1.1. 创建目录.解压 cd /usr/ #创建项目目录 mkdir zookeeper cd zookee ...

  8. 大数据系列之Kafka安装

    先简单说下安装kafka的流程..(可配置多个zookeeper,这篇文只说一个zookeeper场景) 1.环境配置:jdk1.7+ (LZ用的是jdk1.8) 2.资料准备:下载 kafka_2. ...

  9. linLINUX中常用操作命令

    LINUX中常用操作命令 Linux简介及Ubuntu安装 常见指令 系统管理命令 打包压缩相关命令 关机/重启机器 Linux管道 Linux软件包管理 vim使用 用户及用户组管理 文件权限管理 ...

随机推荐

  1. php-fpm如何优化进程数

    参考链接: php-fpm进程数优化

  2. php的yii框架开发总结8

    EMailer是一个简单的封装PHPMailer类.利用这个扩展可以实现发邮件的功能. 下载地址:http://www.yiiframework.com/extension/mailer/ 下载解压把 ...

  3. kubernetes组件helm

    1.安装helm Helm由客户端helm命令行工具和服务端tiller组成,Helm的安装十分简单. 下载helm命令行工具到master节点node1的/usr/local/bin下(只需要在其中 ...

  4. 整理齐全 - Vultr VPS自定义安装Windows ISO(2003/2012/2008/WIN7)

    最近公司有几个项目是需要在Windows VPS服务器中运行调试的,但是公司给予的成本有限,所以只能在Linux VPS中考虑,毕竟Linux服务器相比Windows系统便宜很多.开始我们运维部门考虑 ...

  5. Ubuntu 如何将桌面上的Home中的文件夹除去

    安装Ubuntu后, 由于无法用Terminal(终端)进入带中文的文件夹,会引起很多操作不便.很多朋友想到了将它们都改成中文,但是当再次开机重启使却会发现,原本光洁的桌面现在竟然出现了一堆文件夹?? ...

  6. *15. 3Sum (three pointers to two pointers), hashset

    Given an array nums of n integers, are there elements a, b, c in nums such that a + b + c = 0? Find ...

  7. spring boot学习1

    转:https://blog.csdn.net/jsyxcjw/article/details/46763639 1 开始 1.1 spring介绍 Spring Boot使开发独立的,产品级别的基于 ...

  8. 线程 Thread类 的四个构造方法简介

    在线程中,Thread类有四个构造方法: 当我们使用 Thread类创建对象的时候,传入参数,就会用到构造方法.ThreadStart 和ParameterizedThreadStart 都是 委托类 ...

  9. P1266 速度限制

    P1266 速度限制 第一次接触这种分层spfa 类似于dp 个人理解 #include<cstdio> #include<iostream> #include<algo ...

  10. 解决cdh4.5.0下 MAP任务看不到状态

    参考 http://qnalist.com/questions/772595/yarn-jobhistory-service 在mapreduce-site.xml中添加 <property&g ...