创建一个topic:

[root@hdp1 bin]# ./kafka-topics.sh --create --zookeeper hdp1:2181  --replication-factor 1 --partitions 1 --topic justin
Created topic "justin".
[root@hdp1 bin]# pwd
/usr/hdp/2.2.6.0-2800/kafka/bin

在zookeeper中可以查看到刚才创建的topic:

[zk: hdp1:2181(CONNECTED) 4] ls /brokers/topics
[topic1, ambari_kafka_service_check, justin, test, kafkaToptic]

由于在创建topic的时候,指定—partitions为1,所有在zookeeper中看到的分区数为一个:

[zk: hdp1:2181(CONNECTED) 7] ls /brokers/topics/justin/partitions
[0]
[zk: hdp1:2181(CONNECTED) 8] ls /brokers/topics/justin/partitions/0
[state]
[zk: hdp1:2181(CONNECTED) 9] ls /brokers/topics/justin/partitions/0/state
[]
[zk: hdp1:2181(CONNECTED) 10] ls /brokers/topics/justin/partitions/0
[state]
[zk: hdp1:2181(CONNECTED) 11] ls /brokers/topics/justin/partitions/0/state
[]

kafka自带脚本也可以查看到zookeeper中创建的topic:

[root@hdp1 bin]# ./kafka-topics.sh --list --zookeeper hdp1:2181
ambari_kafka_service_check
justin
kafkaToptic
test
topic1

使用生产者,往kafka队列的justin主题(类似于bigpipe的pipe,partition和bigpipe的pipelet类似)发送两条消息:

[root@hdp1 bin]# ./kafka-console-producer.sh --broker-list hdp1:6667 --topic justin
justinzhang
This is another justin

使用消费者,从kafka队列的topic中获取消息,—from-beginning表示从开始处订阅:

[root@hdp1 bin]# ./kafka-console-consumer.sh --zookeeper hdp1:2181 --topic justin --from-beginning
justinzhang
This is another justin

可以使用将标准输入定位到文件的方式,往broker发送文件:

[root@hdp1 bin]# ./kafka-console-producer.sh --broker-list hdp1:6667 --topic justin < kafka-server-stop.sh

多个订阅者都可以收到生产者发送的消息。

kafaka学习的更多相关文章

  1. 【Spark深入学习 -10】基于spark构建企业级流处理系统

    ----本节内容------- 1.流式处理系统背景 1.1 技术背景 1.2 Spark技术很火 2.流式处理技术介绍 2.1流式处理技术概念 2.2流式处理应用场景 2.3流式处理系统分类 3.流 ...

  2. hadoop之HDFS学习笔记(一)

    主要内容:hdfs的整体运行机制,DATANODE存储文件块的观察,hdfs集群的搭建与配置,hdfs命令行客户端常见命令:业务系统中日志生成机制,HDFS的java客户端api基本使用. 1.什么是 ...

  3. KafKa——学习笔记

    学习时间:2020年02月03日10:03:41 官网地址 http://kafka.apache.org/intro.html kafka:消息队列介绍: 近两年发展速度很快.从1.0.0版本发布就 ...

  4. 从直播编程到直播教育:LiveEdu.tv开启多元化的在线学习直播时代

    2015年9月,一个叫Livecoding.tv的网站在互联网上引起了编程界的注意.缘于Pingwest品玩的一位编辑在上网时无意中发现了这个网站,并写了一篇文章<一个比直播睡觉更奇怪的网站:直 ...

  5. Angular2学习笔记(1)

    Angular2学习笔记(1) 1. 写在前面 之前基于Electron写过一个Markdown编辑器.就其功能而言,主要功能已经实现,一些小的不影响使用的功能由于时间关系还没有完成:但就代码而言,之 ...

  6. ABP入门系列(1)——学习Abp框架之实操演练

    作为.Net工地搬砖长工一名,一直致力于挖坑(Bug)填坑(Debug),但技术却不见长进.也曾热情于新技术的学习,憧憬过成为技术大拿.从前端到后端,从bootstrap到javascript,从py ...

  7. 消息队列——RabbitMQ学习笔记

    消息队列--RabbitMQ学习笔记 1. 写在前面 昨天简单学习了一个消息队列项目--RabbitMQ,今天趁热打铁,将学到的东西记录下来. 学习的资料主要是官网给出的6个基本的消息发送/接收模型, ...

  8. js学习笔记:webpack基础入门(一)

    之前听说过webpack,今天想正式的接触一下,先跟着webpack的官方用户指南走: 在这里有: 如何安装webpack 如何使用webpack 如何使用loader 如何使用webpack的开发者 ...

  9. Unity3d学习 制作地形

    这周学习了如何在unity中制作地形,就是在一个Terrain的对象上盖几座小山,在山底种几棵树,那就讲一下如何完成上述内容. 1.在新键得项目的游戏的Hierarchy目录中新键一个Terrain对 ...

随机推荐

  1. Array相关的属性和方法

    这里只是做了相关的列举,具体的使用方法,请参考网址. Array 对象属性 constructor 返回对创建此对象的数组函数的引用. var test=new Array(); if (test.c ...

  2. nano在CentOS上的安装和使用

    安装: yum -y install nano 打开新建:nano 路径+文件名 查看用:cat path/filename如果改文件存在,上面的命令将打开这个文件:如果文件不存在则将会创建一个新文件 ...

  3. java 多重循环

    //http://www.weixueyuan.net/view/6311.html //多重循环 import java.util.Scanner; public class Test16{ pub ...

  4. IBM应该请我去做Domino产品设计架构师

                                  作者: 亓锋                         2012年11月19日16:56  来源: 速途专栏              ...

  5. Leveldb 使用说明文档

    Leveldb 使用说明文档 原作者:Jeff Dean, Sanjay Ghemawat 翻译:乌合之众solym@sohu.com 英文原文地址https://rawgit.com/google/ ...

  6. 图片MassiGra045 简体中文|MG

    Window自带的图片打开,加载很缓慢.今天推荐一款日本的急速打开图片MassiGra045 简体中文化,简称MG 下载地址: http://pan.baidu.com/s/1qYFgRiW 密码: ...

  7. Heroku免费版限制

    SLEEPS AFTER 30 MINS OF INACTIVITY   30分钟无人访问就休眠 Verified accounts come with a monthly pool of 1000 ...

  8. kubelet Pod status的状态分析

    CrashLoopBackOff: 容器退出,kubelet正在将它重启 InvalidImageName: 无法解析镜像名称 ImageInspectError: 无法校验镜像 ErrImageNe ...

  9. UCCI协议[转]

    象棋百科全书 中国象棋电脑应用规范(五) 中国象棋通用引擎协议 版本:3.0 象棋百科全书网 (webmaster@xqbase.com) 2004年12月初稿,2007年11月修订 一.概述 中国象 ...

  10. HanLP自定义词典注意事项

    对于词典,直接加载文本会很慢,所以HanLP对于文本文件做了一些预处理,生成了后缀名为.txt.bin的二进制文件. 这些二进制文件相当于缓存,避免了每次加载去读取多个文件. 通过这种txt和bin结 ...