以下命令都是在kafka根目录下 启动自带的zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 启动kafka(启动完zookeeper后,应再新开个窗口启动kafka,不然会报超时错误,可能由于我用的linux命令有问题,ctrl+z让它后台运行,没有起作用.回头在研究一下) bin/kafka-server-start.sh config/server.properties 查看所有的topic相信信息(描述…

kafka 入门笔记(#1) 单机测试 下载版本,解压 tar -xzf kafka_2.11-0.10.1.1.tgz cd kafka_2.11-0.10.1.1 启动服务 Kafka用到了Zookeeper ,所以首先要启动zookeeper,先启动一个单实例的zk服务. bin/zookeeper-server-start.sh config/zookeeper.properties & 启动Kafka 服务 bin/kafka-server-start.sh config/server…

1.有了分区,可以多个client消费一个topic,有了分区,可以将一个topic 分散在多个broker 2.kafka通过复制实现可靠,通过横向扩展提高性能(如增加分区.客户端.增加broker) 3.消费者占用网络流量,而复制.镜像也会占用网络流量.如果网络接口出现饱和,那么集群的复制出现延时就在所难免,从而让集群不堪一击. 4.如果服务器返回错误, get ()方怯会抛出异常  5.因为生产者会自动进行重试,所以就没必要在代码逻辑里处理那些可重试的错误.你只需要处理那些不可重试的错误或…

一 为什么需要消息系统 1.解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束. 2.冗余 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险.许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕. 3.扩展性 因为消息队列解耦了你的处理过程,所以增大消息入队和处理的频率是很容易的,只要另外增加处理过程即可. 4.灵活性…

概述 学习和使用kafka不知不觉已经将近5年了,觉得应该总结整理一下之前的知识更好,所以决定写一系列kafka学习笔记,在总结的基础上希望自己的知识更上一层楼.写的不对的地方请大家不吝指正,感激万分.第一篇介绍消息队列概况和kafka的入门知识. 消息队列系统 首先说一下消息队列的含义,"消息系统"这个词是从英文翻译过来的,英文的名字是"Messaging System",稍微学习过英语基础的都知道要翻译成消息队列,但是也有一些大家觉得并不正确,因为它片面强调了消…

Linux 常用命令笔记 1. locate locate:用来定位文件的位置,如:locate a.txt 但是这个命令有延迟,也就是新建的文件不一定能搜索到,如果非要找到新建的文件可以使用 updatedb 命令来强制更新locate依赖的数据库. 2. 查询文本文件行数 wc -l filename 3.远程Linux服务器 ssh username@192.168.1.1 或 ssh username@hostnme 使用主机名需要在本地进行主机名与IP地址映射: 在/etc/hosts…

 Linux常用命令  笔记 一.文件处理命令 1. ls命令:显示目录文件                          -a 显示所有文件,包括隐藏文件.(all)                          -l 详细信息显示,长格式显示文件.(long)                          -d 查看目录属性.查看目录详细信息,不加-d则只显示目录下的数据而不显示目录本身                         -I 可查询任何一个目录下面任何一文件的i节…

0x00 基本信息 1.Kafka架构图 2.环境信息 服务器IP:xx.xx.xx.xx 操作系统:CentOS7.2_x64 Kafka版本:kafka_2.12-1.1.0 Zookeeper版本:zookeeper-3.4.12 0x01 让Kafka运行起来 1.先启动Zookeeper $ cd /opt/kafka/zookeeper-/bin $ zkServer.sh start 确认zookeeper是否成功启动: $ netstat -an | tcp6 ::: :::*…

一.Kafka命令行操作 1.查看当前集群已存在的主题 bin/kafka-topic.sh --zookeeper hd09-01:2181 --list 2.创建主题 bin/kafka-topic.sh --zookeeper hd09-01:2181 --create --relication-factor 3 \ >--partition 1 \ >---topic xinnian 3.删除主题 bin/kafka-topic.sh --zookeeper hd09-01:2181…

命令笔记 (随笔原创,借鉴请修改) linux系统中一切都是文件 2.4  系统状态的命令:  ifconfig   :    查看系统网卡信息,包括网卡名称,ip地址,掩码,mac地址,收到数据包大小和发送数据包大小. uname  :     查看系统内核信息. 参数:-a    所有信息 -r     内核版本号 uptime :     是top的第一行,系统的时间,终端数和负载.  free :    查看系统中内存使用情况. 参数:  -h    以最直观显示  -m    以单位M…