一. Kafka中的相关概念的介绍 Kafka是一个scala实现的分布式消息中间件,其中涉及到的相关概念如下: Kafka中传递的内容称为message(消息),message 是通过topic(话题)进行分组的 topic 和message 的关系是一对多的关系我们称发布message的进程为producer ,就是说producer生成<topic->message>对然后 丢进kafka集群相对应的称订阅topic处理对应message的进程为consumerKafka集群中的节…

一. Kafka中的相关概念的介绍 Kafka是一个scala实现的分布式消息中间件,当中涉及到的相关概念例如以下: Kafka中传递的内容称为message(消息),message 是通过topic(话题)进行分组的 topic 和message 的关系是一对多的关系 我们称公布message的进程为producer ,就是说producer生成<topic->message>对然后 丢进kafka集群 相相应的称订阅topic处理相应message的进程为consumer Kafka…

1. 主要配置 config/server.properties (1)  broker.id=0  # 集群中,每个 kafka 实例的值都不一样 (2) log.dirs=/tmp/kafka-logs  #日志文件的位置 (3) zookeeper.connect=bigdata3:2181,bigdata4:2181,bigdata5:2181  # zookeeper 集群的配置 如果不使用集群,则可以用不配置 zookeeper.connect 这一项,此时需要先运行下面的命令,启动…

1.配置mvn: 点击链接 http://maven.apache.org/download.cgi 下载 解压到文件夹: 配置系统环境变量: 测试:mvn -v 2.mvn命令: 1. 显示版本信息 : mvn -version/-v 2. 创建mvn项目: mvn archetype:create -DgroupId=com.oreilly -DartifactId=my-app 3. 生成target目录,编译.测试代码,生成测试报告,生成jar/war文件 : mvn package 4…

Linux 的简单命令: ls(list)功能:列出目录内容 cd(change directory)功能:切换目录 touch 1.txt 在当前目录创建一个文件1.txt clear:清除屏幕 pwd:显示当前工作目录 mkdir: 创建目录 cat 文件名:显示指定文件的所有内容(用于文件内容少的情况) less [参数] 文件名 :分页显示文件内容,操作更详细 more 文件名:分页显示文件内容,还支持直接跳转行等功能(用于文件内容多的情况) tall命令:用来显示指定文件末尾内容,不指…

Linux环境Kafka集群安装配置及常用命令 Kafka 消息队列内部实现原理 Kafka架构 一.下载Kafka安装包 二.Kafka安装包的解压 三.设置环境变量 四.配置kafka文件 4.1 server.properties 五.启动kafka集群并测试 5.1创建Topic 5.2创建broker 5.3创建订阅者 六.kafka常用命令 6.1创建主题(4个分区,2个副本) 6.2查询 6.3发送和消费 6.4平衡leader 6.5kafka自带压测命令 Kafka 用途:在流…

1 分别启动zoo和kafka ./zkServer.sh start 然后需要使用./zkServer.sh status查看状态,会发现一个奇怪得问题,即使start启动的时候表示启动成功,但是status得时候发现是失败,这个是多种原因造成的. (1) 查看各台机器得相关配置 (2) 网路设置 然后启动kafka 创建Topic ./bin/kafka-topics.sh --create --zookeeper 本机IP:2181 --replication-factor 1 --par…

(一)Apache Kafka安装 1.安装环境与前提条件   安装环境:Ubuntu16.04   前提条件: ubuntu系统下安装好jdk 1.8以上版本,正确配置环境变量 ubuntu系统下安装好scala 2.11版本 安装ZooKeeper(注:kafka自带一个Zookeeper服务,如果不单独安装,也可以使用自带的ZK) 2.安装步骤   Apache基金会开源的这些软件基本上安装都比较方便,只需要下载.解压.配置环境变量三步即可完成,kafka也一样,官网选择对应版本下载后直接…

1.Zookeeper简介 Zookeeper 是分布式服务框架,主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等等. 2.zookeeper基本概念 2.1 角色 Zookeeper中的角色主要有以下三类,如下表所示: 系统模型如图所示: 2.2设计目的 1. 最终一致性:client不论连接到哪个Server,展示给它都是同一个视图,这是zookeeper最重要的性能. 2. 可靠性:具有简单.健壮.良好的性能,如果消息…

一. vim 简单命令 pwd     当前路径 ls    当前路径所有目录 cd  目录地址   跳转到指定目录 /xxx  查找xxx x 删除当前字符 n 执行上一次查找 二.为什么使用apache 服务器 能够有一个测试的服务器,不是所有的特殊网络服务都能找到免费的!,有些特殊的服务器功能,Apache都能很好的支持 三.安装配置apache 服务器 1.给自己的电脑设置成服务器 2.电脑设置密码,要不别人也可以访问我的电脑. 3.显示mac隐藏文件  defaults write c…