kafka安装和简单测试 # 安装zookeeper(apache-zookeeper-3.5.6-bin)https://archive.apache.org/dist/zookeeper/zookeeper-3.5.6/apache-zookeeper-3.5.6-bin.tar.gz # 安装kafka(kafka_2.11-2.3.1)http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/kafka_2.11-2.3.1.tgz #…

一.kafka安装 安装是非常简单的,现在推荐安装0.8的版本,这个版本是非常稳定的,而且公司里面也多用此版本. 简单的安装: 这个是我使用的版本,kafka_2.11-0.8.2.2.tgz 直接tar -zxvf kafka_2.11-0.8.2.2.tgz -C /soft/apps/kafka ok 解压后进入,安装的目录. 找到config目录 修改里面的server.properties文件 文件的详细属性为: #broker的全局唯一编号,不能重复 broker.id= #用来监听…

(一)Apache Kafka安装 1.安装环境与前提条件   安装环境:Ubuntu16.04   前提条件: ubuntu系统下安装好jdk 1.8以上版本,正确配置环境变量 ubuntu系统下安装好scala 2.11版本 安装ZooKeeper(注:kafka自带一个Zookeeper服务,如果不单独安装,也可以使用自带的ZK) 2.安装步骤   Apache基金会开源的这些软件基本上安装都比较方便,只需要下载.解压.配置环境变量三步即可完成,kafka也一样,官网选择对应版本下载后直接…

关于kafka是什么及原理,请参考kafka官方文档的介绍:http://kafka.apache.org/documentation/#introduction ,英文不好的同学可以看这里http://ifeve.com/kafka-1/. kafka依赖于zookeeper才能运行,而zookeeper运行需要jdk的支持,所以我们需要在linux系统上先行安装jdk和zookeeper. 本人使用的centos7系统,安装步骤如下: 1.jdk安装: rpm -qa | grep jdk …

一.安装 双击kafkatool_64bit.exe安装kafka可视化工具,并且C:\Windows\System32\drivers\etc配置HOSTS,打开HOSTS并添加: HOSTS添加: HOSTS添加的域名,是kafka安装服务器的IP 用户名,必要时登录linux服务器检查一下 二.简单使用 1.在桌面找到Kafka Tool 2.0快捷图标,双击进入可视化工具 2.左上角File-Add New Connection...,添加链接 (1)File-Add New Conne…

一.下载 下载地址: http://kafka.apache.org/downloads.html kafka目录结构 目录 说明 bin 操作kafka的可执行脚本,还包含windows下脚本 config 配置文件所在目录 libs 依赖库目录 logs 日志数据目录,目录kafka把server端日志分为5种类型, 分为:server,request,state,log-cleaner,controller 二.安装及启动 1. 解压 > tar -xzf kafka_2.9.1-0.8.…

Spark简介安装和简单例子 Spark简介 Spark是一种快速.通用.可扩展的大数据分析引擎,目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL.Spark Streaming.GraphX.MLlib等子项目,Spark是基于内存计算的大数据并行计算框架.简单来说Spark是 内存迭代计算,每个算子将计算结果保存在内存中,其他算子,读取这个结果,继续计算. Spark的四个特性: 1.快 Spark实现了高效的DAG执行引擎,可以通过基于内存来高效处理数…

kafka安装和启动 kafka的背景知识已经讲了很多了,让我们现在开始实践吧,假设你现在没有Kafka和ZooKeeper环境. Step 1: 下载代码 下载0.10.0.0版本并且解压它. > tar -xzf kafka_2.11-0.10.0.0.tgz > cd kafka_2.11-0.10.0.0 Step 2: 启动服务 运行kafka需要使用Zookeeper,所以你需要先启动Zookeeper,如果你没有Zookeeper,你可以使用kafka自带打包和配置好的Zooke…

安装前期准备: 1,准备三个节点(根据自己需求决定) 2,三个节点上安装好zookeeper(也可以使用kafka自带的zookeeper) 3,关闭防火墙 chkconfig  iptables off 一.下载安装包Kafka官网下载安装包 http://kafka.apache.org/downloads.html 我们下载第二种(已经被编译过的),将安装包存在在 /software/ 下 二.解压安装包我选择将kafka安装在 /usr/local/  这个目录下. tar -zxvf…

一.安装Zookeeper 其实Zookeeper的安装特别简单,也不能算安装了,只需要将Zookeeper下载后解压,就完成了安装操作. 下载地址:http://zookeeper.apache.org/releases.html 本文所用的3.4.14版本,下载链接 su - root # 请务必切换为root身份 wget http://www.trieuvan.com/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz ta…