Kafka集群搭建分为单节点的伪分布式集群和多节点的分布式集群两种,首先来看一下单节点伪分布式集群安装.单节点伪分布式集群是指集群由一台ZooKeeper服务器和一台Kafka broker服务器组成,如下图所示: 为了搭建单节点Kafka集群,需要依次安装如下软件:安装Java-->安装ZooKeeper-->安装Kafka. 一.安装Java 可以参考linux安装jdk,来进行安装 二.安装ZooKeeper 下载地址:https://www-us.apache.org/dist/zoo…

1. 默认配置文件: 存放于Hadoop对应的jar包中 core-default.xml hdfs-default.xml yarn-default.xml mapred-default.xml 2. 自定义配置文件: $HADOOP_HOME/etc/hadoop core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 2.1 core-site.xml <configuration> <property> <!…

本文源码:GitHub·点这里 || GitEE·点这里 一.环境和版本 Linux:centos7 三台 三台Linux服务 192.168.72.129 192.168.72.130 192.168.72.131 Redis:redis-4.0.14 二.上传Redis软件 1.创建软件目录 [root@localhost local]# cd /usr/local/ [root@localhost local]# mkdir mysoft 2.Xftp上传软件,解压 [root@local…

使用Minikube来运行kubernetes集群是最简单.快捷的途径.Minikube是一个构建单节点集群的工具,对于测试Kubernetes和本地开发应用都非常有用.官方安装minikube教程请参考:Install Minikube  (github地址) 实验环境:VM中的CentOS7 一.安装前的准备工作 检查是否支持虚拟化,输出非空说明支持. grep -E --color 'vmx|svm' /proc/cpuinfo 注意:如果是在虚拟机中操作,比如Vmware,则Vmware…

伪分布模式下,如(weekend110)hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示HBase使用自身自带的Zookeeper实例.但是,该实例只能为单机或伪分布模式下的HBase提供服务. 若是分布式模式,则需要配置自己的Zookeeper集群.如(HadoopMaster.HadoopSlave1.HadoopSlave2)hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示,分布式模式里,在启动HB…

因为,我的mysql是用root用户,在/home/hadoop/app/目录下,创建的. 第一步:开启mysql服务 第二步:启动hive [hadoop@weekend110 app]$ su rootPassword: [root@weekend110 app]# service mysqld startStarting mysqld: [ OK ][root@weekend110 app]# su hadoop[hadoop@weekend110 app]$ cd hive-0.12.0…

1. 环境信息如下: ubuntu:14.10 jdk:openjdk-1.7.0 hadoop:2.6.0 2. 下载hadoop2.6.0, http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz 本文的$HADOOP_HOME为:/media/GoldenResources/localSoft/hadoop-2.6.0. 在 ~/.bashrc文件中添加环境变量,如下: export HADOOP_HOM…

1.对于分布式Redis主从集群来说,什么是脑裂? 所谓的脑裂,就是指在主从集群中,同时有两个主节点,它们都能接收写请求.而脑裂最直接的影响,就是客户端不知道应该往哪个主节点写入数据,结果就是不同的客户端会往不同的主节点上写入数据.而且,严重的话,脑裂会进一步导致数据丢失. 2.为什么会发生脑裂? 2.1 网络问题:导致Redis Master节点跟Redis Slave节点和Sentinel集群处于不同的网络分区,此时因为Sentinel集群无法感知到master的存在,所以将Slave节点提…

一:Redis集群环境准备 1:需要先安装好Redis集群环境并配置好集群 192.168.0.113 7001-7003 192.168.0.162 7004-7006 2:检查redis集群 [root@localhost src]# ./redis-cli -c -h 192.168.0.113 -a 123456 -p 7001 192.168.0.113:7001>  cluster nodes 3:确保redis集群没有数据 192.168.0.113:7001> dbsize (…

在进行搭建redis3M 集群之前,首先要明白如何在单节点上完成redis的搭建. 单节点单实例搭建可以参看这个网:https://www.cnblogs.com/butterflies/p/9628207.html 完成单节点的redis搭建之后,修改配置文件,开启集群模式,修改配置文件生成的目录,修改位对应的端口,即可完成单节点多实例的redis集群搭建. 一:多实例配置文件生成和修改 1 配置文件拷贝 cp /usr/local/redis/etc/redis.conf /usr/loca…