1.安装环境说明 三台机器安装好CentOS-7-x86_64-Minimal-1708.iso 下载地址:https://www.centos.org/download/ 最好在安装时设置好IP和HOSTNAME 三台机器的IP和HOSTNAME下载如下 主 192.168.31.11 SY-001.hadoop 从 192.168.31.12 SY-002.hadoop 从 192.168.31.13 SY-003.hadoop 每个节点设置host [root@SY-001 ~]# vi…

Kafka 0.9版本对java client的api做出了较大调整,本文主要总结了Kafka 0.9在集群搭建.高可用性.新API方面的相关过程和细节,以及本人在安装调试过程中踩出的各种坑. 关于Kafka的结构.功能.特点.适用场景等,网上到处都是,我就不再赘述了,直接进入正文 Kafka 0.9集群安装配置 操作系统:CentOS 6.5 1. 安装Java环境 Zookeeper和Kafka的运行都需要Java环境,所以先安装JRE,Kafka默认使用G1垃圾回收器,如果不更改垃圾回收器…

不多说,直接上干货! Storm的版本选取 我这里,是选用apache-storm-1.0.2.tar.gz apache-storm-0.9.6.tar.gz的集群搭建(3节点)(图文详解) 为什么我用过storm-0.9.6版本,我还要用storm-1.0.2? storm集群也是由主节点和从节点组成的. storm版本的变更:  storm0.9.x  storm0.10.x  storm1.x  前面这些版本里面storm的核心源码是由Java+clojule组成的.  storm2.x…

用两台服务器,搭建出一个双master双slave.无单点故障的高可用 RocketMQ 集群.此处假设两台服务器的物理 IP 分别为:192.168.50.1.192.168.50.2. 内容目录 1. 启动 NameServer 集群 2. 启动 Broker 集群 3. RocketMQ 可视化管理控制台:rocketmq-console 4. 集群测试 1. 启动 NameServer 集群 在两台服务器上分别启动 NameServer,可以得到一个无单点故障的 NameServer 服…

一.下载解压包 打开 MySQL 官网地址:https://dev.mysql.com/downloads/mysql/ ,选择面安装版本. 二.解压文件 下载到合适文件夹,解压压缩包. 解压 mysql-8.0.22-macos10.15-x86_64.tar.gz 三份,分别命名文件夹为 master.slave1.slave2 三.编辑数据库配置文件 在 master 文件夹下的 support-files 文件夹下面新建 my.conf 配置文件 [client] default-cha…

一.集群软硬件环境准备: 操作系统:  centos 7 x86_64.1804 Ambari版本:2.7.0 HDP版本:3.0.0 HAWQ版本:2.3.05台PC作为工作站: ep-bd01 ep-bd02 ep-bd03 ep-bd04 ep-bd05 其中ep-bd01作为主节点,用于安装ambari-server. 二.配置操作系统,安装必备软件 1,安装CentOS 7操作系统:环境配置,安装必备软件. 2,安装配置NTP服务,保证集群时间保持同步,以防止由于时间不同而造成掉线故障…

注意未经说明,所有本文中所有操作都默认需要作为root用户进行操作. 一.安装zmodem,用于远程上传下载文件,安装gedit,方便重定向到远程windows上编辑文件(通过xlanuch) [root@]# yum install lrzsz -y [root@]# yum install gedit -y 二.关闭防火墙 [root@]# systemctl disable firewalld [root@]# systemctl stop firewalld 三.关闭SELinux 在系…

世界上最快的捷径,就是脚踏实地,本文已收录[架构技术专栏]关注这个喜欢分享的地方. 最近因为工作上需要重新用Ambari搭了一套Hadoop集群,就把搭建的过程记录了下来,也希望给有同样需求的小伙伴们一个参考, 作者:图头数据 Ambari Ubuntu14.04 最新版本 2.2.1 HDP Ubuntu14.04 最新版本 2.4.3.0 Ambari是什么 Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应.管理和监控. Ambari已支持大多数Ha…

集群的模块介绍: 从MongoDB官方给的集群架构了解,整个集群主要有4个模块:Config Server.mongs. shard.replica set: Config Server:用来存放集群的元数据,也就是存放所有分片的的配置数据,mongos第一次启动就需要连接configServer读取相关数据,当configServer有数据进行更新时,也会主动推送消息到所有的mongos上,在3.0.7版本中,官方是建议配置3份的Config Server,以便挂掉两台时,业务还能够正常运转.…

欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3866791.html Apache Spark   a fast and general engine for large-scale data processing Spark是一个高效的分布式计算系统,相比Hadoop,它在性能上比Hadoop要高100倍.Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它克服了MapReduce在迭代式计算和交互式计算方面的不足,通过引入RD…