配置三个节点的spark集群,集群模式为standalone模式,其中sp1节点作为主节点,sp2节点和sp3节点为从节点.***注意所有操作均为root用户. 创建3个CentOS虚拟机,如下: sp1 192.168.1.21 //master节点 sp2 192.168.1.22 //slave节点 sp3 192.168.1.23 //slave节点 配置/etc/sysconfig/network环境变量,如下: 在sp1节点上执行:vi /etc/sysconfig/network将…

MinIO的官方网站非常详细,以下只是本人学习过程的整理 一.MinIO的基本概念 二.Windows安装与简单使用MinIO 三.Linux部署MinIO分布式集群 四.C#简单操作MinIO 一.Linux部署MinIO分布式集群 1.准备工作 准备4台或4台以上的服务器(或虚拟机)搭建minio集群 注:(官方推荐集群最小4台服务器),每个服务器上挂载两个磁盘目录,最小数据挂载点为4个. 192.168.199.134/data134 192.168.199.135/data135 192…

超详细!CentOS 7 + Hadoop3.0.0 搭建伪分布式集群 ps:本文的步骤已自实现过一遍,在正文部分避开了旧版教程在新版使用导致出错的内容,因此版本一致的情况下照搬执行基本不会有大错误.如果按本文步骤进行的时候出事了,可以鼠标选中博客页面右侧的目录导航看看最后一部分的意外出事的坑点解决方案. 准备linux主机环境 一.安装虚拟机 下载地址: VMware workstation 14 Pro (附:许可证秘钥) 系统iso:CentOS7 Minimal 基本上就是下一步下一步这…

运行环境配置(10.79.115.111-114) 1.关闭防火墙与selinux 关闭防火墙: CentOS 7.x默认使用的是firewall作为防火墙. systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 关闭selinux: Redhat应用了SELinux去加强平安,永久封闭的举措为: 修改 /etc/selinux/config 文件中的 SE…

Zookeeper完全分布式集群服务 准备好3台服务器: [x]A-> centos-helios:192.168.19.1 [x]B-> centos-hestia:192.168.19.2 [x]C-> centos-hebe:192.168.19.3 ⚠️ [注意事项]: 1.一定要确定3台服务器之间可以相互通信 2.如果是采用的阿里云等服务器的话,一定要配置主机名与IP映射,否则会连接拒绝等问题 配置Zookeeper安装目录 在3台宿主机配置zookeeper安装目录:/doc…

环境准备 四台虚拟机 192.168.2.38(管理节点) 192.168.2.81(工作节点) 192.168.2.100(工作节点) 192.168.2.102(工作节点) 时间同步 每台机器都执行 yum install -y ntp cat <<EOF>>/var/spool/cron/root 00 12 * * * /usr/sbin/ntpdate -u ntp1.aliyun.com && /usr/sbin/hwclock -w EOF ##查看计…

hadoop2.2.0 ha集群搭建 使用的文件如下:    jdk-6u45-linux-x64.bin    hadoop-2.2.0.x86_64.tar    zookeeper-3.4.5.tar.gz    hbase-0.96.2-hadoop2-bin.tar    使用WinSCP工具将上述文件复制到linux的根目录的cloud文件夹下 文件所在路径为:    /cloud/jdk-6u45-linux-x64.bin    /cloud/hadoop-2.2.0.x86_6…

一.准备工作 同一个局域网中的三台linux虚拟机,我用的是redhat6.4,如果主机是windows操作系统,可以先安装vmware workstation, 然后在workstation中装上3台虚拟机,这样就形成了一个以物理机为DNS服务器的局域网,物理机和虚拟机都有一个局域网IP,互相之间可以通信. 因为hadoop是一个java开发者写的开源软件,所以你懂得,肯定用的是java语言编写的,所以要装jdk,当然还有一些perl语言写的东西,所以也要装perl,因为是个集群,所以互相之间…

概念与了解:Redis(1.7)Redis高可用架构(理论篇) [0]试验环境 结构图如下: (这里试验没有那么多机器,就用3台机器搭建试验) redis1是redis集群的一个节点A,上面运行了两个redis实例,7001 7004 redis2是redis集群的一个节点B,上面运行了两个redis实例,7002 7005 redis3是redis集群的一个节点C,上面运行了两个redis实例,7003 7006 -- 试验集群包含 A/B/C A1/B1/C1 6个节点 A.B.C 为主节点…

注意:部署Kafka之前先部署环境JAVA.Zookeeper 准备三台CentOS_6.5_x64服务器,分别是:IP: 192.168.0.249 dbTest249 Kafka IP: 192.168.0.250 Other250 Kafka IP: 192.168.0.251 webTest251 Kafka 一.安装Kafka # tar zxvf kafka_2.9.1-0.8.2.2.tgz -C /usr/local/ # cd /usr/local/kafka_2.9.1-0.…