内容基于(自己的真是操作步骤编写) Linux 搭建Hadoop集群---Jdk配置 Linux 搭建Hadoop集群 ---SSH免密登陆 一:下载安装 Hadoop 1.1:下载指定的Hadoop hadoop-2.8.0.tar.gz 1.2:通过XFTP把文件上传到master电脑bigData目录下 1.3:解压hadoop压缩文件 tar -xvf hadoop-2.8.0.tar.gz 1.4:进入压缩文件之后 复制路径 /bigData/hadoop-2.8.0 1.5:配置Ha…

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境 一.环境说明 个人理解:zookeeper可以独立搭建集群,hbase本身不能独立搭建集群需要和hadoop和hdfs整合 集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: IP     角色10.10.50.133 master10.10.125.156 slave110.10.114.11…

最近在学习搭建hadoop集群环境,在搭建的过程中遇到很多问题,在这里做一些记录.1. SSH相关的问题 问题一: ssh: connect to host localhost port 22: Connection refused 问题二: 远程连接需要输入密码. 参照以下博客即可解决: Linux开启SSH服务: https://www.cnblogs.com/fengbeihong/p/3307575.html ubuntu Docker开启ssh:https://blog.csdn.ne…

docker-compose搭建zookeeper集群环境 使用docker-compose搭建zookeeper集群环境 zookeeper是一个集群环境,用来管理微服务架构下面的配置管理功能. 这篇文章是一个基础步骤如何搭建zookeeper的docker集群环境. 我们使用docker-compose来搭建如下的zookeeper集群环境: 集群包含三个node:zookeeper1, zookeeper2, zookeeper3 下载zookeeper docker image $ do…

需求 kubeadm 搭建kubernetes集群环境 准备条件 三台VPS(本文使用阿里云香港 - centos7.7) 一台能SSH连接到VPS的本地电脑 (推荐连接工具xshell) 安装步骤 在安装前需要配置国内的镜像源,这里推荐使用阿里云的 cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/…

本文主要是记录一下快速搭建redis集群环境的方式. 环境简介:centos 7  + redis-3.2.4 本次用两个服务6个节点来搭建:192.168.116.120  和  192.168.116.121 192.168.116.120 端口为7000  7001 7002  3台 192.168.116.121  端口为7000 7001 7002  3台 注意 ,redis 集群使用redis-trib.rb 必须3主3从 ,也就是6个节点! 详细步骤: 1:下载解压redis-3.…

Redis集群 (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) 127.0.0.1:6379127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 1:下载redis.官网下载3.0.7版本 下载地址:http://download.redis.io/releases/redis-3.0.7.tar…

Kafka集群管理.状态保存是通过zookeeper实现,所以先要搭建zookeeper集群 zookeeper集群搭建 一.软件环境: zookeeper集群需要超过半数的的node存活才能对外服务,所以服务器的数量应该是2*N+,这里使用3台node进行搭建zookeeper集群. . 3台linux服务器都使用docker容器创建,ip地址分别为 NodeA:172.17.0.10 NodeB:172.17.0.11 NodeC:172.17.0.12 . zookeeper的docker…

服务版本选择 TEG的ctsdb当前最高版本采用的是es的6.4.3版本,为了日后与ctsdb衔接方便,部署开源版es时也采用该版本.6.4.3版本的es依赖的jdk版本要求在8u181以上,测试环境部署采用的是8u202. JDK部署 在所有要安装es的机器上都上传jdk安装包,将包放入/home/java目录下.   tar ‐zxvf jdk‐8u202‐linux‐x64.tar.gz  执行以下命令:输入命令vim /etc/profile,打开环境变量配置文件,在文件底部输入以下信息…

一.集群规划 使用 cephfs 实现分布式存储和数据持久化 ES 集群的 master 节点至少需要三个,防止脑裂. 由于 master 在配置过程中需要保证主机名固定和唯一,所以搭建 master 使用 StatefulSet 控制器 node 节点需要固定的主机名和固定的物理节点以及物理节点上的本地PV,所以需要使用 StatefulSet. kibana为无状态服务,使用deployment. 二.修改 elasticsearch 镜像 为了实现 ES 各个节点将数据进行统一存储并且根据…