一.VMware介绍 VMware vSphere 是业界领先且最可靠的虚拟化平台.vSphere将应用程序和操作系统从底层硬件分离出来,从而简化了 IT操作. VMware集群最主要的两个部分ESXI Server与vCenter Client.今天主要讲解一下ESXI的安装与配置(各个版本的安装过程基本一致,我这选用6.5版本). 二.安装 和正常系统安装一样有多种安装方式,我这里讲解使用启动盘安装. 1.制作启动盘 2.进入主板BIOS,选择U盘启动为第一启动项. 3.开始安装 4.重启完

首先介绍下硬盘的三种设置格式,这个要搞清楚 虚机硬盘的三种格式 厚置备延迟置零 厚置备,分配10g空间,虚拟机没开机时就分配了: 延迟置零,没开机之前只分配空间,里面的数据不抹零,当开机写入数据时再抹数据 厚置备置零    分配空间,数据清零,予取予求 瘦提供 看到的是10G,实际并没有,也就是最大是10G,写数据时临时分配空间给虚机.创建虚拟机速度快,但是性能差. 添加数据中心,集群及主机 failed to log into nfs server------>是在本机没有通过域用户登录而产生

1增加主机映射(与namenode的映射一样): 增加最后一行  [root@localhost ~]# su - root1 [root@localhost ~]# vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 :: localhost localhost.localdomain localhost6 localhost6.localdomain6 192.1

前言 在使用cdh集群过程中,难免会因为某些不可抗拒的原因导致节点IP或hostName变动,而cm的监控界面无法完成这些事情,但是cm将集群中所有的主机的信息都存在postgresql数据库的hosts表中, 现在让我们来通过修改hosts来完成这个操作. 第一步,关闭服务 1. 关闭集群服务,及 Cloudera Management Service,2. 关闭cm服务:( cm安装节点  ) 命令 : service cloudera-scm-server stop service clo

作业一:临时配置网络(ip,网关,dns)+永久配置 设置临时网络配置: 配置IP ifcongfig ens33 192.168.16.177/24 (ifconfig 网卡 ip地址    /24代表它子网掩码) 配置网关 route add default gw 192.168.16.177 netmask 255.255.255.0  添加默认网关 配置 DNS vim /etc/resolv.conf            (DNS配置文件位置) 设置永久网络配置: cd /etc/s

关注「开源Linux」,选择"设为星标" 回复「学习」,有我为您特别筛选的学习资料~ Google 发布了基础设施管理工具 VM Manager,可自动维护大型Compute Engine虚拟机集群,VM Manager设计考虑到超大规模基础设施,提供自动化部署工具集. Google 提到,企业将越来越多的工作负载转移到云上,但管理和运行大规模虚拟机集群会非常复杂,特别是对基础设施和运营管理者来说,在云上大规模管理基础设施,其安全性是一大挑战.因此Google开发了VM Manager

VPS:(virtual private server)虚拟专用服务器,将一台服务器分割成多个虚拟专享服务器的优质服务.实现VPS的技术分为容器技术和虚拟化技术.在容器或虚拟机中,每个VPS都可分配独立公网IP地址.独立操作系统.实现不同VPS间磁盘空间.内存.CPU资源.进程和系统配置的隔离,为用户和应用程序模拟出"独占"使用计算资源的体验.VPS可以像独立服务器一样,重装操作系统,安装程序,单独重启服务器.VPS为使用者提供了管理配置的自由,可用于企业虚拟化,也可以用于IDC资源租

0.绪论 之前完全没有接触过大数据相关的东西,都是书上啊,媒体上各种吹嘘啊,我对大数据,集群啊,分布式计算等等概念真是高山仰止,充满了仰望之情,觉得这些东西是这样的: 当我搭建的过程中,发现这些东西是这样的: 对于初学者来说,我认为缺点如下: 1.需要控制,配置的东西太多,并且配置对应并不是很清晰(以后优化集群是否会有很高含金量?) 2.整个集群,我觉的从硬件到软件整体来说还是稳定性有待提高,尤其CDH 集群这块一会这个主机失去联系,一会NameNode挂,一会monitor挂,整个使用过程就是

概述 简单hdfs高可用架构图 在hadoop2.x中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态.Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换.    hadoop2.x官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM.这里楼主使用简单的QJM.在该方案中,主备NameNode之间通过一组JournalNod

1. 安装JDK 1.1 官网下载JDK 进入网址<a href="http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html">JDK官网</a> 选择对应jdk版本下载 1.2 建立Java安装目录 cd /usr # 路径根据自己意愿选择 mkdri java 1.3 将下载的压缩包放入安装目录下 cp jdk-8u60-linux-x64.tar.

实验说明: 实验环境: 宿主机系统   :Fedora 28 WorkStation 虚拟机管理器 :Virt-Manager 1.5.1 虚拟机配置   :ha1  CentOS 7.2 1511 (minimal)   virbr0: 192.168.122.57              ha2  CentOS 7.2 1511 (minimal)   virbr0: 192.168.122.58              ha3  CentOS 7.2 1511 (minimal)   

配置 hadoop+yarn+hbase+storm+kafka+spark+zookeeper 高可用集群,同时安装相关组建:JDK,MySQL,Hive,Flume 文章目录 环境介绍 节点介绍 集群介绍 软件版本介绍 前期准备 相关配置 新建用户 centos 添加sudo权限 更改用户名 主机名与IP映射 显示当前文件的绝对路径 ssh免密登录 关闭防火墙 两个批处理脚本 批分发指令脚本(xcall.sh) 批同步脚本(xsync.sh):类似于 scp 指令 集群环境搭建 安装JDK

一:简介 二:基础环境安装 1.系统环境 os Role ip Memory Centos 7 master01 192.168.25.30 4G Centos 7 node01 192.168.25.31 4G Centos 7 node02 192.168.25.31 4G 2.关闭selinux sed -i "s/SELINUX\=.*/SELINUX=disabled/g" /etc/selinux/config 3.关闭防火墙 systemctl disable firew

1.实验架构 1.1.硬件环境 准备5台2c/2g/50g虚拟机,使用10.4.7.0/24 网络 .//因后期要直接向k8s交付java服务,因此运算节点需要4c8g.不交付服务,全部2c2g足够. 1.2.软件环境 操作系统:预装CentOS7.6操作系统.//因docker完美支持对内核有需求,所有操作系统全部CentOS 7.x(需要内核3.8以上) 做好系统基础优化. 关闭selinux,关闭firewalld服务 时间同步(chronyd) 调整Base源,Epel源 内核优化(文件

一.前言 Elasticsearch是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储.检索数据:本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据.Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单. 二.准备 2.1.机器环境准备 我们准备3台机器,并都装好JDK且设置好hostname. 机器IP hostname 192.16

实验环境 基础架构 主机名 角色 ip HDSS7-11.host.com k8s代理节点1 10.4.7.11 HDSS7-12.host.com k8s代理节点2 10.4.7.12 HDSS7-21.host.com k8s运算节点1 10.4.7.21 HDSS7-22.host.com k8s运算节点2 10.4.7.22 HDSS7-200.host.com k8s运维节点(docker仓库) 10.4.7.200 硬件环境 5台vm,每台至少2c2g 软件环境 OS: CentOS

为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么.在搭建集群之前,我们首先先问一句,为什么我们需要搭建集群?它有什么优势呢? 高可用性 Elasticsearch 作为一个搜索引擎,我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息.所以第一步我们需要保证的就是 Elasticsearch 的高可用性,什么是高可用性呢?它通常是指,通过设计减少系统不能提供服务的时间.假设系统一直能够提供服务,我们说系统的可用性是 100%.如果系统在某个时刻宕掉了,

Centos7.4安装elasticsearch+kibana集群 Centos7.4安装elasticsearch+kibana集群 主机环境 软件环境 主机规划 主机安装前准备 安装jdk1.8 安装elasticsearch head插件安装 ElasticHQ管理工具安装 kibana安装 主机环境 配置: 节点数 4 操作系统 CentOS Linux release 7.4.1708 (Core) 内存 16GB 软件环境 软件 版本 下载地址 jdk jdk-8u172-linux

本文是在CentOS7.4 下进行CDH6集群的完全离线部署.CDH5集群与CDH6集群的部署区别比较大. 说明:本文内容所有操作都是在root用户下进行的. 文件下载 首先一些安装CDH6集群的必须文件要先在外网环境先下载好. Cloudera Manager 6.3.0 CM6 RPM:https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/ 需要下载该链接下的所有RPM文件,保存到cloudera-repos目录下. A

一.准备工作 1.离线部署主要分为三块: MySQL离线部署 CM离线部署 Parcel文件离线源部署 2.规划 节点 MySQL部署组件 Parcel文件离线源 CM服务进程 大数据组件 hadoop001 MySQL Parcel Activity Monitor NN RM DN NM hadoop002     Alert Publisher Event Server DN NM hadoop003     Host MonitorService Monitor DN NM 3.下载源: