一.GlusterFS简介 GlusterFS(GNU ClusterFile System)是一种全对称的开源分布式文件系统,所谓全对称是指GlusterFS采用弹性哈希算法,没有中心节点,所有节点全部平等.GlusterFS配置方便,稳定性好,可轻松达到PB级容量,数千个节点. 二.GlusterFS重要概念 birck:GlusterFS的基本元素,以节点服务器目录形式展现: volume:多个brick的逻辑集合: metadata:元数据,用于描述文件.目录等的信息: self-hea…

GlusterFS分布式文件系统部署及基本使用(CentOS 7.6) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. Gluster File System 是一款自由软件,主要由ZRESEARCH公司负责开发,十几名开发者,最近非常活跃. 文档也比较齐全,不难上手.Gluster是一个分布式横向扩展文件系统,可根据您的存储消耗需求快速配置额外的存储.它将自动故障转移作为主要功能.官网快速入门文档:https://docs.gluster.org/en/latest/Inst…

FastDFS 分布式文件系统部署实战及基本使用 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. FastDFS是一个开源的高性能分布式文件系统.它的主要功能包括:文件存储,文件同步和文件访问(文件上传和文件下载),它可以解决高容量和负载平衡问题.FastDFS应满足基于照片共享站点和视频共享站点等文件服务的网站的要求.它的应用场景非常适合存储大于4k小于500M左右的音频,图片,APP安装包等二进制文件.FastDFS典型用户有UC,支付宝,京东,飞信,58同城,51CTO等…

一.OpenStack简介 OpenStack是一个由NASA(美国国家航空航天局)和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目. OpenStack是一个开源的云计算管理平台项目,由几个主要的组件组合起来完成具体工作.OpenStack支持几乎所有类型的云环境,项目目标是提供实施简单.可大规模扩展.丰富.标准统一的云计算管理平台.OpenStack通过各种互补的服务提供了基础设施即服务(IaaS)的解决方案,每个服务提供API以进行集成. OpenS…

centos7 下zookeeper 部署 本文参考https://www.linuxidc.com/Linux/2016-09/135052.htm 1.创建/usr/local/zookeeper文件夹 mkdir /usr/local/zookeeper 2.进入/usr/local/zookeeper文件夹 cd /usr/local/zookeeper 3.下载zookeeper wget https://mirrors.tuna.tsinghua.edu.cn/apache/zook…

centos7 下 安装部署nginx 1.nginx安装依赖于三个包,注意安装顺序 a.SSL功能需要openssl库,直接通过yum安装: #yum install openssl b.gzip模块需要zlib库,直接通过yum安装: #yum install zlib c.rewrite模块需要pcre库,直接通过yum安装: #yum install pcre 2.安装Nginx依赖项和Nginx a.使用yum安装nginx需要包括Nginx的库,安装Nginx的库 #rpm -Uvh…

CentOS7.4下部署hadoop3.1.1 契机 由于工作原因要部署hadoop的集群,习惯使用最新的稳定版本2018年的时候由于时间紧破部署了2.7.2版本,最新由于又要部署有研究了一下3.x的部署.这次 研究通了,在这里记录一下,防止以往. 本次部署的是一个可用的集群,不是高可用的,因为高可用的hadoop还要部署zookeeper和ha,搞可用的hadoop以后有需要再研究. 准备工作 规划 软件 软件 版本 位数 说明 Jdk Jdk1.8 64位 稳定版本 Centos Cento…

1. Lustre文件系统概述 2. Lustre文件系统部署 2.1 基本环境 本篇博客将在KVM虚拟机中部署Lustre文件系统. 操作系统版本为CentOS6.5_x86_64.Lustre软件包版本在官方下载与内核版本2.6.32-431相对应的rpm(包括server和client)等全部的包. 实践思路为创建一个kvm模板主机,在该主机完成lustre文件系统软件包安装之后,然后克隆6个主机. 2.2 部署过程 2.2.1 模板主机配置 首先创建虚拟机node31 将下载的lustr…

Hadoop生态圈-CentOs7.5单机部署ClickHouse 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 到了新的公司,认识了新的同事,生产环境也得你去适应新的集群环境,我新入职的公司的大数据开发同时并不看好hbase,而是对clickhouse青睐有加,听他们口头把ClickHouse吹的那么的出神入化,听的我是有种迫不及待想要对它一探究竟. 最新的一手资料请参考官网:https://clickhouse.yandex/ 一.ClickHouse的独特功能 1>.真…

继上一篇博客CentOS7.4安装部署openstack [Liberty版] (一),本篇继续讲述后续部分的内容 一.添加块设备存储服务 1.服务简述: OpenStack块存储服务为实例提供块存储.存储的分配和消耗是由块存储驱动器,或者多后端配置的驱动器决定的.还有很多驱动程序可用:NAS/SAN,NFS,ISCSI,Ceph等等.块存储API和调度程序服务通常运行在控制节点上.取决于所使用的驱动程序,卷服务可以运行在控制,计算节点或者独立的存储节点上. OpenStack块存储服务(cin…