通过docker可以快速部署小规模Ceph集群的流程,可用于开发测试. 以下的安装流程是通过linux shell来执行的;假设你只有一台机器,装了linux(如Ubuntu)系统和docker环境,那么可以参考以下步骤安装Ceph: # 1. 创建Ceph专用网络 docker network create --driver bridge --subnet 172.20.0.0/16 ceph-network docker network inspect ceph-network # 2. 删…

一.背景: 随着互联网的发展.互联网用户的增加,互联网中的数据也急剧膨胀.每天产生的数据量数以万计,本地文件系统和单机CPU已无法满足存储和计算要求.Hadoop分布式文件系统(HDFS)是海量数据存储的重要技术,它将数据存储在多个从节点上,对这些节点的硬件资源进行统一管理与分配,并向客户端提供文件系统访问接口,解决了本地文件系统在文件大小.文件数量.打开文件数目等的限制问题.海量数据存储系统的数据都是通过分布式文件系统存储在各个节点上.通过分布式文件系统,海量数据存储系统可以可靠地存储PB级以…

在规划Ceph分布式存储集群环境的时候,对硬件的选择很重要,这关乎整个Ceph集群的性能,下面梳理到一些硬件的选择标准,可供参考: 1)CPU选择 Ceph metadata server会动态的重新分配负载,它是CPU敏感性的,所以Metadata Server应该有比较好的处理器性能 (比如四核CPU). Ceph OSDs运行RADOS服务,需要通过CRUSH来计算数据的存放位置,replicate数据,以及维护Cluster Map的拷贝,因此OSD也需要合适的处理性能 Ceph Mon…

使用docker部署mysql PXC集群8.0版本,启动第二个节点的时候遇到报错,New joining cluster node didn't find all needed SSL artifacts. 问题点 Percona XtraDB Cluster包含pxc-encrypt-cluster-traffic启用S​​SL加密配置的变量,从而对SST,IST和复制通信进行加密 . 默认情况下pxc-encrypt-cluster-traffic启用此功能,从而使用安全通道进行复制.此变…

1.环境准备 3台virtualbox虚拟机,用来安装ceph集群,已用docker-machine安装上了docker,每台虚拟机虚拟创建一个5G的硬盘,用于存储osd数据,例如:/dev/sdb 1台客户端manager,客户端可以扩展至多台形成swarm集群 hostname ip 部署 localhost 192.168.56.101 mon.osd host1 192.168.56.102 mon.osd.mgr host2 192.168.56.103 mon.osd manager…

集群环境 配置基础环境 添加ceph.repo wget -O /etc/yum.repos.d/ceph.repo https://raw.githubusercontent.com/aishangwei/ceph-demo/master/ceph-deploy/ceph.repo yum makecache 配置NTP yum -y install ntpdate ntp ntpdate cn.ntp.org.cn systemctl restart ntpd ntpdate;systemc…

安装tomcat镜像 准备好须要的jdk tomcat等软件放到home文件夹以下 启动一个虚拟机 docker run -t -i -v /home:/opt/data  --name mk_tomcat ubuntu /bin/bash 这条命令挂载本地home文件夹到虚拟机的/opt/data文件夹,虚拟机内文件夹若不存在,则会自己主动创建 接下来就是tomcat的基本配置,jdk设置环境变量好之后,将tomcat程序放到/opt/apache-tomcat以下 编辑/etc/superv…

一.环境准备 创建两台主机,ip地址和主机名如下 192.168.2.100,主机名ceph-1 192.168.2.101,主机名ceph-2 每个主机 新增加一块数据盘,分区根据自己需要分区即可,这里分了4个分区. ceph部署至少两个两个节点,数据盘或者分区至少三个. ceph-1节点作为部署节点执行部署操作. 二.ceph-deploy admin node节点 1.添加yum源 vim /etc/yum.repos.d/ceph.repo [Ceph]name=Ceph package…

一.概述 Minio 是一个基于Go语言的对象存储服务.它实现了大部分亚马逊S3云存储服务接口,可以看做是是S3的开源版本,非常适合于存储大容量非结构化的数据,例如图片.视频.日志文件.备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等.区别于分布式存储系统,minio的特色在于简单.轻量级,对开发者友好,认为存储应该是一个开发问题而不是一个运维问题. 存储架构 Minio针对不同应用场景也设置了对应的存储架构: 1.单主机,单硬盘模式 该模式下,Minio只在一…

作为一个开发者,有时候需要一个集群环境,之前的做法要么就是使用多个虚拟机,要么就是采用不同的端口来模拟,但是虚拟机比较占内存,而且启动慢,采用不同的端口来模拟,管理起来比较麻烦一些,程序隔离性差一些. docker的出现让我们可以在一台虚拟机上模拟构建出来一个几乎完全隔离的集群,本文提供一种快速构建consul集群的方法. 首先我们需要consul的镜像,这个可以从dockerhub上获取: 上面第一个就是consul官方的镜像 # 搜索镜像 sudo docker search consul…