目录 1 前言 2 分布式存储可靠性常用方法 2.1 冗余 2.2 校验 3 MinIO存储机制 3.1 概念理解 3.2 纠删码EC(Erasure Code) 3.3 存储形式 4 部署实践 4.1 单节点部署多磁盘 4.2 多节点部署 4.2.1 部署脚本 4.2.2 部署注意点 4.2.3 使用 nginx 负载均衡 5 总结 参考资料 往期文章 高可用分布式对象存储,MinIO 轻松实现. 1 前言 上一篇文章介绍了使用对象存储工具 MinIO 搭建一个优雅.简单.功能完备的静态资源服…

前言: 环境介绍:此次部署系统为Cenots 7 MON.OSD 10.110.180.112 Admin MON.OSD 10.110.180.113 Node1 MON.OSD 10.110.180.114 Node2 Ceph文件目录部署过程 此部署过程是采用文件目录方式挂在激活OSD的方式部署Ceph集群. 1.系统关闭防火墙 关闭selinux 2.配置ntp 时间同步 配置普通用户 sudo 免密 3.配置ssh 免密 4.配置ceph源 [ceph@ceph-admin my-cl…

一.ETCD 概述 ETCD 是一个分布式一致性k-v存储系统,可用于服务注册发现与共享配置.具有一下优点: 简单: 相比于晦涩难懂的paxos算法,etcd基于相对简单且易实现的raft算法实现一致性,并通过gRPC提供接口调用 安全:支持TLS通信,并可以针对不同的用户进行对key的读写控制 高性能:10,000/秒的写性能 二.overlay网络模式 容器在两个跨主机通信的时候,是使用overlay network这个网络模式进行通信,如果使用host也可以实现跨主机进行通信,直接使用这个…

一 etcd发现简介 1.1 需求背景 在实际环境中,集群成员的ip可能不会提前知道.如使用dhcp自动获取的情况,在这些情况下,使用自动发现来引导etcdetcd集群,而不是指定静态配置,这个过程被称为“发现”. etcd Discovery 使用已有的 etcd cluster 来注册和启动 DNS发现 使用 DNS 启动. 1.2 实现机制 Discovery service protocol帮助新的etcd成员使用共享URL在集群引导阶段发现所有其他成员. 该协议使用新的发现令牌来引导一…

好久没写,记录一下 1.背景 之前一直用的七牛,不过是收费的,然后有些定制化需求,可能比较看重预算,然后就有了这篇开源方式:minio 2.简介 官方文档:http://docs.minio.org.cn/docs/ MinIO 是一个基于Apache License v2.0开源协议的对象存储服务.它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片.视频.日志文件.备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等. MinIO是一个非…

转自:http://bangbangba.blog.51cto.com/3180873/1712061 GlusterFS是一款非常易于使用的分布式文件存储系统,实现了全部标准POSIX接口,并用fuse实现虚拟化,让用户看起来就像是本地磁盘一样.因此程序想从本地磁盘切换到GlusterFS时是不用修改任何代码的,做到了无缝切换.并且让多台电脑的程序看起来在使用同一块硬盘,简化了很多逻辑.如果您的应用单机磁盘不够放时,不妨考虑下GlusterFS. 一.    GlusterFS源码安装1. g…

Glusterfs 分布式存储部署 是存储当中可以选择的一种 现在很多虚拟化 云计算都在用软件存储 例如 ceph Glusterfs 等等 今天我们部署一下Glusterfs环境 GlusterFs安装 环境信息:          Glusterfs-01                          10.20.0.200                                        Glusterfs-02                   10.20.0.201…

一.概述 Minio 是一个基于Go语言的对象存储服务.它实现了大部分亚马逊S3云存储服务接口,可以看做是是S3的开源版本,非常适合于存储大容量非结构化的数据,例如图片.视频.日志文件.备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等.区别于分布式存储系统,minio的特色在于简单.轻量级,对开发者友好,认为存储应该是一个开发问题而不是一个运维问题. 存储架构 Minio针对不同应用场景也设置了对应的存储架构: 1.单主机,单硬盘模式 该模式下,Minio只在一…

最近研究minio分布式集群部署,发现网上大部分都是单服务器部署,而minio官方在github上现在也只提供了k8s和docker-compose的方式,网上有关与swarm启动minio集群的文章都不完整,这里我研究了近一周时间,终于是成功使用swarm部署minio集群,并用nginx统一入口 环境准备 四台虚拟机 192.168.2.38(管理节点) 192.168.2.81(工作节点) 192.168.2.100(工作节点) 192.168.2.102(工作节点) 时间同步 yum i…

文章转载自:https://blog.51cto.com/u_10950710/4843738 关于分布式集群MinIo 单机Minio服务存在单点故障,如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线,数据就是安全的.可读的.不过需要至少有N/2+1个硬盘在线,才能创建新的对象. 例如,一个16节点的Minio集群,每个节点16块硬盘,就算8台服务器器宕机,这个集群仍然是可读的,不过你需要9台服务器才能写数据. 注意:只要遵守分布式Minio的限制,你可以组合不同的节点和每个节点几…