MinIO分布式集群的扩展方案及实现

目录

• 一、命令行方式扩展
  • 1. MinIO扩展集群支持的命令语法
  • 2. 扩容示例
• 二、etcd扩展方案
  • 1. 环境变量
  • 2. 运行多个集群
  • 3. 示例
• 相关链接

MinIO 支持两种扩展方式：

• 通过修改命令行，在命令行上指定新的集群集来扩展
• 通过引入第三方组件etcd，在不动原有集群的基础上实现动态扩展方案

一、命令行方式扩展

MinIO 支持通过在命令行上指定新的集群集来扩展分布式集群，多个节点的存储容量和就是分布式MinIO的存储容量。

1. MinIO扩展集群支持的命令语法

支持扩容的命令行如下：

export MINIO_ACCESS_KEY=<ACCESS_KEY>
export MINIO_SECRET_KEY=<SECRET_KEY>
minio server http://host{1...m}/export{1...m} http://host{n...z}/export{1...m}

注意：针对此语法，推荐使用连续的节点IP。

2. 扩容示例

假如，我们的初始集群为

export MINIO_ACCESS_KEY=<ACCESS_KEY>
export MINIO_SECRET_KEY=<SECRET_KEY>
minio server http://host{1...4}/export{1...16}

那么，集群扩容命令行如下：

export MINIO_ACCESS_KEY=<ACCESS_KEY>
export MINIO_SECRET_KEY=<SECRET_KEY>
minio server http://host{1...4}/export{1...16} http://host{5...8}/export{1...16}

现在整个集群就扩展了64个磁盘，总磁盘变为128个，新的对象上传请求会自动分配到最少使用的集群上。通过以上扩展策略，就可以按需扩展集群。重新配置后重启集群，会立即在集群中生效，并对现有集群无影响。如上命令中，我们可以把原来的集群看做一个集群池，新增集群看做另一个集群池，新对象按每个集群池中的可用空间比例放置在集群池中。在每个集群池内，基于确定性哈希算法确定位置。

注意: 添加的每个集群池必须具有与原始集群池相同的磁盘数量（纠删码集）大小，以便维持相同的数据冗余SLA。 例如，第一个集群池有8个磁盘，就可以将集群扩展为16个、32个或1024个磁盘的集群池，只需确保部署的SLA是原始集群池的倍数即可。

注：命令行方式扩展的集群，各个节点都能访问到数据，每块硬盘都存在相同的 bucket，但上传的数据并不是都存在于每块硬盘上。

二、etcd扩展方案

etcd 用于存储桶DNS服务记录

etcd简介及集群安装部署使用

1. 环境变量

MINIO_ETCD_ENDPOINTS

这是您要用作MinIO联合后端的etcd服务器的逗号分隔列表。 在整个联合部署中，这应该是相同的，即联合部署中的所有MinIO实例都应使用相同的 etcd后端。

MINIO_DOMAIN

这是用于联合设置的顶级域名。理想情况下，该域名应解析为 在所有联合MinIO实例之前运行的负载均衡器。域名用于创建etcd的子域条目。对于 例如，如果域名设置为 domain.com，水桶 bucket1，bucket2 将作为访问 bucket1.domain.com 和 bucket2.domain.com。

MINIO_PUBLIC_IPS

这是用逗号分隔的IP地址列表，此MinIO实例上创建的存储桶将解析为这些IP地址。例如， 可以 bucket1 在访问当前MinIO实例上创建的存储区 bucket1.domain.com，并且DNS条目 bucket1.domain.com 将指向中设置的IP地址MINIO_PUBLIC_IPS。

注意：

• 这个字段在独立和纠删码MinIO服务器部署时是必需的，以启用联邦模式。
• 对于分布式部署，此字段是可选的。如果没有在联合设置中设置此字段，则使用传递给MinIO服务器启动的主机的IP地址，并将其用于DNS条目。

2. 运行多个集群

集群1

export MINIO_ETCD_ENDPOINTS="http://remote-etcd1:2379,http://remote-etcd2:4001"
export MINIO_DOMAIN=domain.com
export MINIO_PUBLIC_IPS=44.35.2.1,44.35.2.2,44.35.2.3,44.35.2.4
minio server http://rack{1...4}.host{1...4}.domain.com/mnt/export{1...32}

集群2

export MINIO_ETCD_ENDPOINTS="http://remote-etcd1:2379,http://remote-etcd2:4001"
export MINIO_DOMAIN=domain.com
export MINIO_PUBLIC_IPS=44.35.1.1,44.35.1.2,44.35.1.3,44.35.1.4
minio server http://rack{5...8}.host{5...8}.domain.com/mnt/export{1...32}

在此配置中，你可以看到 MINIO_ETCD_ENDPOINTS 指向管理MinIO配置的etcd后端。该后端管理MinIO config.json 和 存储桶DNS SRV记录。MINIO_DOMAIN 表示存储桶的域名后缀，用于通过DNS解析存储桶。例如，如果您有一个像mybucket这样的bucket，那么客户机现在可以使用 mybucket.domain.com 直接将其自身解析到正确的集群。MINIO_PUBLIC_IPS 指向可以访问每个集群的公共IP地址，这对于每个集群是唯一的。

注意：mybucket只存在于一个集群cluster1或cluster2中，这是随机的，由domain.com的解析方式决定，如果存在循环DNS，domain.com则将随机选择哪个群集提供存储桶。

注：etcd方式扩展的集群，上传到某个集群池的数据，虽然其它集群池也可访问到，但 bucket 和 数据 只存在于上传到的集群池中。

3. 示例

#!/bin/sh

function start() {
    export MINIO_ETCD_ENDPOINTS="http://192.168.199.140:2379,http://192.168.199.141:2379,http://192.168.199.142:2379"
    export MINIO_DOMAIN=domain.com
    export MINIO_PUBLIC_IPS=192.168.199.140,192.168.199.141

    export MINIO_ACCESS_KEY=minioadmin
    export MINIO_SECRET_KEY=minioadmin

    nohup /opt/minio/minio server http://192.168.199.14{0...1}/data/minio/export{1...4} \
        > /opt/minio/minio.log 2>&1 &
#       > /dev/null 2>&1 &
}
NUM=`ps -C "minio" --no-header | wc -l`
ID=$(ps -ef | grep "minio" | grep -v "grep" | grep -v "sh" | awk '{print $2}')
if [ "start" = $1 ]; then
    if [ 0 -eq $NUM ]; then
        start
    fi
elif [ "restart" = $1 ]; then
    if [ 0 -ne $NUM ]; then
        kill -9 $ID | start
    else
        start
    fi
elif [ "stop" = $1 ]; then
    if [ 0 -ne $NUM ]; then
        kill -9 $ID
    fi
else
    echo "No sush command '$1'"
fi

扩展

#!/bin/sh

function start() {
    export MINIO_ETCD_ENDPOINTS="http://192.168.199.140:2379,http://192.168.199.141:2379,http://192.168.199.142:2379"
    export MINIO_DOMAIN=domain.com
    export MINIO_PUBLIC_IPS=192.168.199.142,192.168.199.143

    export MINIO_ACCESS_KEY=minioadmin
    export MINIO_SECRET_KEY=minioadmin

    nohup /opt/minio/minio server http://192.168.199.14{2...3}/data/minio/export{1...4} \
        > /opt/minio/minio.log 2>&1 &
#       > /dev/null 2>&1 &
}
NUM=`ps -C "minio" --no-header | wc -l`
ID=$(ps -ef | grep "minio" | grep -v "grep" | grep -v "sh" | awk '{print $2}')
if [ "start" = $1 ]; then
    if [ 0 -eq $NUM ]; then
        start
    fi
elif [ "restart" = $1 ]; then
    if [ 0 -ne $NUM ]; then
        kill -9 $ID | start
    else
        start
    fi
elif [ "stop" = $1 ]; then
    if [ 0 -ne $NUM ]; then
        kill -9 $ID
    fi
else
    echo "No sush command '$1'"
fi

相关链接

etcd简介及集群安装部署使用

对象存储服务MinIO安装部署分布式及Spring Boot项目实现文件上传下载