MinIO 搭建

MinIO 是一个基于 Apache License v2.0 开源协议的对象存储服务。它兼容亚马逊 S3 云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几 kb 到最大 5T 不等。

MinIO 是一个非常轻量的服务,可以很简单的和其他应用的结合,类似 NodeJS, Redis 或者 MySQL。

官方对 Minio 的定义是一个高性能的对象存储。

Build high performance data infrastructure

for machine learning, analytics and

application data workloads with MinIO 。

Minio 的官方网站是 https://min.io

Minio 的官方文档是 https://docs.min.io/cn/

GitHub 仓库地址是:https://github.com/minio/minio ,目前有 18.8k Stars (2019.11.9)

Minio 的 benchmark 说明:

https://min.io/resources/docs/MinIO-vs-HDFS-MapReduce-performance-comparison.pdf

https://min.io/resources/docs/MinIO-throughput-benchmarks-on-NVMe-SSD.pdf

https://min.io/resources/docs/Performance-comparison-Starburst-Presto-SQL.pdf

https://min.io/resources/docs/MinIO-throughput-benchmarks-on-HDD.pdf

https://min.io/resources/docs/Performance-comparison-Apache-Spark.pdf

快速开始一个单节点的 MinIO

MinIO 分为服务端和客户端,服务端提供一个对象存储,也提供一个 Web 的管理页面。客户端是用来管理、查看服务端的一个工具。服务端的二进制文件是 minio ,客户端的二进制文件是 mc

使用二进制文件启动

首先先下载服务端的二进制文件,其次准备一个用来存储的磁盘或者目录,

下载好以后赋予执行权限,可以使用如下命令快速启动。

chmod +x minio
./minio server /erdong/data

启动后可以通过访问 http://localhost:9000 来访问你的对象存储。

使用 Docker 启动

MinIO 需要一个持久卷来存储配置和应用数据。不过, 如果只是为了测试一下, 您可以通过简单地传递一个目录(在下面的示例中为 /erdong/data)启动 MinIO 。这个目录会在容器启动时在容器的文件系统中创建,不过所有的数据都会在容器退出时丢失。

要创建具有永久存储的 MinIO 容器,您需要将本地持久目录从主机操作系统映射到虚拟配置 ~/.minio 并导出 /data 目录。 为此,请运行以下命令

docker run -p 9000:9000 --name minio \
-e "MINIO_ACCESS_KEY=minioadmin" \
-e "MINIO_SECRET_KEY=minioadminpassword" \
-v /erdong/minio/data:/data \
-v /erdong/minio/config:/root/.minio \
minio/minio server /data

启动后,即可访问 http://localhost:9000 来访问你的对象存储。

上述命令中设置了如下参数:

  • MINIO_ACCESS_KEY 管理员的访问秘钥
  • MINIO_SECRET_KEY 管理员的秘钥
  • /erdong/minio/data:/data 挂载持久化数据目录
  • /erdong/minio/config:/root/.minio 挂载配置文件
  • server 启动 Server 模式,除了该模式还有一个 Gateway 模式。
  • /data 指定数据目录

如果需要指定端口可以使用如下参数

--address ":9000"

使用 TLS 安全访问 MinIO 服务

接下来我们看看如何在 linux 上配置 MinIO 服务使用 TLS 。

使用 TLS 的前提是先下载好 MinIO Server 。

如果你已经有私钥和公钥证书,你需要将他们拷贝到 MinIO 的 $HOME/.minio/certs 文件夹,私钥的名字必须是 private.key ,公钥证书的名字必须是 public.crt 。 MinIO 在 Linux 只支持使用 PEM 格式的秘钥和证书,在 Windows 上只支持 PEM 格式的秘钥和证书,目前不支持 PFX 证书。

如果这个证书是被证书机构签发的,public.crt 应该是服务器的证书。

Linux 可以使用如下工具来生成证书

  • Let‘s Encrypt
  • generate_cert.go
  • OpenSSL

Windows 可以使用如下工具来生成证书

  • GnuTLS

Minio 也可以配置成连接其它服务,不管是 Minio 节点还是像 NATs、Redis 这些。如果这些服务用的不是在已知证书机构注册的证书,你可以让 Minio 服务信任这些 CA ,怎么做呢,将这些证书放到Minio配置路径下(~/.minio/certs/CAs/ Linux 或者 C:\Users<Username>.minio\certs\CAs Windows).

如何使用 OpenSSL 来生成自签证书

使用如下命令生成私钥,私钥会生成在执行命令的目录下

openssl genrsa -out private.key 2048

生成自签名的证书,证书会生成在执行命令的目录下

openssl req -new -x509 -days 3650 -key private.key -out public.crt -subj "/C=US/ST=state/L=location/O=organization/CN=domain"

其中相关内容可以按照实际情况修改,比如 /C 是国家,中国是 CN ,/ST 是州或者省, /L 是市或者区, /CN 是域名。

秘钥和证书生成好以后,按照上边的要求放置在对应的目录即可。

Q&A

Thanos 在连接 MinIO 的时候遇到了一些问题,日志里有很多错误提示,列在下边供参考。

1. 提示冒号太多

日志报错如下所示:

level=info ts=2019-11-08T02:43:40.981858805Z caller=main.go:170 msg="Tracing will be disabled"
level=info ts=2019-11-08T02:43:40.982326667Z caller=factory.go:39 msg="loading bucket configuration"
level=error ts=2019-11-08T02:43:40.982682262Z caller=main.go:200 err="store command failed: create bucket client: create S3 client: initialize s3 client: address http://127.0.0.1:9000: too many colons in address"

日志描述直译过来就是冒号太多了,原因是在配置文件中,填写了 MinIO 提供的 S3 协议的 endpoint 的时候,多填写了 http:// ,导致提示该错误。本意是在内网使用, HTTP 协议就可以了,不需要要开启 HTTPS ,但是 Thanos 在连接 S3 存储的时候默认是使用 HTTPS 的,不能通过这种方式来使用 HTTP 。

错误的配置如下:

type: S3
config:
bucket: "disk1"
endpoint: "http://127.0.0.1:9000"

正确的配置如下:

type: S3
config:
bucket: "disk1"
endpoint: "127.0.0.1:9000"

2. 提示对方没有使用 HTTPS

日志报错如下

level=info ts=2019-11-08T02:42:04.366000876Z caller=main.go:170 msg="Tracing will be disabled"
level=info ts=2019-11-08T02:42:04.366417674Z caller=factory.go:39 msg="loading bucket configuration"
level=info ts=2019-11-08T02:42:04.384413714Z caller=cache.go:172 msg="created index cache" maxItemSizeBytes=131072000 maxSizeBytes=262144000 maxItems=math.MaxInt64
level=error ts=2019-11-08T02:42:04.385632149Z caller=main.go:200 err="store command failed: bucket store initial sync: sync block: iter: Get https://127.0.0.1:9000/prometheus-store/?delimiter=%2F&max-keys=1000&prefix=: http: server gave HTTP response to HTTPS client"

这是 Thanos 连接的对象存储只提供了 HTTP ,没有提供 HTTPS,这个时候需要让对象存储添加证书,启用 HTTPS 。

3. 不能够认证某个域名

日志报错如下:

level=info ts=2019-11-08T03:06:57.90508837Z caller=main.go:170 msg="Tracing will be disabled"
level=info ts=2019-11-08T03:06:57.905445182Z caller=factory.go:39 msg="loading bucket configuration"
level=info ts=2019-11-08T03:06:57.923283984Z caller=cache.go:172 msg="created index cache" maxItemSizeBytes=131072000 maxSizeBytes=262144000 maxItems=math.MaxInt64
level=error ts=2019-11-08T03:06:57.927125234Z caller=main.go:200 err="store command failed: bucket store initial sync: sync block: iter: Get https://10.23.80.18:9000/prometheus-store/?delimiter=%2F&max-keys=1000&prefix=: x509: cannot validate certificate for minio-erdong.site because it doesn't contain any IP SANs"

因为 Thanos 连接 Minio 的 HTTP 配置里,有一个 insecure_skip_verify 选项,该选项默认为 false ,需要对域名的证书进行验证,由于使用了自签证书,没有在权威的 CA 机构做认证,所以在连接过程中会提示不安全,将值改为 true,跳过这个验证就可以了。

  http_config:
idle_conn_timeout: 90s
response_header_timeout: 2m
insecure_skip_verify: true

end

MinIO 搭建的更多相关文章

  1. SpringBoot+Minio搭建不再爆肝秃头的分布式文件服务器

    前言 1).有人一定会问,为什么不用FastDFS?众所周知,FastDFS的原生安装非常复杂,有过安装经验的人大体都明白,虽然可以利用别人做好的docker直接安装,但真正使用过程中也可能出现许多莫 ...

  2. VMware harbor && minio 搭建企业docker私有镜像以及需要注意的问题

    1. docker harbor  配置      建议使用在线安装的模式(离线包太大了)    首先需要安装docker-compose .docker .mino (具体安装可以参考官网后者我的博 ...

  3. 使用 minio 搭建私有对象存储云。aws-php-sdk 操作object

    How to use AWS SDK for PHP with Minio Server aws-sdk-php is the official AWS SDK for the PHP program ...

  4. MinIO 搭建使用

    MinIO简介¶ MinIO 是一款基于Go语言的高性能对象存储服务,在Github上已有19K+Star.它采用了Apache License v2.0开源协议,非常适合于存储大容量非结构化的数据, ...

  5. 使用MinIO搭建对象存储服务

    1.MinIO是什么? MinIO 是一款高性能.分布式的对象存储系统. 它是一款软件产品, 可以100%的运行在标准硬件.即X86等低成本机器也能够很好的运行MinIO. MinIO与传统的存储和其 ...

  6. 利用 MinIO 轻松搭建静态资源服务

    目录 1 引言 2 MinIO 简介 3 MinIO 运行与静态资源使用 3.1 MinIO 获取 3.2 MinIO 启动与运行 3.2.1 前台简单启动 3.2.2 后台指定参数运行 3.2.3 ...

  7. MinIO 的分布式部署

    目录 1 前言 2 分布式存储可靠性常用方法 2.1 冗余 2.2 校验 3 MinIO存储机制 3.1 概念理解 3.2 纠删码EC(Erasure Code) 3.3 存储形式 4 部署实践 4. ...

  8. MinIO 分布式集群搭建

    MinIO 分布式集群搭建 分布式 Minio 可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务.由于硬盘分布在不同的节点上,分布式 Minio 避免了单点故障. Minio 分布式模式可 ...

  9. 分布式存储Minio集群环境搭建

    MinIO 分布式集群搭建 分布式 Minio 可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务.由于硬盘分布在不同的节点上,分布式 Minio 避免了单点故障. Minio 分布式模式可 ...

随机推荐

  1. pywintypes.com_error: (-2147352567, '发生意外 解决方案

    在使用win32com处理Excel的时候,遇到pywintypes.com_error: (-2147352567 错误. 百度.Google各种方法不得其解,和以下网页类似——http://blo ...

  2. Ng的数组绑定

    tip:数据的定义需要在对应ts中进行,调用在html中 定义数组: ts中 public arr =["111","222","333"] ...

  3. MongoDB 学习笔记之 replica set搭建

    Replica set搭建: 修改mongodb.conf文件,指明replSet 登入客户端,指定副本集成员,进行初始化, 如果priority需要调整,使用reconfig()方法.Seconda ...

  4. Flask上下文管理机制流程(源码剖析)

    Flask请求上下文管理 1 偏函数 partial 使用该方式可以生成一个新函数 from functools import partial def mod( n, m ): return n % ...

  5. Android_基于监听的事件处理机制

    一.引言 在经过几天的学习之后, 首先熟悉了几大基本布局以及一些常用控件的使用方法,目前正在学习如何实现一个基本的登录注册界面及其功能,而实现功能就需要我们采用事件处理机制来进行调用事件处理方法.以下 ...

  6. java第2天:类,对象,封装和构造方法

    1 面向对象简述 将 {1,3,45,56,78,90}转化为[1,3,45,56,78,90] 1-2 方法1:面向过程 代码块 public class test { public static ...

  7. 富文编辑器和bs4简单实用

    目录 使用方法 官方网址 图片上传下载实例 菜单栏功能筛选 bs4 导入 提取标签内的文本内容 目录 使用方法 直接给输入框绑定事件即可,注意引入js方式有点不一样,多加编码方式 <script ...

  8. 一个纯CSS实现的卡片翻转效果

    先上代码 <div id="box"> <div class="front">正面</div> <div class= ...

  9. 点云之OpenMesh:error C1083:无法打开包括文件:“OpenMesh/Core/IO/MeshIO.hh”:No such file or directory

    1.这是一个错误引发的惨案:错误提示如下: 在进行点云程序调试时,出现错误:[error C1083:无法打开包括文件:“OpenMesh/Core/IO/MeshIO.hh”:No such fil ...

  10. 解决vue组件内前置路由守卫beforeRouteEnter无法获取上下文this

    问题描述 vue框架,只有在报名页面报名成功,然后自动跳转到订单详情,才弹出一个引流弹窗,其他情况均不弹出,我就想到使用vue 的组件内前置守卫beforeRouteEnter来实现.beforeRo ...