MinIO 搭建
MinIO 搭建
MinIO 是一个基于 Apache License v2.0 开源协议的对象存储服务。它兼容亚马逊 S3 云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几 kb 到最大 5T 不等。
MinIO 是一个非常轻量的服务,可以很简单的和其他应用的结合,类似 NodeJS, Redis 或者 MySQL。
官方对 Minio 的定义是一个高性能的对象存储。
Build high performance data infrastructure
for machine learning, analytics and
application data workloads with MinIO 。
Minio 的官方网站是 https://min.io ,
Minio 的官方文档是 https://docs.min.io/cn/ ,
GitHub 仓库地址是:https://github.com/minio/minio ,目前有 18.8k Stars (2019.11.9)
Minio 的 benchmark 说明:
https://min.io/resources/docs/MinIO-vs-HDFS-MapReduce-performance-comparison.pdf
https://min.io/resources/docs/MinIO-throughput-benchmarks-on-NVMe-SSD.pdf
https://min.io/resources/docs/Performance-comparison-Starburst-Presto-SQL.pdf
https://min.io/resources/docs/MinIO-throughput-benchmarks-on-HDD.pdf
https://min.io/resources/docs/Performance-comparison-Apache-Spark.pdf
快速开始一个单节点的 MinIO
MinIO 分为服务端和客户端,服务端提供一个对象存储,也提供一个 Web 的管理页面。客户端是用来管理、查看服务端的一个工具。服务端的二进制文件是 minio
,客户端的二进制文件是 mc
。
使用二进制文件启动
首先先下载服务端的二进制文件,其次准备一个用来存储的磁盘或者目录,
下载好以后赋予执行权限,可以使用如下命令快速启动。
chmod +x minio
./minio server /erdong/data
启动后可以通过访问 http://localhost:9000 来访问你的对象存储。
使用 Docker 启动
MinIO 需要一个持久卷来存储配置和应用数据。不过, 如果只是为了测试一下, 您可以通过简单地传递一个目录(在下面的示例中为 /erdong/data
)启动 MinIO 。这个目录会在容器启动时在容器的文件系统中创建,不过所有的数据都会在容器退出时丢失。
要创建具有永久存储的 MinIO 容器,您需要将本地持久目录从主机操作系统映射到虚拟配置 ~/.minio 并导出 /data 目录。 为此,请运行以下命令
docker run -p 9000:9000 --name minio \
-e "MINIO_ACCESS_KEY=minioadmin" \
-e "MINIO_SECRET_KEY=minioadminpassword" \
-v /erdong/minio/data:/data \
-v /erdong/minio/config:/root/.minio \
minio/minio server /data
启动后,即可访问 http://localhost:9000 来访问你的对象存储。
上述命令中设置了如下参数:
- MINIO_ACCESS_KEY 管理员的访问秘钥
- MINIO_SECRET_KEY 管理员的秘钥
- /erdong/minio/data:/data 挂载持久化数据目录
- /erdong/minio/config:/root/.minio 挂载配置文件
- server 启动 Server 模式,除了该模式还有一个 Gateway 模式。
- /data 指定数据目录
如果需要指定端口可以使用如下参数
--address ":9000"
使用 TLS 安全访问 MinIO 服务
接下来我们看看如何在 linux 上配置 MinIO 服务使用 TLS 。
使用 TLS 的前提是先下载好 MinIO Server 。
如果你已经有私钥和公钥证书,你需要将他们拷贝到 MinIO 的 $HOME/.minio/certs
文件夹,私钥的名字必须是 private.key
,公钥证书的名字必须是 public.crt
。 MinIO 在 Linux 只支持使用 PEM 格式的秘钥和证书,在 Windows 上只支持 PEM 格式的秘钥和证书,目前不支持 PFX 证书。
如果这个证书是被证书机构签发的,public.crt
应该是服务器的证书。
Linux 可以使用如下工具来生成证书
- Let‘s Encrypt
- generate_cert.go
- OpenSSL
Windows 可以使用如下工具来生成证书
- GnuTLS
Minio 也可以配置成连接其它服务,不管是 Minio 节点还是像 NATs、Redis 这些。如果这些服务用的不是在已知证书机构注册的证书,你可以让 Minio 服务信任这些 CA ,怎么做呢,将这些证书放到Minio配置路径下(~/.minio/certs/CAs/ Linux 或者 C:\Users<Username>.minio\certs\CAs Windows).
如何使用 OpenSSL 来生成自签证书
使用如下命令生成私钥,私钥会生成在执行命令的目录下
openssl genrsa -out private.key 2048
生成自签名的证书,证书会生成在执行命令的目录下
openssl req -new -x509 -days 3650 -key private.key -out public.crt -subj "/C=US/ST=state/L=location/O=organization/CN=domain"
其中相关内容可以按照实际情况修改,比如 /C
是国家,中国是 CN ,/ST
是州或者省, /L
是市或者区, /CN
是域名。
秘钥和证书生成好以后,按照上边的要求放置在对应的目录即可。
Q&A
Thanos 在连接 MinIO 的时候遇到了一些问题,日志里有很多错误提示,列在下边供参考。
1. 提示冒号太多
日志报错如下所示:
level=info ts=2019-11-08T02:43:40.981858805Z caller=main.go:170 msg="Tracing will be disabled"
level=info ts=2019-11-08T02:43:40.982326667Z caller=factory.go:39 msg="loading bucket configuration"
level=error ts=2019-11-08T02:43:40.982682262Z caller=main.go:200 err="store command failed: create bucket client: create S3 client: initialize s3 client: address http://127.0.0.1:9000: too many colons in address"
日志描述直译过来就是冒号太多了,原因是在配置文件中,填写了 MinIO 提供的 S3 协议的 endpoint 的时候,多填写了 http://
,导致提示该错误。本意是在内网使用, HTTP 协议就可以了,不需要要开启 HTTPS ,但是 Thanos 在连接 S3 存储的时候默认是使用 HTTPS 的,不能通过这种方式来使用 HTTP 。
错误的配置如下:
type: S3
config:
bucket: "disk1"
endpoint: "http://127.0.0.1:9000"
正确的配置如下:
type: S3
config:
bucket: "disk1"
endpoint: "127.0.0.1:9000"
2. 提示对方没有使用 HTTPS
日志报错如下
level=info ts=2019-11-08T02:42:04.366000876Z caller=main.go:170 msg="Tracing will be disabled"
level=info ts=2019-11-08T02:42:04.366417674Z caller=factory.go:39 msg="loading bucket configuration"
level=info ts=2019-11-08T02:42:04.384413714Z caller=cache.go:172 msg="created index cache" maxItemSizeBytes=131072000 maxSizeBytes=262144000 maxItems=math.MaxInt64
level=error ts=2019-11-08T02:42:04.385632149Z caller=main.go:200 err="store command failed: bucket store initial sync: sync block: iter: Get https://127.0.0.1:9000/prometheus-store/?delimiter=%2F&max-keys=1000&prefix=: http: server gave HTTP response to HTTPS client"
这是 Thanos 连接的对象存储只提供了 HTTP ,没有提供 HTTPS,这个时候需要让对象存储添加证书,启用 HTTPS 。
3. 不能够认证某个域名
日志报错如下:
level=info ts=2019-11-08T03:06:57.90508837Z caller=main.go:170 msg="Tracing will be disabled"
level=info ts=2019-11-08T03:06:57.905445182Z caller=factory.go:39 msg="loading bucket configuration"
level=info ts=2019-11-08T03:06:57.923283984Z caller=cache.go:172 msg="created index cache" maxItemSizeBytes=131072000 maxSizeBytes=262144000 maxItems=math.MaxInt64
level=error ts=2019-11-08T03:06:57.927125234Z caller=main.go:200 err="store command failed: bucket store initial sync: sync block: iter: Get https://10.23.80.18:9000/prometheus-store/?delimiter=%2F&max-keys=1000&prefix=: x509: cannot validate certificate for minio-erdong.site because it doesn't contain any IP SANs"
因为 Thanos 连接 Minio 的 HTTP 配置里,有一个 insecure_skip_verify
选项,该选项默认为 false ,需要对域名的证书进行验证,由于使用了自签证书,没有在权威的 CA 机构做认证,所以在连接过程中会提示不安全,将值改为 true,跳过这个验证就可以了。
http_config:
idle_conn_timeout: 90s
response_header_timeout: 2m
insecure_skip_verify: true
end
MinIO 搭建的更多相关文章
- SpringBoot+Minio搭建不再爆肝秃头的分布式文件服务器
前言 1).有人一定会问,为什么不用FastDFS?众所周知,FastDFS的原生安装非常复杂,有过安装经验的人大体都明白,虽然可以利用别人做好的docker直接安装,但真正使用过程中也可能出现许多莫 ...
- VMware harbor && minio 搭建企业docker私有镜像以及需要注意的问题
1. docker harbor 配置 建议使用在线安装的模式(离线包太大了) 首先需要安装docker-compose .docker .mino (具体安装可以参考官网后者我的博 ...
- 使用 minio 搭建私有对象存储云。aws-php-sdk 操作object
How to use AWS SDK for PHP with Minio Server aws-sdk-php is the official AWS SDK for the PHP program ...
- MinIO 搭建使用
MinIO简介¶ MinIO 是一款基于Go语言的高性能对象存储服务,在Github上已有19K+Star.它采用了Apache License v2.0开源协议,非常适合于存储大容量非结构化的数据, ...
- 使用MinIO搭建对象存储服务
1.MinIO是什么? MinIO 是一款高性能.分布式的对象存储系统. 它是一款软件产品, 可以100%的运行在标准硬件.即X86等低成本机器也能够很好的运行MinIO. MinIO与传统的存储和其 ...
- 利用 MinIO 轻松搭建静态资源服务
目录 1 引言 2 MinIO 简介 3 MinIO 运行与静态资源使用 3.1 MinIO 获取 3.2 MinIO 启动与运行 3.2.1 前台简单启动 3.2.2 后台指定参数运行 3.2.3 ...
- MinIO 的分布式部署
目录 1 前言 2 分布式存储可靠性常用方法 2.1 冗余 2.2 校验 3 MinIO存储机制 3.1 概念理解 3.2 纠删码EC(Erasure Code) 3.3 存储形式 4 部署实践 4. ...
- MinIO 分布式集群搭建
MinIO 分布式集群搭建 分布式 Minio 可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务.由于硬盘分布在不同的节点上,分布式 Minio 避免了单点故障. Minio 分布式模式可 ...
- 分布式存储Minio集群环境搭建
MinIO 分布式集群搭建 分布式 Minio 可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务.由于硬盘分布在不同的节点上,分布式 Minio 避免了单点故障. Minio 分布式模式可 ...
随机推荐
- 地图的标注Marker
(1)在point处添加标注:var marker = new BMap.Marker(point); (2)添加覆盖物:map.addOverlay(marker); (3)激活标注的拖拽功能:ma ...
- SpringBoot注入Mapper失败
SpringBoot注入Mapper失败,可能是因为没有加扫描Mapper层的注解 方式一:在所有mapper接口使用@Mapper注解 @Mapper public interface UserMa ...
- SoapUI 的几种常用参数化方式
今天给大家来梳理下soapui这款工具关于参数化的几种方式以及具体的应用场景 1.properties 官方文档:https://www.soapui.org/docs/functional-test ...
- Solidity 编程实例--简单的公开拍卖
通常简单的公开拍卖合约,是每个人可以在拍卖期间发送他们的竞拍出价.为了实现绑定竞拍人的到他们的拍卖,竞拍包括发送金额/ether.如果产生了新的最高竞拍价,前一个最高价竞拍人将会拿回他的钱.在竞拍阶段 ...
- Android Studio 优秀插件: Parcelable Code Generator
这里假设我们已经会使用 Parcelable 序列化一个对象了~~ 那么大家会发现 Parcelable 使用起来有些复杂,因为我们要自己复写 几个方法,而且当类的属性比较多的时候,我们就会难受了,又 ...
- Activity的四种加载模式详解:
先来看看总结图: 模式详解: standard模式: 标准启动模式,也是activity的默认启动模式.在这种模式下启动的activity可以被多次实例化,即在同一个任务中可以存在多个activity ...
- SparkStreaming整合Flume的pull报错解决方案
先说下版本情况: Spark 2.4.3 Scala 2.11.12 Flume-1.6.0 Flume配置文件: simple-agent.sources = netcat-source simpl ...
- B-线性代数-距离公式汇总
目录 距离公式汇总 一.欧式距离 二.曼哈顿距离 三.闵可夫斯基距离(Minkowski distance) 更新.更全的<机器学习>的更新网站,更有python.go.数据结构与算法.爬 ...
- nginx的负载均衡实战
前言 nginx是一个高性能的HTTP和反向代理的服务器.它有三个最基本的功能,一是当做web服务器.二是作为反向代理服务器.三是提供负载均衡(在反向代理基础上),由于它占有内存小,并发能力强,所以在 ...
- Hive 官方手册翻译 -- Hive DML(数据操纵语言)
由 Confluence Administrator创建, 最终由 Lars Francke修改于 八月 15, 2018 原文链接 https://cwiki.apache.org/confluen ...