好久没写,记录一下 1.背景 之前一直用的七牛,不过是收费的,然后有些定制化需求,可能比较看重预算,然后就有了这篇开源方式:minio 2.简介 官方文档:http://docs.minio.org.cn/docs/ MinIO 是一个基于Apache License v2.0开源协议的对象存储服务.它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片.视频.日志文件.备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等. MinIO是一个非…

缘起 今年(2023年) 2月的时候做了个适配Amazon S3对象存储接口的需求,由于4月份自学考试临近,一直在备考就拖着没总结记录下,开发联调过程中也出现过一些奇葩的问题,最近人刚从考试缓过来顺手记录一下. S3对象存储的基本概念 S3是什么? Amazon S3(Simple Storage Service)对象存储出现得比较早且使用简单的RESTful API,于是成为了对象存储服务(Object Storage Service,OSS)业内的标准接口规范. S3的逻辑模型 如下图,我们…

salt-master建立分组 如dn: 'L@dnxxx,dyyy' salt -N dn  state.apply  hadoop test=true salt -N dn  cmd.run  'ls -ll /' salt -N dn  test.ping salt 'dnxxx'  test.ping salt-minion修改minion配置:master   id salt-key   -L salt-key   -A systemctl start salt-minion.serv…

目录 1 引言 2 MinIO 简介 3 MinIO 运行与静态资源使用 3.1 MinIO 获取 3.2 MinIO 启动与运行 3.2.1 前台简单启动 3.2.2 后台指定参数运行 3.2.3 创建 bucket 并指定访问策略 3.3 在 html 文件中引用静态资源 4 Java 客户端 API 操作 4.1 添加依赖 4.2 使用 Java API 进行文件操作 4.2.1 上传文件 4.2.2 下载文件 4.2.3 删除文件 4.2.4 列出文件 5 总结 资源下载 参考资料 往期…

目录 1 前言 2 分布式存储可靠性常用方法 2.1 冗余 2.2 校验 3 MinIO存储机制 3.1 概念理解 3.2 纠删码EC(Erasure Code) 3.3 存储形式 4 部署实践 4.1 单节点部署多磁盘 4.2 多节点部署 4.2.1 部署脚本 4.2.2 部署注意点 4.2.3 使用 nginx 负载均衡 5 总结 参考资料 往期文章 高可用分布式对象存储,MinIO 轻松实现. 1 前言 上一篇文章介绍了使用对象存储工具 MinIO 搭建一个优雅.简单.功能完备的静态资源服…

MinIO的详细介绍可以参考官网(https://min.io/product/overview). 简单来说它是一个实现了AWS S3标准的100%开源的,可商用的( Apache V2 license),高性能的分布式对象存储管理系统. AWS S3是什么(https://zhuanlan.zhihu.com/p/112057573): 提供了统一的接口 REST/SOAP 来统一访问任何数据 对 S3 来说,存在里面的数据就是对象名(键),和数据(值) 不限量,单个文件最高可达 5TB 高…

目录 一.命令行方式扩展 1. MinIO扩展集群支持的命令语法 2. 扩容示例 二.etcd扩展方案 1. 环境变量 2. 运行多个集群 3. 示例 相关链接 MinIO 支持两种扩展方式: 通过修改命令行,在命令行上指定新的集群集来扩展 通过引入第三方组件etcd,在不动原有集群的基础上实现动态扩展方案 一.命令行方式扩展 MinIO 支持通过在命令行上指定新的集群集来扩展分布式集群,多个节点的存储容量和就是分布式MinIO的存储容量. 1. MinIO扩展集群支持的命令语法 支持扩容的命令…

Minio的元数据 数据存储 MinIO对象存储系统没有元数据数据库,所有的操作都是对象级别的粒度的,这种做法的优势是: 个别对象的失效,不会溢出为更大级别的系统失效. 便于实现"强一致性"这个特性.此特性对于机器学习与大数据处理非常重要. 数据管理 元数据与数据一起存放在磁盘上:数据部分纠删分片以后存储在磁盘上,元数据以明文形式存放在元数据文件里(xl.json).假定对象名字为obj-with-metadata, 它所在的桶的名字是bucket_name, disk是该对象所在纠删…

文档地址:https://github.com/minio/operator/blob/master/README.md https://docs.min.io/minio/k8s/deployment/deploy-minio-operator.html MinIO是Kubernetes原生的高性能对象存储,具有S3兼容的API.MinIO Kubernetes运营商支持将MinIO租户部署到私有和公共云基础设施("混合"云). 结构 每个MinIO租户代表Kubernetes集群中…

官方文档地址:http://docs.minio.org.cn/docs/master/minio-client-complete-guide 下载,添加云存储服务参考这篇文章:https://www.cnblogs.com/sanduzxcvbnm/p/15988907.html 6. 全局参数 参数 [--debug] Debug参数开启控制台输出debug信息. 示例:输出ls命令的详细debug信息. mc --debug ls play mc: <DEBUG> GET / HTTP/…