好久没写,记录一下 1.背景 之前一直用的七牛,不过是收费的,然后有些定制化需求,可能比较看重预算,然后就有了这篇开源方式:minio 2.简介 官方文档:http://docs.minio.org.cn/docs/ MinIO 是一个基于Apache License v2.0开源协议的对象存储服务.它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片.视频.日志文件.备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等. MinIO是一个非…

京东云对象存储是在 2016 年作为公有云对外公开的,主要特点是可靠.安全.海量.低成本,应用于包括一些常用的业务场景,比如京东内部的京东商城视频/图片云存储,面向京东云公有云外部的开发者的服务,和面向政府.企业的私有云服务,甚至混合云服务. 本文将介绍京东云对象存储服务的架构演进,以及迁移到 TiKV 的经验. 一.对象存储简介 首先举例说明一下这里的"对象 (Object)"概念.比如我们把一张照片当作一个"对象",除了照片本身的二进制数据,它还应该包含一些元信…

使用 腾讯云COS对象存储做第三方存储云服务,把一些文件都放在上面,这里主要有三中实现方式:第一种就是在控制台去设置好,直接上传文件.第二种就是走服务端,上传文件,就是说,上传文件是从服务端去上传上去的,这样子对于服务端的压力是非常大的,特别是IM系统,用户发送的图片,文件如果都走服务端然后在上传文件到COS的话,用户访问量一旦多,会非常难控制第三种就是web 直传,在客户端上传文件到 COS,服务端只是生成一个token,然后验证之后就上次到 COS上面,这样子上传文件就不需要在服务端处理,那…

本文记录了一次搭建spark-standalone模式集群的过程,我准备了3个虚拟机服务器,三个centos系统的虚拟机. 环境准备: -每台上安装java1.8 -以及scala2.11.x (x代表后面的版本随意) -以及spark2.2.0 注意:scala和spark的版本要匹配,可以查看spark安装目录下的scala包的版本号来找相应的scala包.java要安装1.8的不然会报错.任务提交时driver会和集群节点传输文件所以集群中各个节点要保存driver的ssh公钥. 以上软件…

对象存储概念及特性 在介绍 QingStor️对象存储内部的的架构和设计原理之前,我们首先来了解一下对象存储的概念,也就是从外部视角看,对象存储有什么特性,我们应该如何使用. 对象存储本质上是一款存储产品,与其他的存储,如文件存储.块存储,功能是类似的,主要的功能都是数据的读和写.最大的不同在于对象存储是把数据作为对象进行管理,这是它最主要的特征,所有的数据在这里面都当做一个对象处理. 对象存储有一些非常鲜明的特点: 它的结构是扁平的,不像文件存储那样有目录层级,在读写数据时不需要对目录进行层层…

对象存储不是什么新技术了,但是从来都没有被替代掉.为什么?在这个大数据发展迅速地时代,数据已经不单单是简单的文本数据了,每天有大量的图片,视频数据产生,在短视频火爆的今天,这个数量还在增加.有数据表明,当今世界产生的数据,有80%是非关系型的.那么,对于图片,视频等数据的分析可以说是大数据与人工智能的未来发展方向之一. ​ ​ 但是如何存储这些数据呢?商用云方案往往价格昂贵,而传统的大数据解决方案并不能充分支撑图片,视频数据的存储与分析.本文将详细的介绍开源的对象存储解决方案Minio的部署与实…

近年来,中国互联网行业迅猛发展,国内庞大的市场孕育出了许多现象级的产品,也锤炼出了非常成熟的产业链.与此同时,很多海外市场还处于萌芽期,存在着巨大的流量红利,越来越多的互联网企业开始加速"出海"布局,以谋求更大的发展前景,也有很多初创企业,面对国内日益激烈的竞争,选择从海外起步,避开锋芒.对于出海企业,如何在一些基础建设并不完善的地区,保障业务的稳定可用,一直都是业务部署最关心的问题. 相信很多人在地铁上体验过信号时有时无的感觉,微信总是在连接中和收取中来回横跳,至于发送的消息,能否发…

目录 一.MinIO快速入门 1. MinIO简介 2. CentOS7更换成阿里云镜像 3. 安装 3.1 下载 3.2 运行测试 4. 配置脚本执行文件 4.1 创建配置执行文件 4.2 执行 二.分布式MinIO快速入门 1. 分布式MinIO快速入门 1.1 分布式Minio有什么好处? 1.2 数据保护 1.3 高可用 1.4 一致性 2. 配置运行分布式Minio 2.1 将access秘钥和secret秘钥export成环境变量 2.2 启动分布式Minio实例 2.3 配置成启动…

目录 Minio对象存储 1.概述 2.功能特性 3.2.多节点 3.3.分布式 4.分布式minio集群搭建 4.1.集群规划 4.3.编写集群启动脚本(所有节点) 4.4.编写服务脚本(所有节点) 4.5.服务启动 5.配置域名及https 5.1.配置域名 5.2.配置https 5.3.访问认证 6.控制台界面操作及客户端sdk 6.1.控制台界面 6.2.控制台界面操作 7.多租户部署 Minio对象存储 1.概述 ​ Minio是一个基于Apache License v2.0开源和谈…

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 演讲者:刘金明 腾讯云存储业务中心副总监 背景:5月23-24日,以"焕启"为主题的腾讯"云+未来"峰会在广州召开,广东省各级政府机构领导.海内外业内学术专家.行业大咖及技术大牛等在现场共议云计算与数字化产业创新发展. 腾讯云存储业务中心副总监-刘金明,在云+未来峰会上做了主题为<腾讯云 EB 级对象存储架构深度剖析及实践>的分享,以下内容整理自演讲. 刘金明:大家好.我是来自腾讯云存储业务中心…