目录 1 前言 2 分布式存储可靠性常用方法 2.1 冗余 2.2 校验 3 MinIO存储机制 3.1 概念理解 3.2 纠删码EC(Erasure Code) 3.3 存储形式 4 部署实践 4.1 单节点部署多磁盘 4.2 多节点部署 4.2.1 部署脚本 4.2.2 部署注意点 4.2.3 使用 nginx 负载均衡 5 总结 参考资料 往期文章 高可用分布式对象存储,MinIO 轻松实现. 1 前言 上一篇文章介绍了使用对象存储工具 MinIO 搭建一个优雅.简单.功能完备的静态资源服

MinIO的官方网站非常详细,以下只是本人学习过程的整理 一.MinIO的基本概念 二.Windows安装与简单使用MinIO 三.Linux部署MinIO分布式集群 四.C#简单操作MinIO 一.Linux部署MinIO分布式集群 1.准备工作 准备4台或4台以上的服务器(或虚拟机)搭建minio集群 注:(官方推荐集群最小4台服务器),每个服务器上挂载两个磁盘目录,最小数据挂载点为4个. 192.168.199.134/data134 192.168.199.135/data135 192

文章转载自:https://blog.51cto.com/u_10950710/4843738 关于分布式集群MinIo 单机Minio服务存在单点故障,如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线,数据就是安全的.可读的.不过需要至少有N/2+1个硬盘在线,才能创建新的对象. 例如,一个16节点的Minio集群,每个节点16块硬盘,就算8台服务器器宕机,这个集群仍然是可读的,不过你需要9台服务器才能写数据. 注意:只要遵守分布式Minio的限制,你可以组合不同的节点和每个节点几

目录 一.MinIO快速入门 1. MinIO简介 2. CentOS7更换成阿里云镜像 3. 安装 3.1 下载 3.2 运行测试 4. 配置脚本执行文件 4.1 创建配置执行文件 4.2 执行 二.分布式MinIO快速入门 1. 分布式MinIO快速入门 1.1 分布式Minio有什么好处? 1.2 数据保护 1.3 高可用 1.4 一致性 2. 配置运行分布式Minio 2.1 将access秘钥和secret秘钥export成环境变量 2.2 启动分布式Minio实例 2.3 配置成启动

最近研究minio分布式集群部署,发现网上大部分都是单服务器部署,而minio官方在github上现在也只提供了k8s和docker-compose的方式,网上有关与swarm启动minio集群的文章都不完整,这里我研究了近一周时间,终于是成功使用swarm部署minio集群,并用nginx统一入口 环境准备 四台虚拟机 192.168.2.38(管理节点) 192.168.2.81(工作节点) 192.168.2.100(工作节点) 192.168.2.102(工作节点) 时间同步 yum i

jmeter进行接口性能测试,占用内存较大,在模拟千万计并发用户时,使用分布式部署进行分压测试. 操作步骤:选择一台机器作为调度机,其他机器作为执行机 一.jmeter分布式部署 前提条件:A.执行机和调度机之间可以互相ping通:B.执行机上要有jmeter且运行jmeter-server(Windows电脑是 jmeter-server.bat,linux/mac是  jmeter-server) C.如果有参数化文件,其他的电脑上放一份,参数化文件放在jmeter的bin目录下就可以不用写

最近在研究Zabbix监控,由于机房分布在多个城市,因此采用zabbix proxy做为监控方案,在每 个节点部署zabbix proxy,由zabbix proxy收集agentd数据,然后将采集到的数据主动推送给zabbix server,zabbix server将数据存入数据库,并在WEB前端显示. 1.Zabbix主要功能和优劣势说明 1.1 Zabbix主要功能: 1)Application monitoring 应用监控 数据库/SSH/Apache/Nginx等应用程序的监控.

Apache Hadoop 2.9.2 完全分布式部署(HDFS) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.环境准备 1>.操作平台 [root@node101.yinzhengjie.org.cn ~]# cat /etc/redhat-release CentOS Linux release (Core) [root@node101.yinzhengjie.org.cn ~]# [root@node101.yinzhengjie.org.cn ~]# uname

Hadoop生态圈-zookeeper完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客部署是建立在Hadoop高可用基础之上的,关于Hadoop高可用部署请参考:https://www.cnblogs.com/yinzhengjie/p/9070017.html.本篇博客是将Hadoop的高可用配置和zookeeper完全分布式结合使用! 一.分布式协调框架 1>.分布式框架的好处 a>.可靠性: 一个或几个节点的崩溃不会导致整个集群的崩溃. b>

参考文章:https://blog.csdn.net/weixin_35852328/article/details/79327996 官网:https://azkaban.readthedocs.io/en/latest/ Azkaban是由Linkedin开源的一个批量工作流任务调度器.用于在一个工作流内以一个特定的顺序运行一组工作和流程.Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流.它有如下功能特点:Web用户界面,方

Hadoop生态圈-Kafka的完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要内容就是搭建Kafka完全分布式,它是在kafka本地模式(https://www.cnblogs.com/yinzhengjie/p/9209058.html)的基础之上进一步实现完全分布式搭建过程. 一.试验环境 试验环境共计4台服务器 1>.管理服务器(s101) 2>.Kafka节点二(s102,已经部署好了zookeeper服务) 3>.Kafka节点三

fabric 使用 fabric-ca 服务 准备部分 首先需要用户从github上download fabric-ca 的工程代码 cd $GOPATH/src/github.com/hyperledger git clone https://github.com/hyperledger/fabric-ca.git 然后对它进行编译,在编译时,会需要安装 goimports 命令,貌似目前关于golang的相关内容都被“东方神秘力量”所限制,请读者们自行***. cd fabric-ca ma

如何在相同的peer 节点上创建多个 channel 作者在hyperledger fabric 1.0.5 分布式部署 (五)已经向读者们介绍了一个简单的fabric 的部署流程,那么根据上一篇博客的内容,大家实际上可以推断出,创建channel ,实际上需要涉及到 generateArtifacts.sh 脚本和 scritp.sh 脚本 在一个启动了order 节点.peer 节点和cli 节点的fabric 环境里,实际创建一个channel 的操作步骤应该是怎样的呢? 首先应该利用 g

环境:2台 ubuntu 16.04 角色列表 角色 IP地址 宿主端口 docker端口  peer0.org1.example.com  47.93.249.250  7051  7051  peer1.org1.example.com  47.93.249.250  7051  8051  peer0.org2.example.com  47.93.249.250  7051  9051  peer1.org2.example.com  47.93.249.250  7051  10051

大数据技术之Hadoop3.1.2版本完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.主机环境准备 1>.操作系统环境 [root@node101.yinzhengjie.org.cn ~]# cat /etc/redhat-release CentOS Linux release (Core) [root@node101.yinzhengjie.org.cn ~]# [root@node101.yinzhengjie.org.cn ~]# uname -r

预计阅读时间: 30分钟 本期解决痛点如下:1. 代码版本的多样性,编译环境的多样性如何解决?答案是使用docker,将不同的编译环境images统统打包到私有仓库上,根据需求进行下载,从宿主机上挂载volume到docker container上进行编译等操作2. 打包编译好的各个模块组件如何部署到不同的服务器上?答案是使用ansible-playbook,根据yml脚本进行分布式部署,其各个服务器的部署ip由统一的inventory配置文件控制(默认路径在 /etc/ansible/host

完全分布式部署 Hadoop 分析: 1)准备 3 台客户机(关闭防火墙.静态 ip.主机名称) 2)安装 jdk 3)配置环境变量 4)安装 hadoop 5)配置环境变量 6)安装 ssh 7)配置集群 8)启动测试集群 scp 1)scp 可以实现服务器与服务器之间的数据拷贝. 2)案例实操 (1)将 hadoop101 中/opt/module 和/opt/software 文件拷贝到 hadoop102.hadoop103 和hadoop104 上. [root@hadoop101 /

目录 一.命令行方式扩展 1. MinIO扩展集群支持的命令语法 2. 扩容示例 二.etcd扩展方案 1. 环境变量 2. 运行多个集群 3. 示例 相关链接 MinIO 支持两种扩展方式: 通过修改命令行,在命令行上指定新的集群集来扩展 通过引入第三方组件etcd,在不动原有集群的基础上实现动态扩展方案 一.命令行方式扩展 MinIO 支持通过在命令行上指定新的集群集来扩展分布式集群,多个节点的存储容量和就是分布式MinIO的存储容量. 1. MinIO扩展集群支持的命令语法 支持扩容的命令

GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源. 1. 需求背景与万里安全数据库软件GreatDB分布式部署模式介绍 1.1 需求背景 混沌测试是检测分布式系统不确定性.建立系统弹性信心的一种非常好的方式,因此我们采用开源工具Chaos Mesh来做GreatDB分布式集群的混沌测试. 1.2 万里安全数据库软件GreatDB分布式部署模式介绍 万里安全数据库软件GreatDB 是一款关系型数据库软件,同时支持集中式和分布式的部署方式,本文涉及的是分布式部署方式. 分

1.Memcached常规应用 $mc = new Memcache(); $mc->conncet('127.0.0.1', 11211); $sql = sprintf("SELECT * FROM users WHERE uid = %d", $_GET['uid']); $key = md5($sql); //检测结果是否已经被缓存 if( ! $data = $mc->get($key)){ //没有缓存则直接从数据库读取 mysql_conncet('local