Realm: Zonegroup: 理解为数据中心,由一个或多个Zone组成,每个Realm有且仅有 一个Master Zonegroup,用于处理系统变更,其他的称为Slave Zonegroup,元数据与Master Zonegroup保持一致: Zone: Zone是一个逻辑概念,包含一个或者多个RGW实例.每个Zonegroup有且仅有一个Master Zone,用于处理bucket和user等元数据变更. Period: 保存realm当前的配置信息,使用epoch维护版本信息. Me…

multisite是ceph rgw对象数据异地容灾备份的一个有效方案,笔者希望深入理解该技术,并应用于生产环境中,然而rgw的这部分代码晦涩难懂,笔者多次尝试阅读,仍云里雾里不解其意,最终流着泪咬着牙坚持多看了几遍,总结出了data sync的流程,这里以通俗易懂的形式呈现出来,希望对大家有所帮助~ 数据同步流程图 https://www.cnblogs.com/wangmingshuai/articles/11040979.html   首先,认识下 data sync机制 的三个角色Dat…

…

Caused by: java.net.UnknownHostException: my-new-bucket.s3.yyclouds.com at java.net.InetAddress.getAllByName0(Unknown Source) at java.net.InetAddress.getAllByName(Unknown Source) at java.net.InetAddress.getAllByName(Unknown Source) at com.amazonaws.S…

相关的名称解释 Region :可以理解为区域,是基于地理位置的逻辑划分:如:华南,华北之类,包含多个region的Ceph集群必须指定一个master region,一个region可以包含一个或者多个zone Zone : 可以理解为可用区,它包含一组Ceph rgw实例,一个region必须指定一个master zone用以处理客户端请求. 部署拓扑 本文描述的多可用区部署拓扑如下: Ceph | SH / \ SH-1 SH-2 | | SH-SH-1 SH-SH-2 在Ceph集群配置…

目录 一.背景和问题 二.bucket reshard 过程 主集群信息汇总 Multisite 下手动reshard References 一.背景和问题 默认情况下只有当单个bucket承载的object数量过多,导致omap过大会导致性能问题.在L 版之前需要线下reshard,从L 版开始支持线上自动reshard,默认rgw dynamic resharding 是开启的.但是在开启了Multisite的情况下,一旦对bucket进行了reshard操作,则会破坏原有的元数据对应规则,…

import java.io.File;   import com.amazonaws.AmazonClientException; import com.amazonaws.auth.profile.ProfileCredentialsProvider; import com.amazonaws.services.s3.transfer.TransferManager; import com.amazonaws.services.s3.transfer.Upload;   public cla…

使用Ceph-deploy完成RGW服务部署后(最好是在部署RGW服务前建立如下这些pool),使用sudo ceph osd lspools 命令,会发现RGW自动以默认参数创建了N个rgw相关的pool. 然而这些pool的参数按默认是不符合要求. 因此需要重建这些pool. 步骤如下: 1. 删除Pool : sudo ceph osd pool delete .rgw.root .rgw.root --yes-i-really-really-mean-it sudo ceph osd p…

cat /etc/nginx/sites-enabled/rgw.conf server { listen 80 default; #server_name .com .com.cn .net .cn .org .tv .cc .hk .tw; server_name ceph-rgw; client_max_body_size 20M; location / { fastcgi_pass_header Authorization; fastcgi_pass_request_headers on…

  问题现象: 最近在研究zonegroup的配置操作,发现在配置zonegroup后修改了default zone,导致访问对象报404错误. 问题原因: rgw 日志 报异常'request for data in a different zonegroup ' rgw源码: https://github.com/ceph/ceph/blob/d346b1b83597644b4ce58bae4bc14629f69ef667/src/rgw/rgw_op.cc 结论: bucket的zoneg…