CEPH RGW多 ZONE的配置
相关的名称解释
Region :可以理解为区域,是基于地理位置的逻辑划分;如:华南,华北之类,包含多个region
的Ceph
集群必须指定一个master region
,一个region
可以包含一个或者多个zone
Zone : 可以理解为可用区,它包含一组Ceph rgw
实例,一个region
必须指定一个master zone
用以处理客户端请求。
部署拓扑
本文描述的多可用区部署拓扑如下:
Ceph
|
SH
/ \
SH-1 SH-2
| |
SH-SH-1 SH-SH-2
- 在
Ceph
集群配置名为SH
的Region
,在Region
下配置名为SH-1
及SH-2
两个Zone
,并将SH-1
设置为master
,SH-2
备用,可以通过radosgw-agent
实现数据复制;每个Zone
各运行一个rgw
实例,分别为SH-SH-1
及SH-SH-2
rgw
组成要素
rgw
作为一个客户端,包含如下基本元素:
rgw
实例名, 本文中两个实例分别是SH-SH-1
,SH-SH-2
rgw
实例用户- 存储池
ceph.conf
中配置入口rgw
实例运行时数据目录- 前端配置文件
配置rgw
创建pools
Ceph rgw
需要使用多个pool
来存储相关的配置及用户数据。如果后续创建的rgw
用户具有相关权限,在rgw
实例启动的时候是会自动创建某些存储池的;但是,通常都会建议用户自行创建。为便于区别不同Zone
,在各存储池名前冠以.{region-name}-{zone-name}
前缀,SH-1
及SH-2
的各存储池如下
.SH-SH-1.rgw.root
.SH-SH-1.rgw.control
.SH-SH-1.rgw.gc
.SH-SH-1.rgw.buckets
.SH-SH-1.rgw.buckets.index
.SH-SH-1.rgw.buckets.extra
.SH-SH-1.log
.SH-SH-1.intent-log
.SH-SH-1.usage
.SH-SH-1.users
.SH-SH-1.users.email
.SH-SH-1.users.swift
.SH-SH-1.users.uid
.SH-SH-2.rgw.root
.SH-SH-2.rgw.control
.SH-SH-2.rgw.gc
.SH-SH-2.rgw.buckets
.SH-SH-2.rgw.buckets.index
.SH-SH-2.rgw.buckets.extra
.SH-SH-2.log
.SH-SH-2.intent-log
.SH-SH-2.usage
.SH-SH-2.users
.SH-SH-2.users.email
.SH-SH-2.users.swift
.SH-SH-2.users.uid
创建存储池的命令如下: ceph osd pool create {pool_name} 128 128
注意:不要忘记存储池名前的’.’,否则在启动rgw
实例的时候会失败
创建rgw
用户及秘钥
创建秘钥文件
在
/etc/ceph/
目录下创建秘钥文件并设置执行权限
#ceph-authtool --create-keyring /etc/ceph/ceph.client.radosgw.keyring
#chmod +r /etc/ceph/ceph.client.radosgw.keyring
- 创建
rgw
用户及秘钥
为每个实例生成用户及秘钥,并存储到前述创建的秘钥文件中
#ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.radosgw.SH-SH-1 --gen-key
#ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.radosgw.SH-SH-2 --gen-key
- 授权
为前述创建的用户授予合适的权限
#ceph-authtool -n client.radosgw.SH-SH-1 --cap osd 'allow rwx' --cap mon 'allow rwx' /etc/ceph/ceph.client.radosgw.keyring
#ceph-authtool -n client.radosgw.SH-SH-2 --cap osd 'allow rwx' --cap mon 'allow rwx' /etc/ceph/ceph.client.radosgw.keyring
- 注册
将用户添加到Ceph
集群
#ceph -k /etc/ceph/ceph.client.admin.keyring auth add client.radosgw.SH-SH-1 -i /etc/ceph/ceph.client.radosgw.keyring
#ceph -k /etc/ceph/ceph.client.admin.keyring auth add client.radosgw.SH-SH-2 -i /etc/ceph/ceph.client.radosgw.keyring
添加rgw
实例信息到配置文件
- 添加下述信息到
ceph.conf
配置文件
[global]
rgw region root pool = .SH.rgw.root //用于存储region信息,会自动创建
[client.radosgw.SH-SH-1] //实例名,格式为:{tpye}.{id}
rgw region = SH //region名
rgw zone = SH-1 //zone名
rgw zone root pool = .SH-SH-1.rgw.root //根存储池,存储zone信息
keyring = /etc/ceph/ceph.client.radosgw.keyring //秘钥文件
rgw dns name = {hostname} //DNS
;rgw socket path = /var/run/ceph/$name.sock //unix路径
rgw frontends = fastcgi socket_port=9000 socket_host=0.0.0.0
host = {host-name} //主机名,通过`hostname -s`获得
[client.radosgw.SH-SH-2]
rgw region = SH
rgw zone = SH-2
rgw zone root pool = .SH-SH-2.rgw.root
keyring = /etc/ceph/ceph.client.radosgw.keyring
rgw dns name = {hostname}
rgw frontends = fastcgi socket_port=9000 socket_host=0.0.0.0
host = {host-name}
- 各配置的含义请看上文的注解,这里要说明的一点是:
rgw socket path
及rgw frontends
中的socket_port
配置是互斥的并且rgw socket path
配置优先,即:如果配置了rgw socket path
,rgw
实例将启动unix socket
监听并忽略socket_port
配置,只有在没有配置rgw socket path
的情况下,rgw
实例才会使用socket_port
及socket_host
建立socket
监听
- 更新
ceph
节点的配置信息
通过ceph-deploy
推送配置文件到rgw
实例节点
#ceph-deploy --overwrite-conf config push {inst-1} {inst-2}
创建Region
- 创建
region
配置文件
创建一个包含region信息,名为sh.json
的配置文件:
{ "name": "SH", //region名
"api_name": "SH",
"is_master": "true", //设置为master
"endpoints": "", //region之间的复制地址
"master_zone": "SH-1", //master zone
"zones": [
{ "name": "SH-1",
"endpoints": [
"http:\/\/{fqdn}:80\/"], //zone之间的复制地址
"log_meta": "true",
"log_data": "true"},
{ "name": "SH-2",
"endpoints": [
"http:\/\/{fqdn}:80\/"],
"log_meta": "true",
"log_data": "true"}],
"placement_targets": [ //可用的位置组,
{
"name": "default-placement",
"tags": []
}
],
"default_placement": "default-placement"}
endpoints
是用于region
之间,zone
之间的数据复制地址,需设置为rgw
实例前端(上例中{fqdn}需设置为主机名)的地址;如果是单region
或者单zone
配置,该地址可不设置
placement_targets
指定可用的位置组,上文中只配置了一个;zone中的placement_pools
配置值来源于此,placement_pools
用来存储zone的用户数据,如:bucket,bucket_index
- 创建
Region
通过前述的sh.json
配置文件创建region
(通过一个实例执行即可)
#radosgw-admin region set --infile us.json --name client.radosgw.SH-SH-1
- 1
- 设置默认
Region
#radosgw-admin region default --rgw-region=SH --name client.radosgw.SH-SH-1
- 1
- 更新
regionmap
#radosgw-admin regionmap update --name client.radosgw.SH-SH-1
#radosgw-admin regionmap update --name client.radosgw.SH-SH-2
- 1
- 2
创建Zone
- 创建两个分别包含zone
SH-1
及SH-2
信息,名为sh-1.json
及sh-2.json
的配置文件,sh-1.json
的内容如下(sh-2.json
中只是将SH-SH-1
替换为SH-SH-2
):
{ "domain_root": ".SH-SH-1.domain.rgw",
"control_pool": ".SH-SH-1.rgw.control",
"gc_pool": ".SH-SH-1.rgw.gc",
"log_pool": ".SH-SH-1.log",
"intent_log_pool": ".SH-SH-1.intent-log",
"usage_log_pool": ".SH-SH-1.usage",
"user_keys_pool": ".SH-SH-1.users",
"user_email_pool": ".SH-SH-1.users.email",
"user_swift_pool": ".SH-SH-1.users.swift",
"user_uid_pool": ".SH-SH-1.users.uid",
"system_key": { "access_key": "", "secret_key": ""},
"placement_pools": [
{ "key": "default-placement",
"val": { "index_pool": ".SH-SH-1.rgw.buckets.index",
"data_pool": ".SH-SH-1.rgw.buckets"}
}
]
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
注意
placement_pools
配置,用来存储bucket,bucket index等信息key
需要是定义region时placement_target
中指定的某个name
- 创建
Zone
-SH-1
#radosgw-admin zone set --rgw-zone=SH-1 --infile sh-1.json --name client.radosgw.SH-SH-1
#radosgw-admin zone set --rgw-zone=SH-1 --infile sh-1.json --name client.radosgw.SH-SH-1
- 1
- 2
- 创建
Zone
-SH-2
#radosgw-admin zone set --rgw-zone=SH-2 --infile sh-2.json --name client.radosgw.SH-SH-2
#radosgw-admin zone set --rgw-zone=SH-2 --infile sh-2.json --name client.radosgw.SH-SH-2
- 1
- 2
- 更新
regionmap
#radosgw-admin regionmap update --name client.radosgw.SH-SH-1
#radosgw-admin regionmap update --name client.radosgw.SH-SH-2
- 1
- 2
- 3
创建Zone
- 用户
Zone
用户信息存储在Zone
的存储池中,所以需要先配置Zone
再创建用户;创建用户后,请注意保留access_key
及secret_key
信息,以便后面更新Zone
信息:
#radosgw-admin user create --uid="sh-1" --display-name="Region-SH Zone-SH-1" --name client.radosgw.SH-SH-1 --system
#radosgw-admin user create --uid="sh-2" --display-name="Region-SH Zone-SH-2" --name client.radosgw.SH-SH-2 --system
- 1
- 2
- 3
更新 Zone
将上述创建的两个用户的access_key
及secret_key
分布拷贝到创建Zone
那一节创建的两个配置文件sh-1.json
及sh-2.json
中,并执行下面的命令更新Zone
配置:
#radosgw-admin zone set --rgw-zone=SH-1 --infile sh-1.json --name client.radosgw.SH-SH-1
#radosgw-admin zone set --rgw-zone=SH-1 --infile sh-1.json --name client.radosgw.SH-SH-1
#radosgw-admin zone set --rgw-zone=SH-2 --infile sh-2.json --name client.radosgw.SH-SH-2
#radosgw-admin zone set --rgw-zone=SH-2 --infile sh-2.json --name client.radosgw.SH-SH-2
- 1
- 2
- 3
- 4
- 5
配置前端
- 生成rgw配置
Apache,Nignx及civetweb都可以作为rgw
前端,在这之前,曾写过一篇有关rgw
各前端配置的文章,有需要的读者可以前往阅读。下面,给出本文中的apache配置(/etc/httpd/cond.d/rgw.conf):
<VirtualHost *:80>
ServerName {fqdn}
DocumentRoot /var/www/html
ErrorLog /var/log/httpd/rgw_error.log
CustomLog /var/log/httpd/rgw_access.log combined
# LogLevel debug
RewriteEngine On
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L]
SetEnv proxy-nokeepalive 1
#ProxyPass / unix:///var/run/ceph/ceph-client.radosgw.SH-SH-1.asok
ProxyPass / fcgi://{fqdn}:9000/
</VirtualHost>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
{fqdn}需替换为所在节点的主机名,ProxyPass需要根据
ceph.conf
文件中的rgw实例配置来设置
- 创建数据目录
在实例节点上分别为rgw
实例创建数据目录,目录格式:{type}.{id}:
#mkdir -p /var/lib/ceph/radosgw/ceph-radosgw.SH-SH-1
#mkdir -p /var/lib/ceph/radosgw/ceph-radosgw.SH-SH-2
- 1
- 2
- 3
启动实例
在两个实例节点上分别启动实例及前端
#radosgw -c /etc/ceph/ceph.conf -n client.radosgw.SH-SH-1
#systemctl restart httpd.service
#radosgw -c /etc/ceph/ceph.conf -n client.radosgw.SH-SH-2
#systemctl restart httpd.service
- 1
- 2
- 3
- 4
- 5
- 6

主备复制
rgw
配好后,可以通过radosgw-agent
将master zone - SH-1
中的数据复制到slave zone - SH-1
,实现提高可用性及读性能的目的
配置
创建cluster-data-sync.conf
文件,并填充如下内容:
src_access_key: {source-access-key} //master zone用户的秘钥信息
src_secret_key: {source-secret-key}
destination: https://{fqdn}:port //这里是slave zone的endpoints地址
dest_access_key: {destination-access-key} //slave zone用户的秘钥信息
dest_secret_key: {destination-secret-key}
log_file: {log.filename} //日志文件
CEPH RGW多 ZONE的配置的更多相关文章
- CEPH集群操作入门--配置
参考文档:CEPH官网集群操作文档 概述 Ceph存储集群是所有Ceph部署的基础. 基于RADOS,Ceph存储集群由两种类型的守护进程组成:Ceph OSD守护进程(OSD)将数据作为对象 ...
- ceph rgw java sdk 使用域名访问服务时需要设置s3client的配置项 PathStyleAccess 为true, 负责将报域名异常
Caused by: java.net.UnknownHostException: my-new-bucket.s3.yyclouds.com at java.net.InetAddress.getA ...
- 趣解 ceph rgw multisite data sync 机制
multisite是ceph rgw对象数据异地容灾备份的一个有效方案,笔者希望深入理解该技术,并应用于生产环境中,然而rgw的这部分代码晦涩难懂,笔者多次尝试阅读,仍云里雾里不解其意,最终流着泪咬着 ...
- CEPH RGW集群和bucket的zone group 不一致导致的404异常解决 及 使用radosgw-admin metadata 命令设置bucket metadata 的方法
问题现象: 最近在研究zonegroup的配置操作,发现在配置zonegroup后修改了default zone,导致访问对象报404错误. 问题原因: rgw 日志 报异常'request fo ...
- Ceph RGW 和 niginx 配置要点
cat /etc/nginx/sites-enabled/rgw.conf server { listen 80 default; #server_name .com .com.cn .net .cn ...
- Ceph RGW 的 OSPF负载均衡 + quagga的配置
随着开源技术的发展,以及商业设备价格的不断攀升.大公司总是希望能使用开源的方案来替换过去使用的商业设备.比如之前大家用的很多的F5和A10,现在已经在逐步被LVS替换.传统的单个lvs的性能是比不 ...
- ceph rgw multisite基本用法
Realm: Zonegroup: 理解为数据中心,由一个或多个Zone组成,每个Realm有且仅有 一个Master Zonegroup,用于处理系统变更,其他的称为Slave Zonegroup, ...
- Ceph RGW服务 使用s3 java sdk 分片文件上传API 报‘SignatureDoesNotMatch’ 异常的定位及规避方案
import java.io.File; import com.amazonaws.AmazonClientException; import com.amazonaws.auth.profile ...
- 010 Ceph RGW对象存储
一.对象存储 1.1 介绍 通过对象存储,将数据存储为对象,每个对象除了包含数据,还包含数据自身的元数据 对象通过Object ID来检索,无法通过普通文件系统操作来直接访问对象,只能通过API来访问 ...
随机推荐
- Linux下编译PHP常见错误及解决方法
1.configure: error: xml2-config not found. Please check your libxml2 installation.yum install libxml ...
- sys_init
#!/bin/bash yum install -y wget && \ wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyu ...
- 生产力工具:shell 与 Bash 脚本
生产力工具:shell 与 Bash 脚本 作者:吴甜甜 个人博客网站: wutiantian.github.io 注意:本文只是我个人总结的学习笔记,不适合0基础人士观看. 参考内容: 王顶老师 l ...
- SQL高度优化
受同事dd之托,优化一条boss看的报表SQL.dd写复杂疑难SQL无数,如何写出优雅的SQL自有一番心得体会.能将一条7表含inner join,left join并含有关联子查询的.返回结果集 ...
- POJ 2778:DNA Sequence(AC自动机构造矩阵)
http://poj.org/problem?id=2778 题意:有m个病毒DNA,问构造一个长度为n的不带病毒DNA的字符串可以有多少种. 思路:看到这题有点懵,想了挺久题解的思路. 使用AC自动 ...
- Codeforces 730A:Toda 2(multiset模拟)
http://codeforces.com/problemset/problem/730/A 题意:有n个人打天梯,想让这n个人的分数相同,每场比赛必须有2-5个人参赛,参赛的人会降低一分,问一个合理 ...
- spring的context:exclude-filter 与 context:include-filter
1 在主容器中(applicationContext.xml),将Controller的注解打消掉 <context:component-scan base-package="com& ...
- 新手上路—Java的"瑞士军刀"
“ Jodd 是一个开源的 Java 工具集, 包含一些实用的工具类和小型框架.简单,却很强大!这在我们的日常开发工作中,无疑是如虎添翼,事半功倍. Jodd = Tools + IoC + MVC ...
- web安全测试必须注意的五个方面
随着互联网的飞速发展,web应用在软件开发中所扮演的角色变得越来越重要,同时,web应用遭受着格外多的安全攻击,其原因在于,现在的网站以及在网站上运行的应用在某种意义上来说,它是所有公司或者组织的虚拟 ...
- 各类最短路算法基本模板-C++
原文转自:https://blog.csdn.net/changjiale110/article/details/77394650 感谢. #define Max 0x3f3f3f3f #define ...