Overview Pub-Sub module 顾名思义是一个发布订阅相关的模块.Pub-Sub module 为对象存储的变更事件提供一种发布-订阅机制.而发布-订阅架构本身应用非常广泛,如公有云Google Cloud,AWS 的PubSub 服务,Redis 的发布订阅机制等等,发布订阅架构提供了将发送者和接收者分离的多对多异步消息传递. 事件会往预定义好的主题中发布,主题可以被订阅,也可以从主题中拉取事件.事件被确认后就会从订阅历史中删除,events_retention_days(默认…

Overview 缓存是为达到系统快速响应的一项关键技术,Ceph 作为一个复杂的分布式存储系统,有多种.多级缓存存在.缓存按照位置分为: 客户端缓存 服务端缓存 网络中缓存 按照部署方式分为: 单体缓存 缓存集群 分布式缓存 而Rados 网关缓存,也即RGW Cache 按照位置:作为Ceph client 可以归为客户端缓存,作为上层应用的服务端可以归为服务端缓存.而按照部署方式则为分布式缓存,因为Ceph 集群通常会存在多个RGW 实例,分布式缓存会涉及到缓存同步等问题. RGW Cac…

背景 Ceph简介 Ceph是一个分布式存储,可以提供对象存储.块存储和文件存储,其中对象存储和块存储可以很好地和各大云平台集成.一个Ceph集群中有Monitor节点.MDS节点(可选,用于文件存储).至少两个OSD守护进程. Ceph OSD:OSD守护进程,用于存储数据.处理数据拷贝.恢复.回滚.均衡,并通过心跳程序向Monitor提供部分监控信息.一个Ceph集群中至少需要两个OSD守护进程. Monitor:维护集群的状态映射信息,包括monitor.OSD.Placement Gro…

安装依赖: yum install -y yum-utils && yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && yum install --nogpgcheck -y epel-release && rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && rm -f /etc/y…

获取Ceph的Docker镜像 因为公司对于网络环境的限制,安装ceph时使用ceph-deploy反而很不方便,且ssh免密码方式也不适用,所以使用docker方式安装. Git地址 https://github.com/ceph/ceph-docker/tree/master/ceph-releases/luminous DockerHub地址 https://hub.docker.com/r/ceph/daemon/ 通过DaoCloud加速器后下载的地址 docker pull ceph…

前面已经介绍了Ceph的自动部署,本次介绍一下关于手动部署Ceph节点操作 一.环境准备 一台虚拟机部署单节点Ceph集群 IP:172.25.250.14 内核: Red Hat Enterprise Linux Server release 7.4 (Maipo) 磁盘:/dev/vab,/dev/vac,/dev/vad 二.部署mon 2.1 安装Ceph软件包 [root@cepe5 ~]#  yum install -y ceph-common ceph-mon ceph-mgr c…

1.在不同节点安装ceph时,出现以下异常: 参考这里 ceph deploy RuntimeError: NoSectionError: No section: 'ceph' 解决方法: 在报错的机器上尝试: yum remove ceph-release rm /etc/yum.repos.d/ceph.repo.rpmsave 执行以后再执行 ceph-deploy install admin node1 node2 node3 2.ceph用户没有权限 **执行激活osd盘时出现 **…

1.概述 安装3个网关节点分别是:controller-03.controller-04和controller-05,使用ceph gw自带的Civetweb提供服务,前端使用nginx作为前端代理. 2.分别在三各节点安装ceph gw 在ceph-deploy节点执行安装 ceph-deploy install --rgw controller-03 controller-04 controller-05 ceph-deploy --overwrite rgw create controll…

环境 两个节点:ceph0.ceph1 ceph0: mon.a.mds.mgr.osd.0.osd.1 ceph1: mon.b.osd.2.osd.3 操作系统:ubuntu14.04 网络配置: ceph1: 管理网络,eth0,192.168.31.100        存储网络,eth1, 172.16.31.100 ceph2: 管理网络,eth0,192.168.31.101        存储网络,eth1, 172.16.31.101 安装 root@:~# wget -q -…

一.使用ceph做glance后端 1.1 创建用于存储镜像的池 [root@serverc ~]#  ceph osd pool create images 128 128 pool 'images' created [root@serverc ~]# ceph osd pool application enable images rbd enabled application 'rbd' on pool 'images' 1.2 创建client.glance账号并授权 [root@serv…

一.基本概念 1.1 多区域概念 Multi-Size功能是从J版本开始的.一个single zone配置通常由一个zone group组成,该zone group包含一个zone和多个用于负载均衡的RGW实例.从K版本开始,ceph为RGW提供了Multi-Size的配置选项 1.2 多区域相关术语 区域(zone): 一个ceph集群可以包含多个区域,一个区域只属于一个集群,一个区域可以有多个RGW 区域组(zonegroup):由一个或多个区域组成,包含一个主区域(master zone)…

搭建 Ceph 分布式集群( nautilus 版本 ) 一.服务器环境说明 主机名 角色 IP地址 ceph-admin ceph-deploy 192.168.92.21 ceph-node1 mon.mgr.osd 192.168.92.22 ceph-node2 mon.mgr.osd 192.168.92.23 ceph-node3 mon.mgr.osd 192.168.92.24 二.集群架构图 三.服务器环境准备 1. 配置 yum 仓库地址 对所有机器配置 epel 仓库.基础…

1.背景说明 参考说明: https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/2/html/object_gateway_guide_for_ubuntu/administration_cli#configuring-bucket-index-sharding https://ceph.com/community/new-luminous-rgw-dynamic-bucket-sharding/ 1.1.问题描述…

前言 ceph的rgw现在提供了两种前端, civetweb和beast 配置 修改配置文件 rgw_frontends = civetweb port=7481 为 rgw frontends = beast port=7481 然后重启rgw进程,查看日志 2020-09-11 10:23:52.117738 7f90b45f8000 0 ceph version 12.2.13 (584a20eb0237c657dc0567da126be145106aa47e) luminous (sta…

前言 ceph的rgw能够提供一个兼容性的s3的接口,既然是兼容性,当然不可能是所有接口都会兼容,那么我们需要有一个工具来进行接口的验证以及测试,这个在其他测试工具里面有类似的posix接口验证工具,这类的工具就是跑测试用例,来输出通过或者不通过的列表 用此类的工具有个好的地方就是,能够对接口进行验证,来避免版本的更新带来的接口破坏 安装 直接对官方的分支进行clone下来,总文件数不多,下载很快 [root@lab101 s3]# git clone https://github.com/ce…

1.ceph简介 Ceph在一个统一的系统中独特地提供对象.块和文件存储 1.1 ceph官网架构图 1.2 架构解释   CEPH 对象存储 CEPH 块设备 CEPH 文件系统 RESTful 接口 S3 和 Swift 兼容的 API S3 风格的子域 统一的 S3/Swift 命名空间 用户管理 使用跟踪 条纹对象 云解决方案集成 多站点部署 多站点复制 精简配置 图像高达 16 艾字节 可配置的条带化 内存缓存 快照 写时复制克隆 内核驱动支持 KVM/libvirt 支持 云解决方案…

CEPH 简介 不管你是想为云平台提供Ceph 对象存储和/或 Ceph 块设备,还是想部署一个 Ceph 文件系统或者把 Ceph 作为他用,所有 Ceph 存储集群的部署都始于部署一个个 Ceph 节点.网络和 Ceph 存储集群. Ceph 存储集群至少需要一个 Ceph Monitor 和两个 OSD 守护进程.而运行 Ceph 文件系统客户端时,则必须要有元数据服务器( Metadata Server ). Ceph OSDs: Ceph OSD 守护进程( Ceph OSD )的功能…

clienta作为集群的管理人员.一部分.他是需要秘钥与配置文件的 但真正服务端只需要通过curl就好 ceph 多区域网关 对象存储容灾解决方案 zone与zone会做数据同步. 把会做同步的rgw放到一个组里 同步有方向的概念 有主zone master 主zone会像其他zone同步 一个realm的数据可以同步(元数据) 我在realm创建一个bucket.那么realm下面的zonegroup也会看到 zone不可以跨集群 修改元数据得经过主zone,然后同步到其他zone 提交更改时…

10.3.6版本的weblogic需要补丁到10.3.6.0.171017(2017年10月份的补丁,Java 反序列化漏洞升级),oracle官方建议至少打上2017年10月份补丁. 一.查看版本 1.用下面命令重配环境变量D:\Oracle\Middleware\wlserver_10.3\server\binsetWLSEnv.cmd 1.1.查看weblogic version D:\Oracle\Middleware\utils\bsu>java weblogic.version We…

刚装了10.3.6版本的weblogic,想把版本补丁到10.3.6.0.12 我用的系统是windows 8.1 ,呵呵 查看版本 执行java weblogic.version WebLogic Server 10.3.6.0 Tue Nov 15 08:52:36 PST 2011 1441050 Use 'weblogic.version -verbose' to get subsystem information Use 'weblogic.utils.Versions' to get…

Ceph Tuning and Best Practices for All Flash Intel® Xeon® ServersLast updated: January 2017 TABLE OF CONTENTS  (must be done on all Ceph nodes) INTRODUCTION Ceph is a scalable, open source, software-defined storage offering that runs on commodity har…

1.部署RadosGW 服务 将ceph-mgr1.ceph-mgr2 服务器部署为高可用的radosGW 服务 1.1 安装radosgw 服务 root@mgr1:~# apt install radosgw root@mgr2:~# apt install radosgw 1.2 初始化rgw节点 $ ceph-deploy --overwrite-conf rgw create mgr1 $ ceph-deploy --overwrite-conf rgw create mgr2 1.3…

import java.io.File;   import com.amazonaws.AmazonClientException; import com.amazonaws.auth.profile.ProfileCredentialsProvider; import com.amazonaws.services.s3.transfer.TransferManager; import com.amazonaws.services.s3.transfer.Upload;   public cla…

使用Ceph-deploy完成RGW服务部署后(最好是在部署RGW服务前建立如下这些pool),使用sudo ceph osd lspools 命令,会发现RGW自动以默认参数创建了N个rgw相关的pool. 然而这些pool的参数按默认是不符合要求. 因此需要重建这些pool. 步骤如下: 1. 删除Pool : sudo ceph osd pool delete .rgw.root .rgw.root --yes-i-really-really-mean-it sudo ceph osd p…

cat /etc/nginx/sites-enabled/rgw.conf server { listen 80 default; #server_name .com .com.cn .net .cn .org .tv .cc .hk .tw; server_name ceph-rgw; client_max_body_size 20M; location / { fastcgi_pass_header Authorization; fastcgi_pass_request_headers on…

背景 Ceph RGW简介 Ceph RGW基于librados,是为应用提供RESTful类型的对象存储接口.RGW提供两种类型的接口: 1) S3:兼容Amazon S3RESTful API: 2) Swift:兼容OpenStack Swift API. [RGW架构][http://docs.ceph.com/docs/master/_images/ditaa-50d12451eb76c5c72c4574b08f0320b39a42e5f1.png] S3和Swift API共享同一个…

  问题现象: 最近在研究zonegroup的配置操作,发现在配置zonegroup后修改了default zone,导致访问对象报404错误. 问题原因: rgw 日志 报异常'request for data in a different zonegroup ' rgw源码: https://github.com/ceph/ceph/blob/d346b1b83597644b4ce58bae4bc14629f69ef667/src/rgw/rgw_op.cc 结论: bucket的zoneg…

Realm: Zonegroup: 理解为数据中心,由一个或多个Zone组成,每个Realm有且仅有 一个Master Zonegroup,用于处理系统变更,其他的称为Slave Zonegroup,元数据与Master Zonegroup保持一致: Zone: Zone是一个逻辑概念,包含一个或者多个RGW实例.每个Zonegroup有且仅有一个Master Zone,用于处理bucket和user等元数据变更. Period: 保存realm当前的配置信息,使用epoch维护版本信息. Me…

需求: 云平台面板上需要支持为不同的用户创建不同的RGW 的AK/SK用户秘钥,以完成对象存储的用户隔离,并可以管理bucket和查看bucket容量信息. 分析:查阅CEPH官网文档 S3 API 没有用户管理的功能,而Admin Ops API有这个用户管理功能. 根据文档管理API的鉴权方式和S3的鉴权方式一致.          而使用Admin Ops API的要点是要创建一个admin用户并赋予user管理的相关权限,这是文档中没有描述的,经过深入思考和分析,我才得到这个秘诀. 实现…

Caused by: java.net.UnknownHostException: my-new-bucket.s3.yyclouds.com at java.net.InetAddress.getAllByName0(Unknown Source) at java.net.InetAddress.getAllByName(Unknown Source) at java.net.InetAddress.getAllByName(Unknown Source) at com.amazonaws.S…