Realm: Zonegroup: 理解为数据中心,由一个或多个Zone组成,每个Realm有且仅有 一个Master Zonegroup,用于处理系统变更,其他的称为Slave Zonegroup,元数据与Master Zonegroup保持一致: Zone: Zone是一个逻辑概念,包含一个或者多个RGW实例.每个Zonegroup有且仅有一个Master Zone,用于处理bucket和user等元数据变更. Period: 保存realm当前的配置信息,使用epoch维护版本信息. Me

Overview Pub-Sub module 顾名思义是一个发布订阅相关的模块.Pub-Sub module 为对象存储的变更事件提供一种发布-订阅机制.而发布-订阅架构本身应用非常广泛,如公有云Google Cloud,AWS 的PubSub 服务,Redis 的发布订阅机制等等,发布订阅架构提供了将发送者和接收者分离的多对多异步消息传递. 事件会往预定义好的主题中发布,主题可以被订阅,也可以从主题中拉取事件.事件被确认后就会从订阅历史中删除,events_retention_days(默认

Overview 缓存是为达到系统快速响应的一项关键技术,Ceph 作为一个复杂的分布式存储系统,有多种.多级缓存存在.缓存按照位置分为: 客户端缓存 服务端缓存 网络中缓存 按照部署方式分为: 单体缓存 缓存集群 分布式缓存 而Rados 网关缓存,也即RGW Cache 按照位置:作为Ceph client 可以归为客户端缓存,作为上层应用的服务端可以归为服务端缓存.而按照部署方式则为分布式缓存,因为Ceph 集群通常会存在多个RGW 实例,分布式缓存会涉及到缓存同步等问题. RGW Cac

现象: 1.在mon节点打开/etc/ceph/ceph.conf,增加以下 2.重启ceph-mon systemctl restart ceph-mon.target 3.删除pool [root@master ceph]# ceph osd pool delete k8s-volumes k8s-volumes --yes-i-really-really-mean-it pool 'k8s-volumes' removed

前言 ceph里面的数据是以对象的形式存储在OSD当中的,有的时候因为磁盘的损坏或者其它的一些特殊情况,会引起集群当中的某一个对象的异常,那么我们需要对这个对象进行处理 在对象损坏的情况下,启动OSD有的时候都会有问题,那么通过rados rm的方式是没法发送到这个无法启动的OSD的,也就无法删除,所以需要用其他的办法来处理这个情况 处理步骤 查找对象的路径 [root@lab8106 ~]# ceph osd map rbd rbd_data.857e6b8b4567.000000000000

安装依赖: yum install -y yum-utils && yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && yum install --nogpgcheck -y epel-release && rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && rm -f /etc/y

1.ceph简介 Ceph在一个统一的系统中独特地提供对象.块和文件存储 1.1 ceph官网架构图 1.2 架构解释   CEPH 对象存储 CEPH 块设备 CEPH 文件系统 RESTful 接口 S3 和 Swift 兼容的 API S3 风格的子域 统一的 S3/Swift 命名空间 用户管理 使用跟踪 条纹对象 云解决方案集成 多站点部署 多站点复制 精简配置 图像高达 16 艾字节 可配置的条带化 内存缓存 快照 写时复制克隆 内核驱动支持 KVM/libvirt 支持 云解决方案

Ceph 测试环境部署 本文档内容概要 测试环境ceph集群部署规划 测试环境ceph集群部署过程及块设备使用流程 mon节点扩容及osd节点扩容方法 常见问题及解决方法 由于暂时没有用到对象存储,所以暂时没有配对象存储的网关. ==回答:为什么docker里用到ceph?== 环境里面每台机器挂载了个1T的数据盘,为了充分利用集群里所有数据磁盘的空间,使用ceph构建分布式环境,将数据盘联合到一起,看成一个盘.当然,这个主要是ceph的快存储功能. 集群部署规划 主机角色规划 主机名 系统 内

背景 Ceph简介 Ceph是一个分布式存储,可以提供对象存储.块存储和文件存储,其中对象存储和块存储可以很好地和各大云平台集成.一个Ceph集群中有Monitor节点.MDS节点(可选,用于文件存储).至少两个OSD守护进程. Ceph OSD:OSD守护进程,用于存储数据.处理数据拷贝.恢复.回滚.均衡,并通过心跳程序向Monitor提供部分监控信息.一个Ceph集群中至少需要两个OSD守护进程. Monitor:维护集群的状态映射信息,包括monitor.OSD.Placement Gro

Ceph集群管理 每次用命令启动.重启.停止Ceph守护进程(或整个集群)时,必须指定至少一个选项和一个命令,还可能要指定守护进程类型或具体例程. **命令格式如 {commandline} [options] [commands] [daemons] 常用的commandline为"ceph",对应的options如下表: 对应的commands如下表: 能指定的daemons(守护进程)类型包括mon,osd及mds. 通过SysVinit机制运行ceph: 在 CentOS.Re

申明:基本安装是依照http://dockone.io/article/436来进行的,但原文中ceph集群的搭建不够完整.我这里会做一些补充及说明. 1.   下载mon和osd镜像 [root@ubuntu1 ~]# docker pull index.alauda.cn/georce/mon:hammer [root@ubuntu1 ~]# docker pull index.alauda.cn/georce/osd:hammer 2.   一条命令搭建mon [root@ubuntu1~

一.使用ceph做glance后端 1.1 创建用于存储镜像的池 [root@serverc ~]#  ceph osd pool create images 128 128 pool 'images' created [root@serverc ~]# ceph osd pool application enable images rbd enabled application 'rbd' on pool 'images' 1.2 创建client.glance账号并授权 [root@serv

一.基本概念 1.1 多区域概念 Multi-Size功能是从J版本开始的.一个single zone配置通常由一个zone group组成,该zone group包含一个zone和多个用于负载均衡的RGW实例.从K版本开始,ceph为RGW提供了Multi-Size的配置选项 1.2 多区域相关术语 区域(zone): 一个ceph集群可以包含多个区域,一个区域只属于一个集群,一个区域可以有多个RGW 区域组(zonegroup):由一个或多个区域组成,包含一个主区域(master zone)

搭建 Ceph 分布式集群( nautilus 版本 ) 一.服务器环境说明 主机名 角色 IP地址 ceph-admin ceph-deploy 192.168.92.21 ceph-node1 mon.mgr.osd 192.168.92.22 ceph-node2 mon.mgr.osd 192.168.92.23 ceph-node3 mon.mgr.osd 192.168.92.24 二.集群架构图 三.服务器环境准备 1. 配置 yum 仓库地址 对所有机器配置 epel 仓库.基础

clienta作为集群的管理人员.一部分.他是需要秘钥与配置文件的 但真正服务端只需要通过curl就好 ceph 多区域网关 对象存储容灾解决方案 zone与zone会做数据同步. 把会做同步的rgw放到一个组里 同步有方向的概念 有主zone master 主zone会像其他zone同步 一个realm的数据可以同步(元数据) 我在realm创建一个bucket.那么realm下面的zonegroup也会看到 zone不可以跨集群 修改元数据得经过主zone,然后同步到其他zone 提交更改时

作者:吴香伟 发表于 2017/01/24 版权声明:可以任意转载,转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 存储QoS是个可以做很大也可以做很小的特性.SolidFire认为将QoS归类为特性太儿戏,QoS应该是存储系统设计之初就要仔细考虑的架构问题.的确,分析了一众主流存储大厂后还是觉得它在这方面做得最细致最全面.同时也有些厂商做得比较简陋,只提供了带宽或者IOPS的限速功能.这或许在某些场景中已经够用,但我认为一个完整的QoS方案至少要包括对带宽.IOPS的预留.上限和

1.在不同节点安装ceph时,出现以下异常: 参考这里 ceph deploy RuntimeError: NoSectionError: No section: 'ceph' 解决方法: 在报错的机器上尝试: yum remove ceph-release rm /etc/yum.repos.d/ceph.repo.rpmsave 执行以后再执行 ceph-deploy install admin node1 node2 node3 2.ceph用户没有权限 **执行激活osd盘时出现 **

获取Ceph的Docker镜像 因为公司对于网络环境的限制,安装ceph时使用ceph-deploy反而很不方便,且ssh免密码方式也不适用,所以使用docker方式安装. Git地址 https://github.com/ceph/ceph-docker/tree/master/ceph-releases/luminous DockerHub地址 https://hub.docker.com/r/ceph/daemon/ 通过DaoCloud加速器后下载的地址 docker pull ceph

1.概述 安装3个网关节点分别是:controller-03.controller-04和controller-05,使用ceph gw自带的Civetweb提供服务,前端使用nginx作为前端代理. 2.分别在三各节点安装ceph gw 在ceph-deploy节点执行安装 ceph-deploy install --rgw controller-03 controller-04 controller-05 ceph-deploy --overwrite rgw create controll

前面已经介绍了Ceph的自动部署,本次介绍一下关于手动部署Ceph节点操作 一.环境准备 一台虚拟机部署单节点Ceph集群 IP:172.25.250.14 内核: Red Hat Enterprise Linux Server release 7.4 (Maipo) 磁盘:/dev/vab,/dev/vac,/dev/vad 二.部署mon 2.1 安装Ceph软件包 [root@cepe5 ~]#  yum install -y ceph-common ceph-mon ceph-mgr c

1.背景说明 参考说明: https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/2/html/object_gateway_guide_for_ubuntu/administration_cli#configuring-bucket-index-sharding https://ceph.com/community/new-luminous-rgw-dynamic-bucket-sharding/ 1.1.问题描述