Ceph采用的是强一致性同步模型,所有副本都必须完成写操作才算一次写入成功,这就导致不能很好地支持跨域部署,因为如果副本在异地,网络延迟就会很大,拖垮整个集群的写性能.因此,Ceph集群很少有跨域部署的,也就缺乏异地容灾.Ceph RBD mirror是Ceph Jewel版本引入的新功能,支持两个Ceph集群数据同步,其原理非常类似mysql的主从同步机制,前者基于journaling,后者基于binlog,二者都是基于日志回放完成主从同步的. 1.1.    RBD mirror的原理 ce…

图1 架构图 图2 各存储插件对动态供给方式的支持状况 1.所有节点安装 # yum install ceph-common 复制 ceph.conf 到 worker 节点上 # scp admin:/etc/ceph/ceph.conf /etc/ceph/ 2.创建池,并将应用名称与存储池关联 # ceph osd pool create caasp4-dynamic # ceph osd pool application enable caasp4-dynamic rbd 3.创建 Ca…

RBD存储卷 目前 CaaSP4 支持多种 Volume 类型,这里选择 Ceph RBD(Rados Block Device),主要有如下好处: Ceph 经过多年开发,已经非常熟,社区也很活跃: Ceph 同时支持对象存储,块存储和文件系统接口: 环境准备条件 1.搭建环境 操作系统版本: SLES15 SP1,无需安装 swap 内核版本:4.12.14-197.18-default Kubernetes 版本:CaaSP 4 , v1.15.2 Ceph :Storage 6 VMwa…

本系列文章会总结 QEMU/KVM 和 Ceph 之间的整合: (1)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (2)QEMU 的 RBD 块驱动(block driver) (3)存储卷挂接和设备名称 QEMU-KVM 的缓存机制的概念很多,Linux/KVM I/O 软件栈的层次也很多,网上介绍其缓存机制的文章很多.边学习边总结.本文结合 Ceph 在 QEMU/KVM 虚机中的使用,总结一下两者结合时缓存的各种选项和原理. 1. QEMU/KVM 缓存机制 先以客户机(Gu…

背景 我们通过docker的rexray插件来创建ceph rbd设备的docker volume,但总提示创建失败. # docker volume create --driver=rexray --opt=size=5 --name=cephrbd-book Error response from daemon: create test_cephrbd_volume: VolumeDriver.Create: {"Error":"Failed to create new…

目录 一.iSCSI 介绍 1. iSCSI 定义 2. 几种常见的 iSCSI Target 3. 优缺点比较 二.安装步骤 1. 关闭防火墙 2. 关闭selinux 3. 通过 yum 安装 tgt 4. 源码编译安装 tgt 三.使用 img 作为 target 1. 创建 img 2. 通过配置文件来创建 target 3. 查看激活的 target 四.使用 rbd 作为 target 1. 创建 rbd 池和 image 2. 通过命令来创建 target 3. 通过配置文件来创建…

目录 k8s挂载Ceph RBD PV & PVC方式 创建secret 创建PV 创建PVC 创建deployment挂载PVC StorageClass方式 创建secret 创建StorageClass 创建PVC k8s挂载Cephfs k8s挂载Ceph RBD k8s挂载Ceph RBD有两种方式,一种是传统的PV&PVC的方式,也就是说需要管理员先预先创建好相关PV和PVC,然后对应的deployment或者replication来挂载PVC使用.而在k8s 1.4以后,ku…

一.测试环境描述 之前我们已快速部署好一套Ceph集群(3节点),现要测试在现有集群中在线方式增加节点 如下表中可以看到增加节点node004具体配置 主机名 Public网络 管理网络 集群网络 说明 admin 192.168.2.39 172.200.50.39 --- 管理节点 node001 192.168.2.40 172.200.50.40 192.168.3.40 MON,OSD node002 192.168.2.41 172.200.50.41 192.168.3.41 MO…

学习 SUSE Storage 系列文章 (1)SUSE Storage6 实验环境搭建详细步骤 - Win10 + VMware WorkStation (2)SUSE Linux Enterprise 15 SP1 系统安装 (3)SUSE Ceph 快速部署 - Storage6 (4)SUSE Ceph 增加节点.减少节点. 删除OSD磁盘等操作 - Storage6 (5)深入理解 DeepSea 和 Salt 部署工具 - Storage6 一.安装环境描述 整个环境采用VMware…

简介 对接ceph的rbd和cephfs到k8s中提供持久化存储 环境 主机名 IP role 操作系统 ceph-01 172.16.31.11 mon osd CentOS7.8 ceph-02 172.16.31.12 Osd CentOS7.8 ceph-03 172.16.31.13 osd CentOS7.8 这个是官网的图 步骤 安装ceph 主机名设置 ## ceph-01 hostnamectl set-hostname ceph-01 ## ceph-02 hostnamec…

1.在ceph集群中创建rbd存储池.镜像及普通用户 1.1.存储池接镜像配置 创建存储池 root@u20-deploy:~# ceph osd pool create rbd-test-pool1 32 32 在创建的存储池上启用块存储 root@u20-deploy:~# ceph osd pool application enable rbd-test-pool1 rbd enabled application 'rbd' on pool 'rbd-test-pool1' 对存储池进行初…

本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 (5)Ceph 与 OpenStack 集成的实现 (6)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (7)Ceph 的基本操作和常见故障排除方法 Ceph 作为一个统一的分布式存储,其一大特色是提供了丰富的编程接口.我们来看看下面这张经典的图: 其中,librados 是 Ceph…

Ceph RBD  CephFS 存储 环境准备: (这里只做基础测试, ceph-manager , ceph-mon, ceph-osd 一共三台) 10.6.0.140 = ceph-manager 10.6.0.187 = ceph-mon-1 10.6.0.188 = ceph-osd-1 10.6.0.94 = node-94 注: ceph 对时间要求很严格, 一定要同步所有的服务器时间 一.在 manager 上面修改 /etc/hosts : 10.6.0.187 ceph-m…

目录 文章目录 目录 前文列表 RBD RBD Pool 的创建与删除 块设备的创建与删除 块设备的挂载与卸载 新建客户端 块设备的扩缩容 RBD 块设备的 Format 1 VS Format 2 块设备的快照.克隆.恢复 块设备的 I/O 模型 RBD QoS Token bucket algorithm(令牌桶算法) dmClock algorithm 块设备性能测试 使用 RADOS bench 进行基准测试 使用 fio 进行 IO 测试 前文列表 <Ceph 分布式存储架构解析与工作…

一.RBD的导入导出介绍 Ceph存储可以利用快照做数据恢复,但是快照依赖于底层的存储系统没有被破坏 可以利用rbd的导入导出功能将快照导出备份 RBD导出功能可以基于快照实现增量导出 二.RBD导出操作 2.1 查看创建的快照 [root@ceph1 ceph]# rbd snap ls testimg-copy --id rbd SNAPID NAME SIZE TIMESTAMP MB Sun Mar :: 2.2 创建快照 [root@ceph1 ~]# df -hT Filesyste…

1.所有节点安装 # zypper -n in ceph-common 复制 ceph.conf 到 worker 节点上 # scp admin:/etc/ceph/ceph.conf /etc/ceph/ 2.创建池 # ceph osd pool create caasp4 3.创建 key ,并存储到 /etc/ceph/ 目录中 # ceph auth get-or-create client.caasp4 mon 'allow r' \ osd 'allow rwx pool=caa…

1. 在Ceph上为Kubernetes创建一个存储池 # ceph osd pool create k8s 2. 创建k8s用户 # ceph auth get-or-create client.k8s mon 'allow r' osd 'allow rwx pool=k8s' -o ceph.client.k8s.keyring 3. 将k8s用户的key进行base64编码 这是Kubernetes访问Ceph的密钥,会保存在Kubernetes的Secret中 # grep key c…

[root@bs-k8s-ceph ~]# ceph -s cluster: id: 11880418-1a9a-4b55-a353-4b141e2199d8 health: HEALTH_WARN Long heartbeat ping times on back interface seen, longest is 3884.944 msec Long heartbeat ping times on front interface seen, longest is 3888.368 msec…

[root@bs-k8s-ceph ~]# ceph osd pool create harbor 128 Error ETIMEDOUT: crush test failed with -110: timed out during smoke test (5 seconds) //这个问题 我不知道怎么解决 因为过了一小会 就又好了 [root@bs-k8s-ceph ~]# ceph osd pool create harbor 128 pool 'harbor' created [root…

1.安装python,uwsgi,nginx环境 pip安装省略 yumgroupinstall"Developmenttools" yuminstallzlib-develbzip2-develpcre-developenssl-develncurses-develsqlite-develreadline-develtk-devel yuminstallpython-devel pipinstalluwsgi 2.明白 Restful API http://www.ruanyifen…

转自:http://blog.csdn.net/wytdahu/article/details/46545235 ceph很早就已经支持通过iscsi协议来使用rbd,这篇博文对此做下演示,并且使用OSD Server作为iscsi target端. 一.OSD Server side 1.安装支持rbd的TGT软件包 #echo "deb http://ceph.com/packages/ceph-extras/debian $(lsb_release -sc) main" | su…

1.一个现成的ceph cluster 参考之前写的ceph-deploy 部署ceph cluster 2.配置client与ceph cluster对接 在ceph cluster的管理节点上安装配置ceph client #ansible为此处client的hostname ceph-deploy install ansible #ansible为此处client的hostname ceph-deploy admin ansible 3..在ceph client上创建使用rbd #创建一…

(1)Policy 配置文件,添加MDS角色定义 # vim /srv/pillar/ceph/proposals/policy.cfg # MDS role-mds/cluster/mds*.sls role-mds/cluster/node00[].example.com.sls (2)执行stage2,stage4 salt-run state.orch ceph.stage. salt-run state.orch ceph.stage. (3)设置 文件系统元数据到SSD # ceph…

一.rbd块存储挂载 1 创建一个OSD pool # ceph osd pool create rbd1 128 查询存储空间使用 # ceph df GLOBAL: SIZE AVAIL RAW USED %RAW USED 480GiB 474GiB 6.12GiB 1.28 POOLS: NAME ID USED %USED MAX AVAIL OBJECTS volumes 1 134B 0 150GiB 5 vms 2 0B 0 150GiB 0 images 3 0B 0 150G…

转载自:https://my.oschina.net/xueyi28/blog/1596003 ###故障现象 /data/rbd1/dir1/a/file1 /data/rbd1/dir2/a/file1 正常的目录结构已经是上面这样 ,但是如果是双挂载比如 /dev/rbd1 /data/rbd1 /dev/rbd2 /data/rbd1 # rbd status rbd Watchers: watcher=192.168.1.1:0/1665152181 client.9874080 co…

https://blog.csdn.net/aixiaoyang168/article/details/79120095…

介绍,目前已经创建一个名为ceph的Ceph集群,和一个backup(单节点)Ceph集群,是的这两个集群的数据可以同步,做备份恢复功能 一.配置集群的相互访问 1.1 安装rbd mirror rbd-mirror是一个新的守护进程,负责将一个镜像从一个集群同步到另一个集群 如果是单向同步,则只需要在备份集群上安装 如果是双向同步,则需要在两个集群上都安装 rbd-mirror需要连接本地和远程集群 每个集群只需要运行一个rbd-mirror进程,必须手动按章 [root@ceph5 ceph…

简介 管理存储和管理计算有着明显的不同.PersistentVolume子系统给用户和管理员提供了一套API,从而抽象出存储是如何提供和消耗的细节.在这里,我们介绍两种新的API资源:PersistentVolume(简称PV)和PersistentVolumeClaim(简称PVC). PersistentVolume(持久卷,简称PV)是集群内,由管理员提供的网络存储的一部分.就像集群中的节点一样,PV也是集群中的一种资源.它也像Volume一样,是一种volume插件,但是它的生命周期却是…

前言 RBD 的 mirroring 功能将在Jewel中实现的,这个Jewel版本已经发布了很久了,这个功能已经在这个发布的版本中实现了,本来之前写过一篇文章,但是有几个朋友根据文档配置后,发现还是有问题,自己在进行再次配置的时候也发现有些地方没讲清楚,容易造成误解,这里对文档进行再一次的梳理 基本原理 我们试图解决的或者至少需要克服的问题是,ceph在内部是强一致性的,这个对于跨区域的情况数据同步是无法接受的,一个请求需要异地返回再确认完成,这个在性能上肯定是无法接受的,这就是为什么基本上无…

版权声明:很多其它内容,请关注[架构师技术联盟]公众号 https://blog.csdn.net/BtB5e6Nsu1g511Eg5XEg/article/details/81117091 wx_fmt=gif" alt="640?wx_fmt=gif" /> 谈起软件定义存储.不得不提Ceph.几年前笔者专门对Ceph系统进行了分析,但随着越来越多的企业接入,Ceph的企业版也不断飙升. 但在众多企业版中.有两家一直备受关注.一家是Ceph的老东家Redhat(最新…