前提条件:已经部署好ceph集群 本次实验由于环境有限,ceph集群是部署在k8s的master节点上的 一.创建ceph存储池 在ceph集群的mon节点上执行以下命令: ceph osd pool create k8s-volumes 64 64 查看下副本数 [root@master ceph]# ceph osd pool get k8s-volumes size size: pg的设置参照以下公式: Total PGs = ((Total_number_of_OSD * ) / max…

目录 ceph配置 k8s 配置 通过静态pv,pvc使用ceph 测试多pod挂载静态pv数据不一致问题 StoragaClass 方式 ceph 常用命令 k8s 常用命令 k8s各类端口及IP说明 端口说明 问题 PV访问模式 测试结果 参考 ceph配置 rbd create --size 100 rbd/nginx-image [root@localhost my-cluster]# rbd list nginx-image [root@localhost my-cluster]# r…

K8S 使用Ceph存储 PV.PVC概述 管理存储是管理计算的一个明显问题.PersistentVolume子系统为用户和管理员提供了一个API,用于抽象如何根据消费方式提供存储的详细信息.于是引入了两个新的API资源:PersistentVolume和PersistentVolumeClaim PersistentVolume(PV)是集群中已由管理员配置的一段网络存储. 集群中的资源就像一个节点是一个集群资源. PV是诸如卷之类的卷插件,但是具有独立于使用PV的任何单个pod的生命周期.…

0x00 概述 本文章介绍如何使用ceph为k8s提供动态申请pv的功能.ceph提供底层存储功能,cephfs方式支持k8s的pv的3种访问模式ReadWriteOnce,ReadOnlyMany ,ReadWriteMany ,RBD支持ReadWriteOnce,ReadOnlyMany两种模式 访问模式只是能力描述,并不是强制执行的,对于没有按pvc声明的方式使用pv,存储提供者应该负责访问时的运行错误.例如如果设置pvc的访问模式为ReadOnlyMany ,pod挂载后依然可写,如果…

k8s使用rbd作后端存储 k8s里的存储方式主要有三种.分别是volume.persistent volumes和dynamic volume provisioning. volume: 就是直接挂载在pod上的组件,k8s中所有的其他存储组件都是通过volume来跟pod直接联系的.volume有个type属性,type决定了挂载的存储是什么,常见的比如:emptyDir,hostPath,nfs,rbd,以及下文要说的persistentVolumeClaim等.跟docker里面的vol…

本文单从存储成本角度对比了自建Ceph存储和业界公有云存储的硬件成本,不包括IDC带宽成本. 统计Ceph集群的用到的主要设备为: OSD.MON.RGW服务器 .TOR交换机. 机架. 下表解释: Port : 交换机端口年成本 Rack : 机架租赁年成本 Server: OSD/MON/RGW 服务器的成本. OSD成本较高,采用了万兆网卡和12*4T硬盘. 成本数据来源 阿里:https://www.aliyun.com/price/product?spm=5176.7740655.2.…

Ceph 作为软件定义存储的代表之一,最近几年其发展势头很猛,也出现了不少公司在测试和生产系统中使用 Ceph 的案例,尽管与此同时许多人对它的抱怨也一直存在.本文试着整理作者了解到的一些使用案例. 1. 携程(Ctrip) 携程所使用的各种存储的现状: 商业存储: SAN(HP/ HPS) , 1+ PB, 数据库 NAS (HW) , 800+ TB, 文件共享 开源存储 GlusterFS, 1+ PB, 数据库备份 FastDFS,   1+ PB, 海量照片 HDFS,      10…

CEPH客户端: 大多数Ceph用户不会直接往Ceph存储集群里存储对象,他们通常会选择Ceph块设备.Ceph文件系统.Ceph对象存储之中的一个或多个: 块设备: 要实践本手册,你必须先完成存储集群入门 ,并确保 Ceph 存储集群处于 active + clean 状态,这样才能使用 Ceph 块设备. 1.在ceph-client安装ceph,在管理节点上,通过ceph-deploy把Ceph安装到ceph-client节点: ceph-deploy  install ceph-clie…

对象存储(而非块存储): 要把对象存入ceph集群,客户端必须做到: 1.指定对象名 2.指定存储池 Ceph客户端检出最新集群运行图,客户端用CRUSH算法动态地计算出如何把对象映射到归置组.然后计算如何把归置组分配到OSD.要定位对象,只需要对象名和存储池名字即可.例如: ceph osd map {poolname} {object-name} 练习:定位某个对象 1.先创建一个对象,有rados put 命令加上对象名.一个有数据的测试文件路径.并制定存储池. echo  {Test-d…

Ceph 存储集群 Ceph 作为软件定义存储的代表之一,最近几年其发展势头很猛,也出现了不少公司在测试和生产系统中使用 Ceph 的案例,尽管与此同时许多人对它的抱怨也一直存在.本文试着整理作者了解到的一些使用案例. 1. 携程(Ctrip) 携程所使用的各种存储的现状: 商业存储: SAN(HP/ HPS) , 1+ PB, 数据库 NAS (HW) , 800+ TB, 文件共享 开源存储 GlusterFS, 1+ PB, 数据库备份 FastDFS,   1+ PB, 海量照片 HDF…