描述   ceph-csi扩展各种存储类型的卷的管理能力,实现第三方存储ceph的各种操作能力与k8s存储系统的结合.调用第三方存储ceph的接口或命令,从而提供ceph数据卷的创建/删除.挂载/解除挂载的具体操作实现.前面分析组件中的对于数据卷的创建/删除.挂载/解除挂载操作,全是调用ceph-csi,然后由ceph-csi调用ceph提供的命令或接口来完成最终的操作. ceph-csi服务组成   ceph-csi含有rbdType.cephfsType.livenessType三大类型服务

更多ceph-csi其他源码分析,请查看下面这篇博文:kubernetes ceph-csi分析目录导航 ceph-csi源码分析(2)-组件启动参数分析 ceph-csi组件的源码分析分为五部分: (1)组件介绍与部署yaml分析: (2)组件启动参数分析: (3)rbd driver分析: (4)cephfs driver分析: (5)liveness driver分析. 本文将对ceph-csi组件的启动参数进行分析. 基于tag v3.0.0 https://github.com/cep

一 Rook概述 1.1 Ceph简介 Ceph是一种高度可扩展的分布式存储解决方案,提供对象.文件和块存储.在每个存储节点上,将找到Ceph存储对象的文件系统和Ceph OSD(对象存储守护程序)进程.在Ceph集群上,还存在Ceph MON(监控)守护程序,它们确保Ceph集群保持高可用性. 更多Ceph介绍参考:https://www.cnblogs.com/itzgr/category/1382602.html 1.2 Rook简介 Rook 是一个开源的cloud-native sto

来源:360云计算 KubeVirt是一个Kubernetes插件,在调度容器之余也可以调度传统的虚拟机.它通过使用自定义资源(CRD)和其它 Kubernetes 功能来无缝扩展现有的集群,以提供一组可用于管理虚拟机的虚拟化的API.本文作者经过长时间对kubevirt的调研和实践,总结了kubevirt的一些关键技术和使用经验,现在就跟随作者一起探讨下吧. 背景简介 当前公司的虚拟化存在两套调度平台,裸金属和vm由openstack调度,容器肯定是k8s调度.两套两班人马,人力和资源都存在着

容器的持久化存储 容器的持久化存储是保存容器存储状态的重要手段,存储插件会在容器里挂载一个基于网络或者其他机制的远程数据卷,使得在容器里创建的文件,实际上是保存在远程存储服务器上,或者以分布式的方式保存在多个节点上,而与当前宿主机没有任何绑定关系.这样,无论你在其他哪个宿主机上启动新的容器,都可以请求挂载指定的持久化存储卷,从而访问到数据卷里保存的内容.由于 Kubernetes 本身的松耦合设计,绝大多数存储项目,比如 Ceph.GlusterFS.NFS 等,都可以为 Kubernetes

一 CSI存储机制 1.1 CSI简介 Kubernetes从1.9版本开始引入容器存储接口Container Storage Interface(CSI)机制,用于在Kubernetes和外部存储系统之间建立一套标准的存储管理接口,通过该接口为容器提供存储服务. 1.2 CSI的设计背景 Kubernetes通过PV.PVC.Storageclass已经提供了一种强大的基于插件的存储管理机制,但是各种存储插件提供的存储服务都是基于一种被称为"in-true"(树内)的方式提供的,这要

简介 ceph作为一个统一的分布式存储系统,提供了高性能,高可用性,高扩展性.ceph的统一体现在其可以提供文件系统.块存储.对象存储,在云环境中,通常采用ceph作为后端存储来保证数据的高可用性. ceph发表于2004年,随后开源给社区.进过十几年发展,目前得到众多云厂商支持并广泛使用.比如openstack\kubernetes\虚拟机系统等... 架构图: 特点 高性能 采用CRUSH算法,数据分布均衡,并行度高. 容灾域的隔离,能够实现各类负载的副本放置规则,例如跨机房.机架感知等.

kubernetes ceph-csi分析目录导航 Node Driver Registrar分析 node-driver-registrar是一个sidecar容器,通过Kubelet的插件注册机制将CSI plugin(csi driver,两个名词意义一样)注册到Kubelet,让kubelet做volume的mount/umount操作时知道怎么调用相应的csi plugin. Node Driver Registrar的内容相对简单,将在本文中对其作用.源码.组件间调用逻辑等进行分析.

kubelet注册csi driver分析 kubelet注册csi driver的相关功能代码与kubelet的pluginManager有关,所以接下来对pluginManager进行分析.分析将分为pluginManager的初始化分析以及pluginManager的运行(处理逻辑)分析. 基于tag v1.17.4 https://github.com/kubernetes/kubernetes/releases/tag/v1.17.4 kubelet注册csi driver的原理 ku

更多 k8s CSI 的分析,可以查看这篇博客kubernetes ceph-csi分析,以 ceph-csi 为例,做了详细的源码分析. 概述 kubernetes的设计初衷是支持可插拔架构,从而利于扩展kubernetes的功能.在此架构思想下,kubernetes提供了3个特定功能的接口,分别是容器网络接口CNI.容器运行时接口CRI和容器存储接口CSI.kubernetes通过调用这几个接口,来完成相应的功能. 下面我们来对容器存储接口CSI来做一下介绍与分析. 在本文中,会对CSI是什

描述 ceph-csi扩展各种存储类型的卷的管理能力,实现第三方存储ceph的各种操作能力与k8s存储系统的结合.通过 ceph-csi 使用 ceph rbd块设备,它动态地提供rbd以支持 Kubernetes 持久化存储,并将这些rbd映射给 pod做为块设备持久化数据使用. Ceph 将pod存在块设备的数据以副本机制的方式存储在多个osd上,实现pod数据具有更高的可靠性. 部署环境信息 OS: CentOS Linux release 7.9.2009 (Core) Kubectl

转载自:https://mp.weixin.qq.com/s/CdLioTzU4oWI688lqYKXUQ 1 环境准备 1.1 基础环境 3台配置一致的虚拟机 虚拟机配置:4c 8g 虚拟机操作系统:centos7 硬盘:vda:40G vdb:20G Kubernete 版本:1.20.0 Docker版本:20.10.7 默认k8s 已安装完成,采用kubeadm 容器化安装 1.2 所安装rook/ceph版本: ceph:v15.2.11 rook:1.6.3 1.3 前提 正常运行的

http://docs.ceph.com/docs/giant/cephfs/hadoop/ https://indico.cern.ch/event/524549/contributions/2185930/attachments/1290231/1921189/2016.06.13_-_Spark_on_Ceph.pdf http://www.ibm.com/developerworks/cn/opensource/os-cn-spark/

庆祝一下!经过社区老司机的带路,昨天提交了第一个ceph pull request.实现了从0到1的突破,希望再接再厉提交更多代码到社区,为社区发展贡献一点自己力量. 提交的第一个被社区fix的bug:http://tracker.ceph.com/issues/16654 提交的第一个 pull request : https://github.com/ceph/ceph/pull/12664, 等待被社区接受中-- 顺便在这里总结一下提交Ceph代码的流程和规范. 正常流程 应该是track

import java.io.File;   import com.amazonaws.AmazonClientException; import com.amazonaws.auth.profile.ProfileCredentialsProvider; import com.amazonaws.services.s3.transfer.TransferManager; import com.amazonaws.services.s3.transfer.Upload;   public cla

使用Ceph-deploy完成RGW服务部署后(最好是在部署RGW服务前建立如下这些pool),使用sudo ceph osd lspools 命令,会发现RGW自动以默认参数创建了N个rgw相关的pool. 然而这些pool的参数按默认是不符合要求. 因此需要重建这些pool. 步骤如下: 1. 删除Pool : sudo ceph osd pool delete .rgw.root .rgw.root --yes-i-really-really-mean-it sudo ceph osd p

本文单从存储成本角度对比了自建Ceph存储和业界公有云存储的硬件成本,不包括IDC带宽成本. 统计Ceph集群的用到的主要设备为: OSD.MON.RGW服务器 .TOR交换机. 机架. 下表解释: Port : 交换机端口年成本 Rack : 机架租赁年成本 Server: OSD/MON/RGW 服务器的成本. OSD成本较高,采用了万兆网卡和12*4T硬盘. 成本数据来源 阿里:https://www.aliyun.com/price/product?spm=5176.7740655.2.

本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 (5)Ceph 与 OpenStack 集成的实现 (6)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (7)Ceph 的基本操作和常见故障排除方法 (8)基本的性能测试工具和方法 (9) pool 的size 和 min_size,choose 和 chooseleaf,pg scru

cat /etc/nginx/sites-enabled/rgw.conf server { listen 80 default; #server_name .com .com.cn .net .cn .org .tv .cc .hk .tw; server_name ceph-rgw; client_max_body_size 20M; location / { fastcgi_pass_header Authorization; fastcgi_pass_request_headers on

网络结构 Ceph 使用以太网连接内部各存储节点以及连接 client 和集群.Ceph 推荐使用两个网络: 前端(北向)网络( a public (front-side) network):连接客户端和集群 The public network handles client traffic and communication with Ceph monitors. 后端/东西向网络 (a cluster (back-side) network):连接 Ceph 各存储节  The cluste