一、有一个ceph cluster,假设已经准备好了,文档网上一大堆

二、开始集成ceph和kuberntes

2.1 禁用rbd features

rbd image有4个 features,layering, exclusive-lock, object-map, fast-diff, deep-flatten
因为目前内核仅支持layering,修改默认配置
每个ceph node的/etc/ceph/ceph.conf 添加一行
rbd_default_features = 1
这样之后创建的image 只有这一个feature

验证方式:

ceph --show-config|grep rbd|grep features
rbd_default_features = 1

2.2 创建ceph-secret这个k8s secret对象,这个secret对象用于k8s volume插件访问ceph集群:

获取client.admin的keyring值,并用base64编码:

# ceph auth get-key client.admin
AQBRIaFYqWT8AhAAUtmJgeNFW/o1ylUzssQQhA==
# echo "AQBRIaFYqWT8AhAAUtmJgeNFW/o1ylUzssQQhA=="|base64
QVFCUklhRllxV1Q4QWhBQVV0bUpnZU5GVy9vMXlsVXpzc1FRaEE9PQo=

创建ceph-secret.yaml文件,data下的key字段值即为上面得到的编码值:

apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
data:
  key: QVFCUklhRllxV1Q4QWhBQVV0bUpnZU5GVy9vMXlsVXpzc1FRaEE9PQo=

创建ceph-secret:

# kubectl create -f ceph-secret.yaml
secret "ceph-secret" created
# kubectl get secret
NAME     TYPE    DATA      AGE
ceph-secret  Opaque   1       2d
default-token-5vt3n  kubernetes.io/service-account-token 3 106d

三、Kubernetes Persistent Volume和Persistent Volume Claim
概念:PV是集群的资源,PVC请求资源并检查资源是否可用
注意:以下操作设计到name的参数,一定要一致

3.1 创建disk image (以jdk保存到ceph举例)

# rbd create jdk-image -s 1G
# rbd info jdk-image
rbd image ‘jdk-image‘:
        size 1024 MB in 256 objects
        order 22 (4096 kB objects)
        block_name_prefix: rbd_data.37642ae8944a
        format: 2
        features: layering
        flags:

3.2 创建pv

创建mysql-hzb-pv.yaml:

方式一:
monitors: 就是ceph的mon,有几个写几个

apiVersion: v1
kind: PersistentVolume
metadata:
name: mysql-hzb-pv
spec:
capacity:
storage: 10Gi
accessModes:
- ReadWriteOnce
rbd:
monitors:
- 172.16.60.41:6789
- 172.16.60.42:6789
- 172.16.60.43:6789
pool: rbd
image: mysql-hzb
user: admin
keyring: "/etc/ceph/ceph.client.admin.keyring"
fsType: ext4
readOnly: false
persistentVolumeReclaimPolicy: Recycle

方式二(仍然使用之前创建的ceph-secret):

apiVersion: v1
kind: PersistentVolume
metadata:
name: mysql-hzb-pv
spec:
capacity:
storage: 10Gi
accessModes:
- ReadWriteOnce
rbd:
monitors:
- 172.16.60.41:6789
- 172.16.60.42:6789
- 172.16.60.43:6789
pool: rbd
image: mysql-hzb
user: admin
secretRef:
name: ceph-secret

fsType: ext4
readOnly: false
persistentVolumeReclaimPolicy: Recycle

注意上面两种方式的红色部分的区别

执行创建操作:

# kubectl create -f mysql-hzb-pv.yaml
persistentvolume "mysql-hzb-pv" created
#kubectl get pv
NAME       CAPACITY    ACCESSMODES   RECLAIMPOLICY   STATUS       CLAIM       REASON    AGE
mysql-hzb-pv    10Gi        RWO           Recycle         Available            default/mysql-hzb-pvc 34m

3.3 创建pvc
创建mysql-hzb-pvc.yaml

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: mysql-hzb-pvc
spec:
accessModes:
- ReadWriteOnce
volumeName: mysql-hzb-pv
resources:
requests:
storage: 10Gi

执行创建操作:

# kubectl create -f mysql-hzb-pvc.yaml
persistentvolumeclaim "mysql-hzb-pv" created
# kubectl get pvc
NAME      STATUS    VOLUME     CAPACITY   ACCESSMODES   AGE
mysql-hzb-pvc    Bound     mysql-hzb-pv    10Gi     RWO        39s

3.4 创建挂载ceph rbd的pod:
创建 mysql-hzb-pod.yaml

apiVersion: v1
kind: Pod
metadata:
name: ceph-mysql-hzb-pod
spec:
containers:
- name: mysql-hzb
image: 172.16.101.192/common/mysql:5.6
env:
- name: MYSQL_ROOT_PASSWORD
value: "root"
volumeMounts:
- name: ceph-mysql-hzb-vl
mountPath: /var/lib/mysql
readOnly: false
volumes:
- name: ceph-mysql-hzb-vl
persistentVolumeClaim:
claimName: mysql-hzb-pvc

上面的两处红色的名字一定要一样

执行创建操作:

kubectl create -f mysql-hzb-pod.yaml

ceph rbd 持久化 这里描述下:

1、稳定性在于ceph
2、只能同一node挂载,不能跨node
3、读写只能一个pod,其他pod只能读

官方url描述

https://kubernetes.io/docs/user-guide/volumes/#rbd

附官方关于kubernetes的volume的mode

https://kubernetes.io/docs/user-guide/persistent-volumes/

本文出自 “银狐” 博客,请务必保留此出处http://foxhound.blog.51cto.com/1167932/1899545

kubernetes使用ceph的更多相关文章

  1. Kubernetes配置Ceph RBD StorageClass

    1. 在Ceph上为Kubernetes创建一个存储池 # ceph osd pool create k8s 2. 创建k8s用户 # ceph auth get-or-create client.k ...

  2. kubernetes挂载ceph rbd和cephfs的方法

    目录 k8s挂载Ceph RBD PV & PVC方式 创建secret 创建PV 创建PVC 创建deployment挂载PVC StorageClass方式 创建secret 创建Stor ...

  3. 腾讯基于Kubernetes的企业级容器云平台GaiaStack (转)

    GaiaStack介绍 GaiaStack是腾讯基于Kubernetes打造的容器私有云平台.这里有几个关键词: 腾讯:GaiaStack可服务腾讯内部所有BG的业务: Kubernetes:Gaia ...

  4. Hypernetes简介——真正多租户的Kubernetes Distro

    http://www.dockone.io/article/838 Hypernetes是一个真正多租户的Kubernetes Distro. Hypernetes在Kubernetes基础上增加了多 ...

  5. Kubernetes添加带Quota限额的CephFS StorageClass

    1. 在Ceph上为Kubernetes创建一个文件系统 # ceph osd pool create cephfs_data # ceph osd pool create cephfs_metada ...

  6. SUSE CaaS Platform 4 - 使用 Ceph RBD 作为持久存储 (静态)

    1.所有节点安装 # zypper -n in ceph-common 复制 ceph.conf 到 worker 节点上 # scp admin:/etc/ceph/ceph.conf /etc/c ...

  7. jenkins-gitlab-harbor-ceph基于Kubernetes的CI/CD运用(四)

    前景提要 jenkins与gitlab结合,实现代码自动拉取:https://www.cnblogs.com/zisefeizhu/p/12548662.html jenkins与kubernetes ...

  8. kubernetes 1.17.2结合ceph13.2.8 实现jenkins部署并用traefik2.1代理

    注:关于ceph.kubernetes集群的部署在此不声明,相信搜到本篇博文,你一定对ceph.kubernetes的部署环节手刃有余. 注:本篇博文牵扯到的技术点有:ceph.kubernetes. ...

  9. Kubernetes 持久化存储是个难题,解决方案有哪些?\n

    像Kubernetes 这样的容器编排工具正在彻底改变应用程序的开发和部署方式.随着微服务架构的兴起,以及基础架构与应用程序逻辑从开发人员的角度解耦,开发人员越来越关注构建软件和交付价值. Kuber ...

随机推荐

  1. 一种SequenceFile的格式研究

    最近仔细研究了以下公司中使用的SequenceFile文件格式,SequenceFile的格式比较紧凑,实现了从中间读取文件内容(便于hadoop将文件进行适当地切分),同时也可以支持仅读取文件的元数 ...

  2. Windows2012使用笔记

    一.介绍 win 2012的名字于北京时间2012年4月18日公布,全称Windows Server 2012(下面简称win 2012),正式版于2012年9月4日发布.这是一套基于Windows ...

  3. 【BZOJ】2938 [POI2000]病毒(AC自动机)

    题目 传送门:QWQ 传送到洛谷QWQ 分析 夏爷爷传送门 代码 #include <bits/stdc++.h> using namespace std; ; ][], fail[N*] ...

  4. Docking非原生配体

    转载于 https://mp.weixin.qq.com/s/VDN1qAZGIMol6prwQW4umw Docking非原生配体 在前面的例子中,AutoDock Vina能把配体构象调整到几乎原 ...

  5. windows下使用SQLPLUS制作BAT执行SQL文件

    假如你把需要的SQL操作信息等均放入到一个SQL文件中,需要制作一个bat文件来执行这个sql文件,那么你的bat文件中,在sqlplus登录语句后的信息不能换行,换行的话则执行登录sqlplus后就 ...

  6. Spring高级话题

    Spring Aware 在实际项目中,你不可避免的要用到spring容器本身的功能资源,这时你的bean要意识到spring容器的存在,才能调用spring提供的资源.spring aware本来就 ...

  7. krpano之小地图

    效果: 点击地图按钮时,小地图移入,再次点击时移出. 地图上显示表示场景位置的坐标点,和可控制场景观看方向的雷达区. 插件: radar.js(plugins) radar.swf(plugins) ...

  8. IOS 阻止 锁屏

    [UIApplication sharedApplication].idleTimerDisabled=YES;不自动锁屏 idleTimerDisabled

  9. ojective-c convert to pascal pattern

    ojective-c convert to pascal pattern http://www.cnblogs.com/cnsoft/archive/2013/06/09/3128619.html C ...

  10. ros ddns

    ROS5X-6X脚本(10-15分钟执行一次) #DDNS本站帐号 :global ddnsuser "用户名" #DDNS本站密码 :global ddnspass " ...