原文:https://www.fullstackmemo.com/2018/10/11/cephfs-ha-mount-storage/ 服务器硬件配置及环境 项目 说明 CPU 1核 内存 1GB 硬盘 40GB 系统 CentOS 7.5 时间同步服务 chrony ceph 13.2.2-0 节点部署图 节点功能简介 项目 说明 yum repo 如果部署环境每个节点都可以访问外网, 则无需做任何操作, 部署脚本会自动添加外网环境的yum源. 如果部署无法访问外网, 需要自行部署cento

前言 如果用cephfs比较多,应该都知道,在cephfs的客户端进行mount以后,看到的容量显示的是集群的总的容量,也就是你的总的磁盘空间是多少这个地方显示的就是多少 这个一直都是这样显示的,我们之前在hammer版本的时候,阿茂和大黄一起在公司内部实现了这个功能,社区会慢慢的集成一些类似的面向面向商业用户的需求 社区已经开发了一个版本,接口都做的差不多了,那么稍微改改,就能实现想要的需求的 本篇内的改动是基于内核客户端代码的改动,改动很小,应该能够看的懂 改动过程 首先找到这个补丁 Imp

我们有给客户搭建私有容器仓库的需求.开源的私有容器registry可供选择的不多,除了docker官方的distribution之外,比较知名的是VMware China出品的Harbor,我们选择了harbor. harbor在docker distribution的基础上增加了一些安全.访问控制.管理的功能以满足企业对于镜像仓库的需求.harbor以docker-compose的规范形式组织各个组件,并通过docker-compose工具进行启停. 不过,harbor默认的安装配置是针对si

一.验证OSD 1.1 osd状态 运行状态有:up,in,out,down 正常状态的OSD为up且in 当OSD故障时,守护进程offline,在5分钟内,集群仍会将其标记为up和in,这是为了防止网络抖动 如果5分钟内仍未恢复,则会标记为down和out.此时该OSD上的PG开始迁移.这个5分钟的时间间隔可以通过mon_osd_down_out_interval配置项修改 当故障的OSD重新上线以后,会触发新的数据再平衡 当集群有noout标志位时,则osd下线不会导致数据重平衡 OSD每

1.ceph存储集群的访问接口   1.1ceph块设备接口(RBD) ceph块设备,也称为RADOS块设备(简称RBD),是一种基于RADOS存储系统支持超配(thin-provisioned).可伸缩的条带化数据存储系统,它通过librbd库与OSD进行交互.RBD为KVM等虚拟化技术和云OS(例如Openstack和CloudStack)提供高性能和无限可扩展的存储后端,这些系统依赖于libvirt和QEMU实用程序于RBD进行集成.   客户端基于librbd库即可将RADOS存储集群

前文我们了解了Ceph集群cephx认证和授权相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16748149.html:今天我们来聊一聊ceph集群的RBD接口使用相关话题: RBD是ceph集群向外提供存储服务的一种接口,该接口是基于ceph底层存储集群librados api构建的接口:即RBD是构建在librados之上向外提供存储服务的:对于客户端来说RBD主要是将rados集群之上的某个存储池里的空间通过librados抽象为一块或多块

HDFS Federation HDFS Federation 1 Background 2.多个namenode/namespace 2.1 关键好处 3 联合配置 3.1 配置 3.2 格式化namenode 3.3 更新老的release并且配置联合 3.4 增加新的namenode到已经存在的cluster 4 管理集群 4.1 启动和关闭集群 4.2 均衡器 4.3 停止运行 4.4 Cluster Web Console 1 Background HDFS主要有2层 ·       

目录 缓存池简介 缓存池原理 缓存池的工作模式 配置缓存池 1. 创建一个缓存池 2. 设置缓存层 3. 缓存层相关参数说明 4. 测试缓存池 删除缓存池 1. 删除read-only缓存池 2. 删除writeback缓存池 缓存池简介 缓存池原理 ceph的缓存分层特性是在ceph的F版当中正式发布的.所谓的缓存分层其实就是在更快的磁盘(通常是ssd)上创建一个存储池.然后将这个存储池放置在常规的复制池或者纠删码池的前端充当缓存.这样所有的客户端I/O操作都首先由缓存池处理,之后再将数据写回

一.概述 1.我们此前讲过根据应用本身是否需要持久存储数据以及某一次请求和之前的请求是否有联系,可以分为四类应用 a.有状态,要存储 b.有状态,无持久存储 c.无状态,要存储 d.无状态,无持久存储 其中,大多数和数据存储服务相关的应用和有状态应用几乎都是需要持久存储数据的.在docker中说过,容器有生命周期,为了使容器将来终结以后可以把其删除,甚至是编排到其它节点上去运行,意味着我们数据不能放在容器本地,不能放在容器自己的名称空间中.注意这是两套逻辑,以k8s为例,pod运行时应该是运行在

常用命令ceph -w ceph df ceph features ceph fs ls ceph fs status ceph fsid ceph health ceph -s ceph status ceph mgr module ls ceph mgr module enable dashboard ceph mgr services ceph mon feature ls ceph node ls ceph osd crush rule ls ceph osd crush rule du

一.理解Cluster Map cluster map由monitor维护,用于跟踪ceph集群状态 当client启动时,会连接monitor获取cluster map副本,发现所有其他组件的位置,然后直接与所需的进程通信,以存储和检索数据 monitor跟踪这些集群组件的状态,也负责管理守护进程和客户端之间的身份验证 cluster map实际是多种map的集群,包含:monitor map.osd map.pg map.mds map.mgr map.service map 1.1 Cli

随着业务的扩展,原有的存储池不够用了,这时我们就需要给ceph添加新的存储节点,这里以新加ceph-host-05节点为例   准备工作 给所有节点hosts文件添加10.30.1.225 ceph-host-05,并修改ceph-host-05的/etc/hosts节点如下 [root@ceph-host-05 ~]# cat /etc/hosts 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdo

前文我们聊到了k8s上的ingress资源相关话题,回顾请参考:https://www.cnblogs.com/qiuhom-1874/p/14167581.html:今天们来聊一下k8s上volume相关话题: 在说k8s上的volume的使用前,我们先来回顾下docker里的volume:对于docker容器来说,镜像是分成构建的且每一层都是只读的,只读就意味着不能修改数据:只有当一个镜像运行为容器以后,在镜像的最顶端才会加上一个可写层,一旦这个容器被删除,对应可写层上的数据也随之被删除:为

K8S 使用Ceph存储 PV.PVC概述 管理存储是管理计算的一个明显问题.PersistentVolume子系统为用户和管理员提供了一个API,用于抽象如何根据消费方式提供存储的详细信息.于是引入了两个新的API资源:PersistentVolume和PersistentVolumeClaim PersistentVolume(PV)是集群中已由管理员配置的一段网络存储. 集群中的资源就像一个节点是一个集群资源. PV是诸如卷之类的卷插件,但是具有独立于使用PV的任何单个pod的生命周期.

静态 Pod 在 Kubernetes 集群中除了我们经常使用到的普通的 Pod 外,还有一种特殊的 Pod,叫做Static Pod,也就是我们说的静态 Pod,静态 Pod 有什么特殊的地方呢? 静态 Pod 直接由节点上的 kubelet 进程来管理,不通过 master 节点上的 apiserver.无法与我们常用的控制器 Deployment 或者 DaemonSet 进行关联,它由 kubelet 进程自己来监控,当 pod 崩溃时会重启该 pod,kubelet 也无法对他们进行健

前文我们了解了Ceph的访问接口的启用相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16727620.html:今天我们来聊一聊获取ceph集群状态和ceph配置文件说明相关话题: Ceph集群状态获取常用命令 1.ceph -s :该命令用于输出ceph集群系统状态信息 提示:ceph -s主要输出有三类信息,一类是集群相关信息,比如集群id,健康状态:第二类是服务类相关信息,比如集群运行了几个mon节点,几个mgr节点,几个mds,osd和r

前文我们了解了ceph的存储池.PG.CRUSH.客户端IO的简要工作过程.Ceph客户端计算PG_ID的步骤的相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16733806.html:今天我们来聊一聊在ceph上操作存储池相关命令的用法和说明: 在ceph上操作存储池不外乎就是查看列出.创建.重命名和删除等操作,常用相关的工具都是"ceph osd pool"的子命令,ls.create.rename和rm等: 1.创建存储池 副本型

Ceph RBD  CephFS 存储 环境准备: (这里只做基础测试, ceph-manager , ceph-mon, ceph-osd 一共三台) 10.6.0.140 = ceph-manager 10.6.0.187 = ceph-mon-1 10.6.0.188 = ceph-osd-1 10.6.0.94 = node-94 注: ceph 对时间要求很严格, 一定要同步所有的服务器时间 一.在 manager 上面修改 /etc/hosts : 10.6.0.187 ceph-m

Ceph 文件系统( Ceph FS )是个 POSIX 兼容的文件系统,它使用 Ceph 存储集群来存储数据.Ceph 文件系统要求 Ceph 存储集群内至少有一个 Ceph 元数据服务器. 1.添加MDS,接上篇,这里把ceph01节点作为元数据服务器MDS. #ceph-deploy mds create ceph01 #netstat -tnlp | grep mds tcp 0 0 172.16.100.5:6804 0.0.0.0:* LISTEN 12787/ceph-mds 2.

一.介绍: ceph MDS 是元数据服务器,只有ceph 文件系统(cephFS)才会需要. cephFS 在RADOS 层之上 提供一个兼容POSIX 的文件系统.他是用MDS 作为守护进程,负责管理其元素数据并将它和其他数据分开. cephfs 需要用到两个pool : fs_data 和fs_metadata. 在初次使用ceph 就能之前需要首先规划 集群一共承载多少存储业务,创建多少个 pool,最后得到每个存储应该分配多少个pg. pg 数量计算: 集群PG总数: PG 总数= (