添加或删除osd均在ceph部署节点的cent用户下的ceph目录进行. 1. 添加osd 当前ceph集群中有如下osd,现在准备新添加osd: (1)选择一个osd节点,添加好新的硬盘: (2)显示osd节点中的硬盘,并重置新的osd硬盘: 列出节点磁盘: ceph-deploy disk list rab1 擦净节点磁盘: ceph-deploy disk zap rab1 /dev/sbd(或者)ceph-deploy disk zap rab1:/dev/vdb1 (3)准备Objec

前言 我们在使用集群的时候,一般来说比较关注的是后台的集群的状态,但是在做一些更人性化的管理功能的时候,就需要考虑到更多的细节 本篇就是其中的一个点,查询ceph被哪些客户端连接了 实践 从接口上来说,ceph提供了文件,块,和对象的接口,所以不同的接口需要不同的查询方式,因为我接触文件和块比较多,并且文件和块存储属于长连接类型,对象属于请求类型,所以主要关注文件和块存储的连接信息查询 我的集群状态如下 [root@lab8106 ~]# ceph -s cluster 3daaf51a-eeb

测试信息如下: [root@ceph_1 ~]# ceph osd pool lsrbdchy_123swimmingpool #新建rbd 块: rbd create swimmingpool/bar  --size 10G --image-format 2 #查看块信息: rbd ls #将rbd 块映射到主机: rbd map  swimmingpool/bar #报错内容如下 rbd: sysfs write failed RBD image feature set mismatch.

场景介绍:在我们的IDC中,存在着运行了3-6年的Ceph集群的服务器,这些服务器性能和容量等都已经无法满足当前业务的需求,在购入一批高性能机器后,希望将旧机器上的集群整体迁移到新机器上,当然,是保证业务不中断的前提下,再将旧机器下架回收.本文就介绍了一种实现业务不中断的数据迁移方案,并已经在多个生产环境执行. 本文的环境均为:Openstack+Ceph 运行虚拟机的场景,即主要使用RBD,不包含RGW,MDS.虚机的系统盘(Nova),云硬盘(Cinder),镜像盘(Glance)的块均保存

结合网络.官网.手动查询等多方渠道,整理ceph维护管理常用命令,并且梳理常规命令在使用过程中的逻辑顺序.另外整理期间发现ceph 集群的命令体系有点乱,详细情况各自体验. 一:ceph集群启动.重启.停止 1:ceph 命令的选项如下: 选项简写描述 --verbose-v详细的日志. --valgrindN/A(只适合开发者和质检人员)用 Valgrind 调试. --allhosts-a在 ceph.conf 里配置的所有主机上执行,否 则它只在本机执行. --restartN/A核心转储

问题:集群状态,坏了一个盘,pg状态好像有点问题[root@ceph-1 ~]# ceph -s    cluster 72f44b06-b8d3-44cc-bb8b-2048f5b4acfe     health HEALTH_WARN            64 pgs degraded            64 pgs stuck degraded            64 pgs stuck unclean            64 pgs stuck undersized    

问题:集群状态,坏了一个盘,pg状态好像有点问题[root@ceph-1 ~]# ceph -s    cluster 72f44b06-b8d3-44cc-bb8b-2048f5b4acfe     health HEALTH_WARN            64 pgs degraded            64 pgs stuck degraded            64 pgs stuck unclean            64 pgs stuck undersized    

搭建 Ceph 分布式集群( nautilus 版本 ) 一.服务器环境说明 主机名 角色 IP地址 ceph-admin ceph-deploy 192.168.92.21 ceph-node1 mon.mgr.osd 192.168.92.22 ceph-node2 mon.mgr.osd 192.168.92.23 ceph-node3 mon.mgr.osd 192.168.92.24 二.集群架构图 三.服务器环境准备 1. 配置 yum 仓库地址 对所有机器配置 epel 仓库.基础

1.三台Centos7的主机 [root@ceph-1 ~]# cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core)    2.主机准备 IP地址       主机名 172.16.10.210   admin-node  #管理端,后续的ceph-deploy工具都在该主机上进行操作,并且也充当监控和osd.0节点 172.16.10.211   node1     #监控和osd.1节点 172.16.10.212   no

ceph-deploy部署ceph集群 环境介绍 主机名 ip地址 操作系统 角色 备注 ceph-node1 10.153.204.13 Centos7.6 mon.osd.mds.mgr.rgw.ceph-deploy chronyd时钟同步(主) ceph-node2 10.130.22.45 Centos7.6 mon.osd.mds.mgr.rgw chronyd时钟同步 ceph-node3 10.153.204.28 Centos7.3 mon.osd chronyd时钟同步 此环

ceph集群rbd使用详解 一个完整的ceph集群,可以提供块存储.文件系统和对象存储. 本节主要介绍rbd存储功能如何灵活的使用,集群背景: $ ceph -s cluster: id: 537175bb-51de-4cc4-9ee3-b5ba8842bff2 health: HEALTH_OK services: mon: 3 daemons, quorum ceph-node1,ceph-node2,ceph-node3 (age 2m) mgr: ceph-node1(active, s

前文我们了解了cephfs使用相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16758866.html:今天我们来聊一聊MDS组件扩展相关话题: 我们知道MDS是为了实现cephfs而运行的进程,主要负责管理文件系统元数据信息:这意味着客户端使用cephfs存取数据,都会先联系mds找元数据:然后mds再去元数据存储池读取数据,然后返回给客户端:即元素存储池只能由mds操作:换句话说,mds是访问cephfs的唯一入口:那么问题来了,如果ceph

在虚拟化及云计算技术大规模应用于企业数据中心的科技潮流中,存储性能无疑是企业核心应用是否虚拟化.云化的关键指标之一.传统的做法是升级存储设备,但这没解决根本问题,性能和容量不能兼顾,并且解决不好设备利旧问题.因此,企业迫切需要一种大规模分布式存储管理软件,能充分利用已有硬件资源,在可控成本范围内提供最佳的存储性能,并能根据业务需求变化,从容量和性能两方面同时快速横向扩展.这就是Server SAN兴起的现实基础. Ceph作为Server SAN的最典型代表,可对外提供块.对象.文件服务的分布式

所有 Ceph 部署都始于 Ceph 存储集群.一个 Ceph 集群可以包含数千个存储节点,最简系统至少需要一个监视器和两个 OSD 才能做到数据复制.Ceph 文件系统. Ceph 对象存储.和 Ceph 块设备从 Ceph 存储集群读出和写入数据. Ceph架构图 1.集群配置 节点 IP 功能 ceph01 172.16.100.5 deploy,mon,osd*2,mds ceph02 172.16.100.6 mon,osd*2 ceph03 172.16.100.7 mon,osd*

第1章   CEPH部署 1.1  简单介绍 Ceph的部署模式下主要包含以下几个类型的节点 Ø CephOSDs: A Ceph OSD 进程主要用来存储数据,处理数据的replication,恢复,填充,调整资源组合以及通过检查其他OSD进程的心跳信息提供一些监控信息给Ceph Monitors . 当Ceph Storage Cluster 要准备2份数据备份时,要求至少有2个CephOSD进程的状态是active+clean状态 (Ceph 默认会提供两份数据备份). Ø Monitor

背景 Ceph官方现在提供两类镜像来创建集群,一种是常规的,每一种Ceph组件是单独的一个镜像,如ceph/daemon.ceph/radosgw.ceph/mon.ceph/osd等:另外一种是最新的方式,所有的Ceph组件都集成在一个镜像ceph/daemon中,如果要创建对应的Ceph组件容器,只需要指定类型即可.这里,我们使用第一种方式来创建Ceph集群. 另外,这里所有的容器,都是在同一个Docker host上创建的. 重新开始 在搭建过程中,如果遇到了任何问题,想删除之前的环境,并

CEPH 1.组成部分 1.1 monitor admin节点安装ceph-deploy工具 admin节点安装ceph-deploy 添加源信息 rm -f /etc/yum.repos.d/* wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/rep

集群准备 ceph集群配置说明   节点名称 IP地址 配置 作用 ceph-moni-0 10.10.3.150 centos7.5 4C,16G,200Disk 管理节点,监视器 monitor ceph-moni-1 10.10.3.151 centos7.5 4C,16G,200Disk 监视器 monitor ceph-moni-2 10.10.3.152 centos7.5 4C,16G,200Disk 监视器 monitor ceph-osd-0 10.10.3.153 cento

  参考文档:CEPH官网集群操作文档   概述 Ceph存储集群是所有Ceph部署的基础. 基于RADOS,Ceph存储集群由两种类型的守护进程组成:Ceph OSD守护进程(OSD)将数据作为对象存储在存储节点上; Ceph Monitor(MON)维护集群映射的主副本. Ceph存储集群可能包含数千个存储节点. 最小系统将至少有一个Ceph Monitor和两个Ceph OSD守护进程用于数据复制.   Ceph文件系统,Ceph对象存储和Ceph块设备从Ceph存储集群读取数据并将数据写

1.确保ceph集群是连通状态 这里,可以先把机器配置为以前的x.x.x.x的网络,确保ceph集群是可以通的.这里可以执行下面的命令查看是否连通,显示HEALTH_OK则表示连通 2.获取monmap,并查看 [root@k8s-node1 ~]# mkdir ceph-tmp [root@k8s-node1 ~]# cd ceph-tmp/ [root@k8s-node1 ceph-tmp]# ceph mon getmap -o map [root@k8s-node1 ceph-tmp]#

集群规划配置 master1    172.16.230.21master2    172.16.230.22master3 172.16.230.23node1 172.16.230.26node2 172.16.230.27node3 172.16.23028 一. 模拟monitor 宕机状态 2. 测试删除monitor节点, 把master3 关机 发现 master3 节点已经宕机, 具体操作步骤,需要删除配置文件中master3 信息,同步ceph.conf 配置文件 ,然后命令删