ceph集群新搭建以后是只有一个默认的存储池rbd的池 ## 创建文件接口集群 1.创建一个元数据池 [root@mytest ~]# ceph osd pool create metadata 20 20 pool 'metadata' created 2.创建一个数据池 [root@mytest ~]# ceph osd pool create data 20 20 pool 'data' created 3.创建一个文件系统 [root@mytest ~]# ceph fs new cep…

前文我们了解了cephfs使用相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16758866.html:今天我们来聊一聊MDS组件扩展相关话题: 我们知道MDS是为了实现cephfs而运行的进程,主要负责管理文件系统元数据信息:这意味着客户端使用cephfs存取数据,都会先联系mds找元数据:然后mds再去元数据存储池读取数据,然后返回给客户端:即元素存储池只能由mds操作:换句话说,mds是访问cephfs的唯一入口:那么问题来了,如果ceph…

第1章   CEPH部署 1.1  简单介绍 Ceph的部署模式下主要包含以下几个类型的节点 Ø CephOSDs: A Ceph OSD 进程主要用来存储数据,处理数据的replication,恢复,填充,调整资源组合以及通过检查其他OSD进程的心跳信息提供一些监控信息给Ceph Monitors . 当Ceph Storage Cluster 要准备2份数据备份时,要求至少有2个CephOSD进程的状态是active+clean状态 (Ceph 默认会提供两份数据备份). Ø Monitor…

  参考文档:CEPH官网集群操作文档   概述 Ceph存储集群是所有Ceph部署的基础. 基于RADOS,Ceph存储集群由两种类型的守护进程组成:Ceph OSD守护进程(OSD)将数据作为对象存储在存储节点上; Ceph Monitor(MON)维护集群映射的主副本. Ceph存储集群可能包含数千个存储节点. 最小系统将至少有一个Ceph Monitor和两个Ceph OSD守护进程用于数据复制.   Ceph文件系统,Ceph对象存储和Ceph块设备从Ceph存储集群读取数据并将数据写…

场景介绍:在我们的IDC中,存在着运行了3-6年的Ceph集群的服务器,这些服务器性能和容量等都已经无法满足当前业务的需求,在购入一批高性能机器后,希望将旧机器上的集群整体迁移到新机器上,当然,是保证业务不中断的前提下,再将旧机器下架回收.本文就介绍了一种实现业务不中断的数据迁移方案,并已经在多个生产环境执行. 本文的环境均为:Openstack+Ceph 运行虚拟机的场景,即主要使用RBD,不包含RGW,MDS.虚机的系统盘(Nova),云硬盘(Cinder),镜像盘(Glance)的块均保存…

结合网络.官网.手动查询等多方渠道,整理ceph维护管理常用命令,并且梳理常规命令在使用过程中的逻辑顺序.另外整理期间发现ceph 集群的命令体系有点乱,详细情况各自体验. 一:ceph集群启动.重启.停止 1:ceph 命令的选项如下: 选项简写描述 --verbose-v详细的日志. --valgrindN/A(只适合开发者和质检人员)用 Valgrind 调试. --allhosts-a在 ceph.conf 里配置的所有主机上执行,否 则它只在本机执行. --restartN/A核心转储…

问题:集群状态,坏了一个盘,pg状态好像有点问题[root@ceph-1 ~]# ceph -s    cluster 72f44b06-b8d3-44cc-bb8b-2048f5b4acfe     health HEALTH_WARN            64 pgs degraded            64 pgs stuck degraded            64 pgs stuck unclean            64 pgs stuck undersized    …

1.环境规划,三台主机 10.213.14.51/24            10.213.14.52/24       10.213.14.53/24    集群网络 172.140.140.11.22      172.140.140.12/22    172.140.140.13/22  复制网络 centos7.3    ceph版本  luminous   12.2.4  ceph-deploy  2.0.0 2.ceph体系架构 3.ceph核心概念 Monitors: A Ceph…

环境说明 server:3台虚拟机,挂载卷/dev/vdb 10G 系统:centos7.2 ceph版本:luminous repo: 公网-http://download.ceph.com,http://mirrors.aliyun.com 内网-自建mirrors   架构说明 node1:admin-node,mon,mgr,osd node2:osd node3:osd 准备工作 1.安装centos.epel repo 使用阿里云mirros,https://opsx.alibaba…

问题:集群状态,坏了一个盘,pg状态好像有点问题[root@ceph-1 ~]# ceph -s    cluster 72f44b06-b8d3-44cc-bb8b-2048f5b4acfe     health HEALTH_WARN            64 pgs degraded            64 pgs stuck degraded            64 pgs stuck unclean            64 pgs stuck undersized    …

最近在学习 kubernetes 过程中,想实现 pod 数据的持久化.在调研的过程中,发现 ceph 在最近几年发展火热,也有很多案例落地企业.在选型方面,个人更加倾向于社区火热的项目,GlusterFS.Ceph 都在考虑的范围之内,但是由于 GlusterFS 只提供对象存储和文件系统存储,而 Ceph 则提供对象存储.块存储以及文件系统存储.怀着对新事物的向往,果断选择 Ceph 来实现 Ceph 块存储对接 kubernetes 来实现 pod 的数据持久化. Red Hat Ceph…

搭建 Ceph 分布式集群( nautilus 版本 ) 一.服务器环境说明 主机名 角色 IP地址 ceph-admin ceph-deploy 192.168.92.21 ceph-node1 mon.mgr.osd 192.168.92.22 ceph-node2 mon.mgr.osd 192.168.92.23 ceph-node3 mon.mgr.osd 192.168.92.24 二.集群架构图 三.服务器环境准备 1. 配置 yum 仓库地址 对所有机器配置 epel 仓库.基础…

环境准备 1.在运行 Ceph 守护进程的节点上创建一个普通用户,ceph-deploy 会在节点安装软件包,所以你创建的用户需要无密码 sudo 权限.如果使用root可以忽略. 为赋予用户所有权限,把下列加入 /etc/sudoers.d/ceph echo "ceph ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/ceph sudo chmod 0440 /etc/sudoers.d/ceph 2.配置你的管理主机,使之可通过 S…

1.cephx认证和授权 1.1 CephX认证机制 Ceph使用cephx协议对客户端进行身份认证: 1.每个MON都可以对客户端进行身份验正并分发密钥, 不存在单点故障和性能瓶颈 2. MON会返回用于身份验正的数据结构, 其包含获取Ceph服务时用到的session key. 3.session key通过客户端密钥进行加密 4.客户端使用session key向MON请求所需的服务 5.MON向客户端提供一个ticket, 用于向实际处理数据的OSD等验正客户端身份 6.MON和OSD共…

1.ceph简介 Ceph在一个统一的系统中独特地提供对象.块和文件存储 1.1 ceph官网架构图 1.2 架构解释   CEPH 对象存储 CEPH 块设备 CEPH 文件系统 RESTful 接口 S3 和 Swift 兼容的 API S3 风格的子域 统一的 S3/Swift 命名空间 用户管理 使用跟踪 条纹对象 云解决方案集成 多站点部署 多站点复制 精简配置 图像高达 16 艾字节 可配置的条带化 内存缓存 快照 写时复制克隆 内核驱动支持 KVM/libvirt 支持 云解决方案…

kolla-ceph来源: 项目中的部分代码来自于kolla和kolla-ansible kolla-ceph的介绍: 1.镜像的构建很方便, 基于容器的方式部署,创建.删除方便 2.kolla-ceph的操作幂等,多次执行不会产生副作用 3.使用kolla-ceph(基于ansible)流程化部署 4.通过给磁盘打上相应标签,创建osd非常简单 5.升级便捷,通过构建新的ceph镜像,upgrade既可 6.自动根据osd节点数量来设置故障域: "osd" 或 "host&…

ceph-deploy部署ceph集群 环境介绍 主机名 ip地址 操作系统 角色 备注 ceph-node1 10.153.204.13 Centos7.6 mon.osd.mds.mgr.rgw.ceph-deploy chronyd时钟同步(主) ceph-node2 10.130.22.45 Centos7.6 mon.osd.mds.mgr.rgw chronyd时钟同步 ceph-node3 10.153.204.28 Centos7.3 mon.osd chronyd时钟同步 此环…

kolla-ceph来源: 项目中的部分代码来自于kolla和kolla-ansible kolla-ceph的介绍: 1.镜像的构建很方便, 基于容器的方式部署,创建.删除方便 2.kolla-ceph的操作幂等,多次执行不会产生副作用 3.使用kolla-ceph(基于ansible)流程化部署 4.通过给磁盘打上相应标签,创建osd非常简单 5.升级便捷,通过构建新的ceph镜像,upgrade既可 6.自动根据osd节点数量来设置故障域: "osd" 或 "host&…

ceph集群rbd使用详解 一个完整的ceph集群,可以提供块存储.文件系统和对象存储. 本节主要介绍rbd存储功能如何灵活的使用,集群背景: $ ceph -s cluster: id: 537175bb-51de-4cc4-9ee3-b5ba8842bff2 health: HEALTH_OK services: mon: 3 daemons, quorum ceph-node1,ceph-node2,ceph-node3 (age 2m) mgr: ceph-node1(active, s…

ceph集群基本概念与管理 ceph集群基本概念 ceph集群整体结构图 名称 作用 osd 全称Object Storage Device,主要功能是存储数据.复制数据.平衡数据.恢复数据等.每个OSD间会进行心跳检查,并将一些变化情况上报给Ceph Monitor. mon 全称Monitor,负责监视Ceph集群,维护Ceph集群的健康状态,同时维护着Ceph集群中的各种Map图,比如OSD Map.Monitor Map.PG Map和CRUSH Map,这些Map统称为Cluster…

前文我们了解了Ceph的基础架构和相关组件的介绍,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16720234.html:今天我们来部署一个ceph集群: 部署工具介绍 1.ceph-deploy:该部署工具是ceph官方的部署工具,它只依赖SSH访问服务器,不需要额外的agent:它可以完全运行在自己的工作站上(比如admin host),不需要服务器,数据库类似的东西:该工具不是一个通用的部署工具,只针对ceph:相比ansible,puppet,功…

前文我们了解了Ceph集群存储池操作相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16743611.html:今天我们来聊一聊在ceph上认证和授权的相关话题: 我们知道ceph作为一个分布式存储系统,用户想要在其上面存储数据,首先得通过认证以后,才能正常使用ceph:那么对于ceph来讲,它是怎么认证用户的呢?除了认证,我们知道不是所有用户都能在ceph上创建存储池,删除存储池等:这也意味着每个用户都有一定的权限,在自己的权限范围内操作,cep…

前文我们了解了Ceph集群cephx认证和授权相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16748149.html:今天我们来聊一聊ceph集群的RBD接口使用相关话题: RBD是ceph集群向外提供存储服务的一种接口,该接口是基于ceph底层存储集群librados api构建的接口:即RBD是构建在librados之上向外提供存储服务的:对于客户端来说RBD主要是将rados集群之上的某个存储池里的空间通过librados抽象为一块或多块…

所有 Ceph 部署都始于 Ceph 存储集群.一个 Ceph 集群可以包含数千个存储节点,最简系统至少需要一个监视器和两个 OSD 才能做到数据复制.Ceph 文件系统. Ceph 对象存储.和 Ceph 块设备从 Ceph 存储集群读出和写入数据. Ceph架构图 1.集群配置 节点 IP 功能 ceph01 172.16.100.5 deploy,mon,osd*2,mds ceph02 172.16.100.6 mon,osd*2 ceph03 172.16.100.7 mon,osd*…

背景 Ceph官方现在提供两类镜像来创建集群,一种是常规的,每一种Ceph组件是单独的一个镜像,如ceph/daemon.ceph/radosgw.ceph/mon.ceph/osd等:另外一种是最新的方式,所有的Ceph组件都集成在一个镜像ceph/daemon中,如果要创建对应的Ceph组件容器,只需要指定类型即可.这里,我们使用第一种方式来创建Ceph集群. 另外,这里所有的容器,都是在同一个Docker host上创建的. 重新开始 在搭建过程中,如果遇到了任何问题,想删除之前的环境,并…

CEPH 1.组成部分 1.1 monitor admin节点安装ceph-deploy工具 admin节点安装ceph-deploy 添加源信息 rm -f /etc/yum.repos.d/* wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/rep…

集群准备 ceph集群配置说明   节点名称 IP地址 配置 作用 ceph-moni-0 10.10.3.150 centos7.5 4C,16G,200Disk 管理节点,监视器 monitor ceph-moni-1 10.10.3.151 centos7.5 4C,16G,200Disk 监视器 monitor ceph-moni-2 10.10.3.152 centos7.5 4C,16G,200Disk 监视器 monitor ceph-osd-0 10.10.3.153 cento…

1.确保ceph集群是连通状态 这里,可以先把机器配置为以前的x.x.x.x的网络,确保ceph集群是可以通的.这里可以执行下面的命令查看是否连通,显示HEALTH_OK则表示连通 2.获取monmap,并查看 [root@k8s-node1 ~]# mkdir ceph-tmp [root@k8s-node1 ~]# cd ceph-tmp/ [root@k8s-node1 ceph-tmp]# ceph mon getmap -o map [root@k8s-node1 ceph-tmp]#…

集群规划配置 master1    172.16.230.21master2    172.16.230.22master3 172.16.230.23node1 172.16.230.26node2 172.16.230.27node3 172.16.23028 一. 模拟monitor 宕机状态 2. 测试删除monitor节点, 把master3 关机 发现 master3 节点已经宕机, 具体操作步骤,需要删除配置文件中master3 信息,同步ceph.conf 配置文件 ,然后命令删…

Ceph是一个分布式存储,可以提供对象存储.块存储和文件存储,其中对象存储和块存储可以很好地和各大云平台集成.一个Ceph集群中有Monitor节点.MDS节点(可选,用于文件存储).至少两个OSD守护进程.Ceph OSD:OSD守护进程,用于存储数据.处理数据拷贝.恢复.回滚.均衡,并通过心跳程序向Monitor提供部分监控信息.一个Ceph集群中至少需要两个OSD守护进程.Monitor:维护集群的状态映射信息,包括monitor.OSD.Placement Group(PG).还维护了M…