Ceph基础知识和基础架构简介 http://www.xuxiaopang.com/2020/10/09/list/#more大话Ceph http://www.xuxiaopang.com/2016/11/08/easy-ceph-CRUSH/ 大话Ceph CRUSH算法 在Ceph中一切数据(图片.视频,音频.文本.字符串等)都看成个对象来存储(读取其二进制流存储),而不以其格式来区分它们. 架构: RADOS:底层存储系统 LIBRADOS:各种语言的客户端库 RADOSGW.RBD.C…

官网文档: http://docs.ceph.com/docs/master/cephfs/ http://docs.ceph.com/docs/master/cephfs/createfs/   (创建cephfs文件系统) ceph官方中文文档: http://docs.ceph.org.cn/ openstack中的配置: http://docs.ceph.com/docs/master/rbd/rbd-openstack/ 博客等: http://blog.csdn.net/dapao1…

理解 OpenStack + Ceph 系列文章: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 (5)Ceph 与 OpenStack 集成的实现 (6)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (7)Ceph 的基本操作和常见故障排除方法 1. Glance 与 Ceph RBD 集成 1.1 代码 Kilo 版本中,glance-store 代码被从 glance 代码中分离出来了,地址在 https:…

0.如果先前安装过ceph,则先卸载 sudo stop ceph-all //停止所有CEPH进程 ceph-deploy uninstall [{ceph-node}] //卸载所有ceph程序 ceph-deploy purge [[ceph-node} [{ceph-node}] //删除ceph相关的包 ceph-deploy purgedata {ceph-node} [{ceph-node}] // 删除ceph相关的包 ceph-deploy forgetkeys //删除key…

Ceph RBD  CephFS 存储 环境准备: (这里只做基础测试, ceph-manager , ceph-mon, ceph-osd 一共三台) 10.6.0.140 = ceph-manager 10.6.0.187 = ceph-mon-1 10.6.0.188 = ceph-osd-1 10.6.0.94 = node-94 注: ceph 对时间要求很严格, 一定要同步所有的服务器时间 一.在 manager 上面修改 /etc/hosts : 10.6.0.187 ceph-m…

前言 本文搭建了一个由三节点(master.slave1.slave2)构成的ceph分布式集群,并通过示例使用ceph块存储. 本文集群三个节点基于三台虚拟机进行搭建,节点安装的操作系统为Centos7(yum源),ceph版本选取为12.2.1.作者也是一位初学者,其间遇到了很多问题,故希望通过该博客让读者避免. 其中本文为快速搭建过程,先在一台虚拟机上完成大部分的ceph搭建的预检过程,之后将虚拟机复制为3个虚拟机,构成集群节点.所以建议读者按照本文步骤进行搭建,不要直接创建三个虚拟机,造…

一.ceph的正常卸载与非正常卸载 一.正常卸载(通过ceph-deploy卸载) 环境已安装ceph-deploy 1.查看ceph-deploy的帮助信息 [cephde@controller03 cephcluster]$ ceph-deploy -h usage: ceph-deploy [-h] [-v | -q] [--version] [--username USERNAME] [--overwrite-conf] [--ceph-conf CEPH_CONF] COMMAND .…

一.Ceph简单介绍1)OSDs: Ceph的OSD守护进程(OSD)存储数据,处理数据复制,恢复,回填,重新调整,并通过检查其它Ceph OSD守护程序作为一个心跳 向Ceph的监视器报告一些检测信息.Ceph的存储集群需要至少2个OSD守护进程来保持一个 active + clean状态.(Ceph默认制作2个备份,但可以调整它) 2)Monitors:Ceph的监控保持集群状态映射,包括OSD(守护进程)映射,分组(PG)映射,和CRUSH映射. Ceph 保持一个在Ceph监视器, Ce…

Ceph集群管理 每次用命令启动.重启.停止Ceph守护进程(或整个集群)时,必须指定至少一个选项和一个命令,还可能要指定守护进程类型或具体例程. **命令格式如 {commandline} [options] [commands] [daemons] 常用的commandline为"ceph",对应的options如下表: 对应的commands如下表: 能指定的daemons(守护进程)类型包括mon,osd及mds. 通过SysVinit机制运行ceph: 在 CentOS.Re…

(接上文<架构设计:系统存储(27)--分布式文件系统Ceph(安装)>) 3. 连接到Ceph系统 3-1. 连接客户端 完毕Ceph文件系统的创建过程后.就能够让客户端连接过去. Ceph支持两种客户端挂载方式:使用Linux内核支持的mount命令进行的挂载方式.使用用户空间文件系统FUSE(Filesystem in Userspace)进行的网络磁盘挂载方式. 这两种挂载方式的本质差别是,前者须要有Linux内核的支持.而后者仅仅是工作在Linux上的一个应用软件. 3-1-1. 使…

一.CEPH简介 不管你是想为云平台提供Ceph 对象存储和/或 Ceph 块设备,还是想部署一个 Ceph 文件系统或者把 Ceph 作为他用,所有 Ceph 存储集群的部署都始于部署一个个 Ceph 节点.网络和 Ceph 存储集群. Ceph 存储集群至少需要一个 Ceph Monitor 和两个 OSD 守护进程.而运行 Ceph 文件系统客户端时,则必须要有元数据服务器( Metadata Server ). Ceph OSDs: Ceph OSD 守护进程( Ceph OSD )的功…

通过docker可以快速部署小规模Ceph集群的流程,可用于开发测试. 以下的安装流程是通过linux shell来执行的;假设你只有一台机器,装了linux(如Ubuntu)系统和docker环境,那么可以参考以下步骤安装Ceph: # 1. 创建Ceph专用网络 docker network create --driver bridge --subnet 172.20.0.0/16 ceph-network docker network inspect ceph-network # 2. 删…

ceph安装包介绍: 1.ceph-deploy: ceph的部署软件,通过该软件可以简便部署,这个软件并非整个ceph集群系统中必须的 2.ceph: ceph整个服务集群中的每个节点必须的软件.提供分布式的存储与文件系统服务 (osd,mon守护进程) 3.ceph-mds: 元数据服务端 (mds 守护进程) 4.libcephfs: 客户端的编程接口(c语言) 5.python-cephfs: 客户端的编程接口(python) 6.ceph-common,ceph-fs-common 客…

openstack 与 ceph 集成 在 ceph 上创建 openstack 需要的 pool. sudo ceph osd pool create volumes 128 sudo ceph osd pool create images 128 sudo ceph osd pool create backups 128 sudo ceph osd pool create vms 128 将 ceph 服务器上 /etc/ceph/ceph.conf 复制到 openstack 的 comp…

不卸载ceph重新获取一个干净的集群环境 标签(空格分隔): ceph ceph环境搭建 运维 部署了一个ceph集群环境,由于种种原因需要回到最开始完全clean的状态,而又不想卸载ceph客户端或者重新搭建虚拟机,此篇博客的目的就是为了解决这一问题. 我的环境:node1的角色为osd,mon,node2和node3的角色都为osd.每个host的系统为centos7,每个host上部署两个osd.ceph版本为luminous (12.4.1 ).之外有一个host作为专门部署ceph的a…

1. 在Ceph上为Kubernetes创建一个存储池 # ceph osd pool create k8s 2. 创建k8s用户 # ceph auth get-or-create client.k8s mon 'allow r' osd 'allow rwx pool=k8s' -o ceph.client.k8s.keyring 3. 将k8s用户的key进行base64编码 这是Kubernetes访问Ceph的密钥,会保存在Kubernetes的Secret中 # grep key c…

了解ceph DFS(distributed file system)分布式存储系统,指文件系统管理的物理存储资源,不一定直接连接在本地节点上,而是通过计算机网络与节点相连,众多类别中,ceph是当下应用比较广泛的分布式存储系统,是典型的客户端-服务端模式. 1.ceph具有很多特点,譬如,高扩展(可以无限扩展节点),高可用(提供副本备份),高性能(crush算法,数据分布军均衡,并行度高)等; 2.ceph可以提供块存储,文件系统存储,对象存储; 3.其基本组件有OSD存储设备,monitor…

首先在华为云上购买搭建ceph集群所需云主机: 然后购买ceph所需存储磁盘 将购买的磁盘挂载到用来搭建ceph的云主机上 在跳板机上安装ansible 查看ansible版本,检验ansible是否安装成功 配置主机分组 测试结果 书写playbook文件内容如下: --- #将yum文件同步到各个节点 - hosts: ceph remote_user: root tasks: - copy: src: /etc/yum.repos.d/ceph.repo dest: /etc/yum.re…

存储分类: DAS:直连存储    ide线  sata线   usd线   sas线 NAS:网络附加存储   nfs   samba   ftp SAN:存储区域网络      issci SDS:软件定义存储    ceph ceph组件:OSD存储设备   Monitors集群监控组件  RGW(ceph-redowsgw)对象存储网关  MDS存放文件系统的元数据 注:montiitors至少需要3台   因为过半原则超过一半几台宕机整个集群都不能用了 例:  有三台机  41(nod…

前言 ceph的可视化方案很多,本篇介绍的是比较简单的一种方式,并且对包都进行了二次封装,所以能够在极短的时间内构建出一个可视化的监控系统 本系统组件如下: ceph-jewel版本 ceph_exporter的jewel版本 prometheus的2.3.2版本 grafana的grafana-5.2.1版本 Ceph grafana的插件- Clusterby Cristian Calin 适配的系统为centos7 资源如下: http://static.zybuluo.com/zphj1…

(1).Ceph概述 Ceph是为了优秀的性能.可靠性和可扩展性而设计的统一的.分布式文件系统,并且还是一个开源的分布式文件系统.因为其支持块存储.对象存储,所以很自然的被用做云计算框架openstack或cloudstack整个存储的后端.当然Ceph也可以单独作为存储,例如部署一个集群作为对象存储.SAN存储.NAS存储等. Ceph中文开源社区地址:http://ceph.org.cn/ Ceph官方文档:http://docs.ceph.org.cn/ 所有Ceph部署都始于Ceph存储…

一.概述 随着OpenStack日渐成为开源云计算的标准软件栈,Ceph也已经成为OpenStack的首选后端存储.Ceph是一种为优秀的性能.可靠性和可扩展性而设计的统一的.分布式文件系统. ceph官方文档 http://docs.ceph.org.cn/ ceph中文开源社区 http://ceph.org.cn/ Ceph是一个开源的分布式文件系统.因为它还支持块存储.对象存储,所以很自然的被用做云计算框架openstack或cloudstack整个存储后端.当然也可以单独作为存储,例如…

1.准备工作1.1 安装配置NTP官方建议在所有 Ceph 节点上安装 NTP 服务(特别是 Ceph Monitor 节点),以免因时钟漂移导致故障. ln -sf /usr/share/zoneinfo/posix/Asia/Shanghai /etc/localtimeyum -y install ntpdsystemctl enable ntpdvim /etc/ntp.conf    server 0.cn.pool.ntp.orgsystemctl stop ntpdntpdate…

ceph集群docker部署 通过docker可以快速部署小规模Ceph集群的流程,可用于开发测试. 以下的安装流程是通过linux shell来执行的:假设你只有一台机器,装了linux(如Ubuntu)系统和docker环境,那么可以参考以下步骤安装Ceph: # 要用root用户创建, 或有sudo权限 # 注: 建议使用这个docker镜像源:https://registry.docker-cn.com # 1. 修改docker镜像源 cat > /etc/docker/daemon.…

https://www.jianshu.com/p/42ab1f6dc6de 1. 为什么要做内外网分离   先明确一下这么做的必要性.Ceph 的客户端,如 RADOSGW,RBD 等,会直接和 OSD 互联,以上传和下载数据,这部分是直接提供对外下载上传能力的:Ceph 一个基本功能是提供数据的冗余备份,OSD 负责数据的备份,跨主机间的数据备份当然要占用带宽,而且这部分带宽是无益于 Ceph 集群的吞吐量的.只有一个网络,尤其是有新的存储节点加入时,Ceph 集群的性能会因为大量的数据拷贝…

环境准备 1.在运行 Ceph 守护进程的节点上创建一个普通用户,ceph-deploy 会在节点安装软件包,所以你创建的用户需要无密码 sudo 权限.如果使用root可以忽略. 为赋予用户所有权限,把下列加入 /etc/sudoers.d/ceph echo "ceph ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/ceph sudo chmod 0440 /etc/sudoers.d/ceph 2.配置你的管理主机,使之可通过 S…

前言 ceph luminous版本新增加了很多有意思的功能,这个也是一个长期支持版本,所以这些新功能的特性还是很值得期待的,从底层的存储改造,消息方式的改变,以及一些之前未实现的功能的完成,都让ceph变得更强,这里面有很多核心模块来自中国的开发者,在这里准备用一系列的文章对这些新功能进行一个简单的介绍,也是自己的一个学习的过程 相关配置 配置ceph国内源 修改 /etc/yum.repos.d/ceph.repo文件 [ceph] name=ceph baseurl=http://mirr…

环境准备 测试环境是4台虚拟机,所有机器都是刚刚安装好系统(minimal),只配置完网卡和主机名的centos7.7,每个osd增加一块磁盘,/dev/sdb ceph-admin ---- admin+mon节点 ceph-node1 ---- osd节点 ceph-node2 ---- osd节点 ceph-node3 ---- osd节点 1.首先在所有节点创建一个部署.管理ceph集群的用户,并授予sudo权限,不建议使用root来运行ceph,同时关闭防火墙和selinux [roo…

1. 简介 1.1. 这个在生产中没用上,生产上用的是nfs,不过为了显示咱会,也要写出来 1.2. 官方网站:http://ceph.com/ 1.3. 中文网站:http://docs.ceph.org.cn/ 1.4. Ceph = Cephalopods ['sefələpɒdz] 头足类软体动物 1.5. 作者是Sage Weil,起源于2006年发表的论文<Ceph: A Scalable, High-Performance Distributed File System> htt…

  1. 准备4台虚拟机 ceph 192.168.66.93 管理osd,mon节点 ceph-node1 192.168.66.94 osd节点 ceph-node2 192.168.66.95 osd节点 jenkins 192.168.66.88 客户端 关闭selinux,firewalld 2. 在ceph上新增一块磁盘 dd if=/dev/zero of=/home/kvm/ceph/ceph1.img bs=1M count=5120 dd if=/dev/zero of=/h…