升级软件版本在日常运维中是一个常见操作. 本文分享一下Ceph版本升级的一些经验. 一般升级流程和注意如下: 1.  关注社区Release notes 和 ceph-user邮件订阅列表,获取社区发布的最新版本 http://docs.ceph.com/docs/master/release-notes/ 2.  根据经验一般刚出的版本问题比较多:出于稳定性的考虑,线上正式环境的版本一般会落后社区1个版本: 并在这段时间密切关注社区此版本的bug消息 3. 如果没有重大问题,则在测试环境升级测…

参考文档 https://blog.51cto.com/jerrymin/2140258 https://www.virtualtothecore.com/en/upgrade-ceph-cluster-luminous/http://www.chinastor.com/distristor/11033L502017.html 官方文档:https://docs.ceph.com/docs/master/install/upgrading-ceph/ 缘起 首先看之前安装版本链接及测试https…

问题 最近想把一个现有的 Ceph 客户端升级为最新的 M 版: [root@overcloud-ovscompute-0 ~]# rpm -qa | grep ceph puppet-ceph-2.4.1-2.el7ost.noarch libcephfs1-10.2.10-17.el7cp.x86_64 ceph-base-10.2.10-17.el7cp.x86_64 ceph-osd-10.2.10-17.el7cp.x86_64 python-cephfs-10.2.10-17.el7…

我们为什么选择Ceph来建立块存储?国内知名黑客组织东方联盟是这样回答的,卷管理器的大小和增长受到管理程序的驱动器补充的限制,与其他Droplet共享.一旦Droplet被摧毁,储存就会被释放.术语“短暂”有时用于描述这种虚拟化策略. 创建可扩展的块存储 过去,便携式可扩展块存储服务通常提供传统的SAN(存储区域网络).这些往往是昂贵的,难以管理和升级.扩展和升级可能很困难,并且架构容易受到大量厂商锁定. 在DigitalOcean,我们喜欢并支持开源软件.所以当我们设计BlockStorage…

Ceph 仍在积极开发中,所以你可能碰到一些问题,需要评估 Ceph 配置文件.并修改日志和调试选项来纠正它. 一.日志记录和调试 般来说,你应该在运行时增加调试选项来调试问题:也可以把调试选项添加到 Ceph 配置文件里来调试启动问题,然后查看 /var/log/ceph (默认位置)下的日志文件. 注意:调试输出会拖慢系统,这种延时有可能掩盖竞争条件 日志记录是资源密集任务.如果你碰到的问题在集群的某个特定区域,只启用那个区域对应的日志功能即可.例如,你的 OSD 运行良好.元数据服务器却不…

MON的稳定性问题: mon的选举风暴影响客户端IO LevelDB的暴涨 频繁的客户端请求的DDOS mon选举风暴: monmap会因为mon之间或者mon与客户端之间网络的影响或者消息传递的异常发生变化,从而触发选举 会造成客户端的请求变慢或者锁住 LevelDB的暴涨: LevelDB的大小会涨到几十GB然后影响了osd的请求 会造成客户端的请求变慢或者锁住 频繁的客户端请求的DDOS: mon的响应因为levelDB变慢或者选举风暴,都会造成客户端发出大量的消息流 让客户端操作失效,包…

Contents [hide] 1 参考 1.1 ceph端口访问控制 1.2 用Kernel方式挂载 1.2.1 安装ELRepo及kernel-lt 1.2.2 修改Grub引导顺序并重启动 1.2.3 添加ceph源 1.2.4 安装ceph客户端 1.2.5 挂载ceph卷 1.3 fuse方式挂载ceph卷 1.3.1 安装epel源 1.3.2 安装ceph-fuse 1.3.3 测试挂载ceph卷 1.3.4 通过fstab自动挂载 参考 MOUNT.CEPH – MOUNT A…

Ceph 测试环境部署 本文档内容概要 测试环境ceph集群部署规划 测试环境ceph集群部署过程及块设备使用流程 mon节点扩容及osd节点扩容方法 常见问题及解决方法 由于暂时没有用到对象存储,所以暂时没有配对象存储的网关. ==回答:为什么docker里用到ceph?== 环境里面每台机器挂载了个1T的数据盘,为了充分利用集群里所有数据磁盘的空间,使用ceph构建分布式环境,将数据盘联合到一起,看成一个盘.当然,这个主要是ceph的快存储功能. 集群部署规划 主机角色规划 主机名 系统 内…

海量小文件存储(简称LOSF,lots of small files)出现后,就一直是业界的难题,众多博文(如[1])对此问题进行了阐述与分析,许多互联网公司也针对自己的具体场景研发了自己的存储方案(如taobao开源的TFS,facebook自主研发的Haystack),还有一些公司在现有开源项目(如hbase,fastdfs,mfs等)基础上做针对性改造优化以满足业务存储需求: 一. 通过对若干分布式存储系统的调研.测试与使用,与其它分布式系统相比,海量小文件存储更侧重于解决两个问题: 1.…

(1)集群内部子版本协议类型宏定义:与公共协议保持独立性,以便消息类型和协议升级受影响 #define CEPH_OSDC_PROTOCOL   24 /* server/client */OSD服务器集群与客户端协议版本 #define CEPH_MDSC_PROTOCOL   32 /* server/client */MDS与客户端 #define CEPH_MONC_PROTOCOL   15 /* server/client */监控与客户端 #define CEPH_INO_ROOT…

探索 Ceph 文件系统和生态系统 M. Tim Jones , 自由作家 简介:  Linux®持续不断进军可扩展计算空间,特别是可扩展存储空间.Ceph 最近才加入到 Linux 中令人印象深刻的文件系统备选行列,它是一个分布式文件系统,能够在维护 POSIX 兼容性的同时加入了复制和容错功能.探索 Ceph 的架构,学习它如何提供容错功能,简化海量数据管理. 标记本文! 发布日期:  2010 年 6 月 12 日 级别:  中级 其他语言版本:  英文 访问情况  5726 次浏览 建议…

一.ceph基本操作: 启动osd.mon进程: start ceph-osd id=X start ceph-mon id=YYY 关闭osd.mon进程: stop  ceph-osd id=X stop  ceph-mon id=YYY 查看osd的状态: status ceph-osd  id=X 二.ceph更换硬盘流程: scale up:(同一节点上增加osd) scale out:(同一集群内增加节点) 1.删除OSD: a.停止osd  daemon stop  ceph-os…

Ceph luminous 安装配置 #环境centos7 , Ceph V12 openstack pike 与 ceph 集成 http://www.cnblogs.com/elvi/p/7897191.html #环境准备 ########################### #升级内核(可选,) #官方说明 http://docs.ceph.com/docs/master/start/os-recommendations/#linux-kernel #CentOS7 升级内核到4. L…

Ceph 独一无二地用统一的系统提供了对象.块.和文件存储功能,它可靠性高.管理简便.并且是自由软件. Ceph 的强大足以改变公司的 IT 基础架构.和管理海量数据. Ceph 可提供极大的伸缩性——供成千用户访问 PB 乃至 EB 级的数据. Ceph 节点以普通硬件和智能守护进程作为支撑点, Ceph 存储集群组织起了大量节点,它们之间靠相互通讯来复制数据.并动态地重分布数据. 如图为应用场景示意图,其核心是RADOS,也即高可用.自动化的分布式对象存储,该模块负责对OSD的自动化运行,保…

环境 系统:Centos 7(系统最小化安装)版本:Ceph mimic 系统配置 配置主机名hostname.hosts.关闭firewalld.ssh无密码登录.ntp时间同步等,过程略. 保存下载rpm包,安装或升级的同时保留RPM包.yum 默认情况下,升级或者安装后会删除下载的rpm包.不过,我们也可以设置不删除下载的rpm包. 1234 vim/etc/yum.conf[main]cachedir=/var/cache/yumkeepcache=0 将 keepcache=0 修改为…

  参考文档:CEPH官网集群操作文档   概述 Ceph存储集群是所有Ceph部署的基础. 基于RADOS,Ceph存储集群由两种类型的守护进程组成:Ceph OSD守护进程(OSD)将数据作为对象存储在存储节点上; Ceph Monitor(MON)维护集群映射的主副本. Ceph存储集群可能包含数千个存储节点. 最小系统将至少有一个Ceph Monitor和两个Ceph OSD守护进程用于数据复制.   Ceph文件系统,Ceph对象存储和Ceph块设备从Ceph存储集群读取数据并将数据写…

概述 第一个 Ceph 版本是 0.1 ,要回溯到 2008 年 1 月.多年来,版本号方案一直没变,直到 2015 年 4 月 0.94.1 ( Hammer 的第一个修正版)发布后,为了避免 0.99 (以及 0.100 或 1.00 ?),我们制定了新策略. x.0.z - 开发版(给早期测试者和勇士们) x.1.z - 候选版(用于测试集群.高手们) x.2.z - 稳定.修正版(给用户们) x 将从 9 算起,它代表 Infernalis ( I 是第九个字母),这样我们第九个发布周期…

参考: ceph官网介绍 使用ceph-deploy安装Ceph 12.x 安装虚拟机 首先安装虚拟机环境,虚拟机安装这里不做介绍,本实验使用的镜像为CentOS-7-x86_64-Everything-1804,采用最小安装,如需安装其余工具请自己搭建yum源,下面给出搭建本地yum源以及网络配置的方法 搭建本地yum源 虚拟机网络NAT模式配置静态IP 下面实验虚拟机上准备四个节点: host    192.168.1.220/221 用作主机 node1 192.168.1.210/211…

场景介绍:在我们的IDC中,存在着运行了3-6年的Ceph集群的服务器,这些服务器性能和容量等都已经无法满足当前业务的需求,在购入一批高性能机器后,希望将旧机器上的集群整体迁移到新机器上,当然,是保证业务不中断的前提下,再将旧机器下架回收.本文就介绍了一种实现业务不中断的数据迁移方案,并已经在多个生产环境执行. 本文的环境均为:Openstack+Ceph 运行虚拟机的场景,即主要使用RBD,不包含RGW,MDS.虚机的系统盘(Nova),云硬盘(Cinder),镜像盘(Glance)的块均保存…

一 前期准备 1.1 配置规格 节点 类型 IP CPU 内存 ceph-deploy 部署管理平台 172.24.8.71 2 C 4 G node1 Monitor OSD 172.24.8.72 2 C 8 G node2 OSD 172.24.8.73 2 C 8 G node3 OSD 172.24.8.74 2 C 8 G Ceph版本:mimic OS:CentOS 7.5 kernel:4.20.2 关闭防火墙和SELinux: 提示: Ceph Monitors之间默认使用67…

一.Ceph简单介绍1)OSDs: Ceph的OSD守护进程(OSD)存储数据,处理数据复制,恢复,回填,重新调整,并通过检查其它Ceph OSD守护程序作为一个心跳 向Ceph的监视器报告一些检测信息.Ceph的存储集群需要至少2个OSD守护进程来保持一个 active + clean状态.(Ceph默认制作2个备份,但可以调整它) 2)Monitors:Ceph的监控保持集群状态映射,包括OSD(守护进程)映射,分组(PG)映射,和CRUSH映射. Ceph 保持一个在Ceph监视器, Ce…

1)Ceph简单概述Ceph是一个分布式存储系统,诞生于2004年,最早致力于开发下一代高性能分布式文件系统的项目.Ceph源码下载:http://ceph.com/download/.随着云计算的发展,ceph乘上了OpenStack的春风,进而成为了开源社区受关注较高的项目之一.Ceph可以将多台服务器组成一个超大集群,把这些机器中的磁盘资源整合到一块儿,形成一个大的资源池(PB级别),然后按需分配给应用使用.Ceph分布式存储的优势: 1)CRUSH算法 Crush算法是ceph的两大创新…

Ceph集群管理 每次用命令启动.重启.停止Ceph守护进程(或整个集群)时,必须指定至少一个选项和一个命令,还可能要指定守护进程类型或具体例程. **命令格式如 {commandline} [options] [commands] [daemons] 常用的commandline为"ceph",对应的options如下表: 对应的commands如下表: 能指定的daemons(守护进程)类型包括mon,osd及mds. 通过SysVinit机制运行ceph: 在 CentOS.Re…

原文:http://article.ccw.com.cn/article/view/131427 ,2018-04-02,本文作者:计世传媒 赵新竹 世民Sammy:非常荣幸有机会在北京Cephalocon APAC 2018 峰会上和“Ceph之父”Sage Weil以及几位业界大咖一起跟媒体朋友们畅聊Ceph.感谢大会主办方.感谢各位大咖.感谢媒体朋友,感谢各赞助商及 Intel 绪总.   从2004年提交第一行代码为起点,Ceph从Sage Weil的毕业设计中走来,成长为开源分布式存储…

根据http://ovirt-china.org/mediawiki/index.php/%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2Ceph_Calamari 原文如下: Calamari是管理和监控Ceph集群的工具,并且提供REST api. 建议的部署平台是ubuntu,本文使用CentOS 6.5. 安装部署 获取calamari相关代码 # git clone https://github.com/ceph/calamari.git # git clone…

(接上文<架构设计:系统存储(27)--分布式文件系统Ceph(安装)>) 3. 连接到Ceph系统 3-1. 连接客户端 完毕Ceph文件系统的创建过程后.就能够让客户端连接过去. Ceph支持两种客户端挂载方式:使用Linux内核支持的mount命令进行的挂载方式.使用用户空间文件系统FUSE(Filesystem in Userspace)进行的网络磁盘挂载方式. 这两种挂载方式的本质差别是,前者须要有Linux内核的支持.而后者仅仅是工作在Linux上的一个应用软件. 3-1-1. 使…

目录 一.Ceph 块设备 二.块设备 rbd 命令 三.操作内核模块 四.快照基础 rbd snap 五.分层快照 六.镜像 rbd mirror 七.QEMU 八.libvirt 九.Openstack   一.Ceph 块设备 块是一个字节序列(例如,一个 512 字节的数据块).基于块的存储接口是最常见的存储数据方法,例如硬盘.CD.软盘等.无处不在的块设备接口(block device interfaces)使 虚拟块设备(virtual block device)成为与 Ceph 这…

http://blog.csdn.net/mightysheldor/article/details/51093476 Ceph从2004年提交了第一行代码,至今为止已经10年了.这个起源于Sage博士论文,最早致力于开发下一代高性能分布式文件系统的项目,现在也成为了开源社区众人皆知的明星项目.特别是随着云计算的发展,Ceph乘上了OpenStack的春风,受到各大厂商的待见,Intel.DreamHost.SanDisk.CISCO.Yahoo等公司都或多或少的参与其中.RedHat更是一掷千…

在虚拟化及云计算技术大规模应用于企业数据中心的科技潮流中,存储性能无疑是企业核心应用是否虚拟化.云化的关键指标之一.传统的做法是升级存储设备,但这没解决根本问题,性能和容量不能兼顾,并且解决不好设备利旧问题.因此,企业迫切需要一种大规模分布式存储管理软件,能充分利用已有硬件资源,在可控成本范围内提供最佳的存储性能,并能根据业务需求变化,从容量和性能两方面同时快速横向扩展.这就是Server SAN兴起的现实基础. Ceph作为Server SAN的最典型代表,可对外提供块.对象.文件服务的分布式…

1. 介绍 云硬盘是IaaS云平台的重要组成部分,云硬盘给虚拟机提供了持久的块存储设备.目前的AWS 的EBS(Elastic Block store)给Amazon的EC2实例提供了高可用高可靠的块级存储卷,EBS适合于一些需要访问块设备的应用,比如数据库.文件系统等. 在OpenStack中,可以使用Ceph.Sheepdog.GlusterFS作为云硬盘的开源解决方案,下面我们来了解Ceph的架构. Ceph是统一存储系统,支持三种接口. Object:有原生的API,而且也兼容Swift…