问题 环境:Nova.Cinder.Glance 都对接了 Ceph RBD 后端存储. 以往的操作包括上传镜像.创建卷.挂载卷都是一切正常的,但突然出现了无法挂载卷的问题,而且还是因为 Ceph 客户端权限问题导致的: # nova-compute.log error connecting: Operation not permitted 这就很神奇了,因为 nova-compute.cinder-volume 共用一个 ceph.client.cinder.keyring,为什么唯独挂载卷权

[TOC]   1. Openstack 与 Ceph 1.1. Ceph 简介 Ceph 是当前非常流行的开源分布式存储系统,具有高扩展性.高性能.高可靠性等优点,同时提供块存储服务(RBD).对象存储服务(RGW)以及文件系统存储服务(CEPHFS).目前也是 OpenStack 的主流后端存储,和 OpenStack 亲如兄弟,为 OpenStack 提供统一共享存储服务.使用 Ceph 作为 OpenStack 后端存储,具有如下优点: 所有的计算节点共享存储,迁移时不需要拷贝根磁盘,即

ceph对接openstack环境 一.使用rbd方式提供存储如下数据: (1)image:保存glanc中的image: (2)volume存储:保存cinder的volume:保存创建虚拟机时选择创建新卷: (3)vms的存储:保存创建虚拟机时不选择创建新卷: 二.实施步骤: (1)客户端也要有cent用户: 1 2 3 useradd cent && echo "123" | passwd --stdin cent echo -e 'Defaults:cent !

理解 OpenStack + Ceph 系列文章: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 (5)Ceph 与 OpenStack 集成的实现 (6)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (7)Ceph 的基本操作和常见故障排除方法 1. Glance 与 Ceph RBD 集成 1.1 代码 Kilo 版本中,glance-store 代码被从 glance 代码中分离出来了,地址在 https:

参考文档: Install-guide:https://docs.openstack.org/install-guide/ OpenStack High Availability Guide:https://docs.openstack.org/ha-guide/index.html 理解Pacemaker:http://www.cnblogs.com/sammyliu/p/5025362.html Ceph: http://docs.ceph.com/docs/master/start/int

前提条件:已经部署好ceph集群 本次实验由于环境有限,ceph集群是部署在k8s的master节点上的 一.创建ceph存储池 在ceph集群的mon节点上执行以下命令: ceph osd pool create k8s-volumes 64 64 查看下副本数 [root@master ceph]# ceph osd pool get k8s-volumes size size: pg的设置参照以下公式: Total PGs = ((Total_number_of_OSD * ) / max

ceph osd 批量删除,注意删除的是当前节点正在使用的osd,数据删除有风险,所以最后一步没有去format磁盘,给你留下一剂后悔药. #!/bin/bash osd_list=`mount|grep osd|awk '{print $3}'|awk -F'-' '{print $2}'` for var in $osd_list; do echo "ceph osd out $var" ceph osd out $var echo "service ceph-osd s

前言 本文是对openstack对接vmware的浅析,所以本文重点是以下两点: 先了解它的整体架构,搞清楚为什么要用这样的架构: 然后再了解架构中的各个组件,组件提供的主要功能与各个组件之间的交互 整体架构 先上图,了解下openstack结合VMware的整体架构. 工作原理和流程:   虚机如何启动? 前端BC-OP或者Horizon发送http请求给Rest api,Nova api 通过RPC Call(Rabbitmq)请求scheduler选择合适的nova-compute,到此为

ceph 创建和删除osd 1.概述         本次主要是使用ceph-deploy工具和使用ceph的相关命令实现在主机上指定磁盘创建和删除osd,本次以主机172.16.1.96(主机名hadoop96)为例,此主机系统盘为/dev/sda, 其他盘有/dev/sdb./dev/sdc和/dev/sdd,这几个盘都是裸磁盘,目的是使用这几个盘的组合创建osd.         磁盘情况如下图:         2.创建osd         使用ceph-deploy(工具安装在had

openstack组件集成ceph OpenStack集成ceph详细过程可以查看ceph官方文档:ceph document OpenStack Queens版本,1台控制节点controller,1台计算节点compute: 1. 创建存储池 Glance:Glance可以把镜像存储在Ceph上: Cinder:Cinder负责管理volume,把volume挂载给instance使用或者直接从volume启动instance.集成Ceph后可以让Cinder在Ceph上创建volume:

添加或删除osd均在ceph部署节点的cent用户下的ceph目录进行. 1. 添加osd 当前ceph集群中有如下osd,现在准备新添加osd: (1)选择一个osd节点,添加好新的硬盘: (2)显示osd节点中的硬盘,并重置新的osd硬盘: 列出节点磁盘: ceph-deploy disk list rab1 擦净节点磁盘: ceph-deploy disk zap rab1 /dev/sbd(或者)ceph-deploy disk zap rab1:/dev/vdb1 (3)准备Objec

对接分为三种,也就是存储为openstack提供的三类功能1.云盘,就好比我们新加的硬盘2.原本的镜像也放在ceph里,但是我没有选择这种方式,原因是因为后期有要求,但是我会把这个也写出来,大家自己对比3.为云主机提供系统盘,在云主机创建的初期就必须给人家/./boot./home一类分空间,大家都懂的 ceph -s检查健康状态,一般情况回事HEALTH_WARN或者HEALTH_OK,ok就不说了没问题,warn也很常见说下问题跟解决方式:1.health HEALTH_WARN too f

对接分为三种,也就是存储为openstack提供的三类功能1.云盘,就好比我们新加的硬盘2.原本的镜像也放在ceph里,但是我没有选择这种方式,原因是因为后期有要求,但是我会把这个也写出来,大家自己对比3.为云主机提供系统盘,在云主机创建的初期就必须给人家/./boot./home一类分空间,大家都懂的 ceph -s检查健康状态,一般情况回事HEALTH_WARN或者HEALTH_OK,ok就不说了没问题,warn也很常见说下问题跟解决方式:1.health HEALTH_WARN too f

M版openstack,是kolla部署的 1.介绍 backup 功能好像与 snapshot 很相似,都可以保存 volume 的当前状态,以备以后恢复.但二者在用途和实现上还是有区别的,具体表现在: Snapshot 依赖于源 volume,不能独立存在:而 backup 不依赖源 volume,即便源 volume 不存在了,也可以 restore. Snapshot 与源 volume 通常存放在一起,都由同一个 volume provider 管理:而 backup 存放在独立的备份

部署节点执行: 安装基础包和docker yum install python-devel libffi-devel gcc openssl-devel git python-pip -y 升级一下 pip,不然后期安装会报警告 pip install -U pip yum install -y yum-utils device-mapper-persistent-data lvm2 安装ansible yum install ansible 每个节点执行,关闭kvm虚拟化: systemctl

ceph对接openstack环境 一.使用RBD方式提供存储,如下数据: 1.image:保存glance中的image 2.volume存储:保存cinder的volume:保存创建虚拟机时选择创建新卷 3.vms的存储:保存创建虚拟机时不选择创建新卷 二.实施步骤 1.客户端也要有cent用户 useradd cent && echo "123" | passwd --stdin cent echo -e 'Defaults:cent !requiretty\nc

由于某种原因我将OpenStack的一个计算节点移除了,但移除前并没有删除在其上运行的实例,后来想通过dash删除这些实例,于是N天过去了,我的dash还显示如下内容:很碍眼是不是?于是我打算手动从数据库中删除它们! 1.数据库中与删除实例相关的表 数据库中与删除实例相关的表如下:fixed_ips记录给实例分配的fixed ip,floating_ips显然与实例分配的floating ip有关,但我在实验中一直没有使用过floating故不作评断,instance_actions我这里是空的

概述 Ceph 作为分布式文件系统,不但具有高可靠性.高扩展性.高性能. 也是统一存储系统.支持对象存储.块存储.文件存储,本文介绍怎样使用Ceph 块存储作为OpenStack的Glance.Nova.Cinder组件的后端存储 前面已经分享过ceph 集群的部署,以下怎样让openstack在glance.cinder.nova组件后端配置使用ceph来进行存储 參考文档 http://docs.ceph.com/docs/master/rbd/rbd-openstack/ http://d

OpenStack all-in-one部署: 本次部署为OpenStack Queens版本部署,使用All-in-one,单节点部署. 物理资源:8核,32GB,硬盘400GB(3个盘),2网卡. 其中CPU核心数和内存尽量高,如果资源有限,可以在上面的标准上进行降低,添加三块硬盘,是为了做测试使用,下文会有硬盘操作. 1.网卡个数和状态: # ifconfig ens160: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet

    Ceph 是一种为优秀的性能.可靠性和可扩展性而设计的统一的.分布式文件系统.Ceph 的统一体现在可以提供文件系统.块存储和对象存储,分布式体现在可以动态扩展.在国内一些公司的云环境中,通常会采用 Ceph 作为 OpenStack 的唯一后端存储来提高数据转发效率. 1.安装ceph(版本:nautilus) # 在node1.node2.node3上安装ceph并组成集群 yum -y install ceph 监视器monitor(node1上操作)     在node1上提供配