OpenStack 使用Ceph 配置指导
概述
Ceph 作为分布式文件系统，不但具有高可靠性、高扩展性、高性能。 也是统一存储系统。支持对象存储、块存储、文件存储，本文介绍怎样使用Ceph 块存储作为OpenStack的Glance、Nova、Cinder组件的后端存储
前面已经分享过ceph 集群的部署，以下怎样让openstack在glance、cinder、nova组件后端配置使用ceph来进行存储
參考文档
http://docs.ceph.com/docs/master/rbd/rbd-openstack/
环境信息
192.168.3.8 ceph node1 （部署mon,mds）
192.168.3.9 ceph node2 （部署osd)
192.168.3.10 ceph node3 (部署osd)
192.168.3.4 openstack （devstack 部署，包含 controller, network,compute)
说明
ceph 不支持qcow2格式的镜像。所以假设配置nova部分假设要启动虚拟机在ceph ，镜像必须是raw
配置glance
配置认证
1. 将node1节点/etc/ceph文件夹下的两个文件复制到openstack 的 controller节点和compute节点（我这里都在一个节点）
cd /etc/ceph/
scp ceph.conf ceph.client.admin.keyring 192.168.3.4:/etc/ceph/
2. 改动ceph.client.admin.keyring的权限
chmod +r /etc/ceph/ceph.client.admin.keyring
3. 在ceph148上创建glance的存储池
rados mkpool glance
4. 编辑openstack上glance的配置文件/etc/glance/glance-api.conf中例如以下配置项
rbd_store_ceph_conf = /etc/ceph/ceph.conf
stores = rbd (L 曾经版本号不须要这个)
default_store = rbd
rbd_store_user = admin (这里的username是上面cephx认证的用户)
rbd_store_pool = glance
rbd_store_chunk_size = 8
6,重新启动glance-api 服务
7,上传一个镜像
stack@map-VirtualBox:~/devstack$ glance image-create --name "cirros-0.3.2-x86_64-10" --disk-format qcow2 --container-format bare <./files/images/cirros-0.3.4-x86_64-uec/cirros-0.3.4-x86_64-blank.img
+------------------+--------------------------------------+
| Property | Value |
+------------------+--------------------------------------+
| checksum | eb9139e4942121f22bbc2afc0400b2a4 |
| container_format | bare |
| created_at | 2016-02-02T06:45:09Z |
| disk_format | qcow2 |
| id | 5d57ba01-a905-42b6-bc9b-39a10b8c7fcb |
| min_disk | 0 |
| min_ram | 0 |
| name | cirros-0.3.2-x86_64-10 |
| owner | bffb0c753d004509b0ef6ae9bd4777ba |
| protected | False |
| size | 25165824 |
| status | active |
| tags | [] |
| updated_at | 2016-02-02T06:45:19Z |
| virtual_size | None |
| visibility | private |
+------------------+--------------------------------------+
8，查看ceph 池中的对象。刚上传的镜像已经到ceph池
root@map-VirtualBox:/etc/glance# rbd ls images
5d57ba01-a905-42b6-bc9b-39a10b8c7fcb
root@map-VirtualBox:/etc/glance#
9,查看 image 池中占用情况
root@map-VirtualBox:~# rados df
pool name category KB objects clones degraded unfound rd rd KB wr wr KB
cephfs_data - 0 0 0 0 0 0 0 0 0
cephfs_metadata - 0 0 0 0 0 0 0 0 0
data - 0 0 0 0 0 0 0 0 0
<span style="color:#ff0000;">images - 24577 6 0 0 0 113 87 20 24577</span>
metadata - 2 20 0 0 0 6 5 31 8
nova - 0 0 0 0 0 0 0 0 0
rbd - 0 0 0 0 0 0 0 0 0
test - 137633 46 0 0 0 287 1110 642 132406
vms - 0 1 0 0 0 308 598 1572 43931
volumes - 0 0 0 0 0 0 0 0 0
total used 10891912 73
total avail 5085560
total space 15977472
配置nova
1,创建nova pool
rados mkpool vms
root@map-VirtualBox:/etc/nova# rados mkpool nova
successfully created pool nova
root@map-VirtualBox:/etc/nova# rados lspools
data
metadata
rbd
cephfs_data
cephfs_metadata
test
volumes
images
vms
nova
2,生成uuid
root@map-VirtualBox:/etc/nova# uuidgen
ebdba075-59bc-4408-9a2c-d44b16d56bd3
3,创建screen
root@map-VirtualBox:/etc/nova# cat > secret.xml <<EOF
> <secret ephemeral='no' private='no'>
> <uuid>ebdba075-59bc-4408-9a2c-d44b16d56bd3</uuid>
> <usage type='ceph'>
> <name>client.admin secret</name>
> </usage>
> </secret>
> EOF
4,运行virsh secret-define --file secret.xml
root@map-VirtualBox:/etc/nova# virsh secret-define --file secret.xml
Secret ebdba075-59bc-4408-9a2c-d44b16d56bd3 created
5,运行例如以下命令，设置
root@map-VirtualBox:/etc/nova# cat /etc/ceph/ceph.client.admin.keyring
[client.admin]
key = AQDPoZRWcIQCDhAAwGapOCdp2uql2HJN2HpD9w==
root@map-VirtualBox:/etc/nova# echo "AQDPoZRWcIQCDhAAwGapOCdp2uql2HJN2HpD9w==">key
root@map-VirtualBox:/etc/nova# virsh secret-set-value --secret ebdba075-59bc-4408-9a2c-d44b16d56bd3 --base64 $(cat key)
Secret value set
查看secret验证配置是否正确
root@map-VirtualBox:~# virsh secret-define
error: command 'secret-define' requires <file> option
root@map-VirtualBox:~# virsh secret-list
UUID Usage
--------------------------------------------------------------------------------
ebdba075-59bc-4408-9a2c-d44b16d56bd3 ceph client.admin secret root@map-VirtualBox:~# virsh secret-dumpxml ebdba075-59bc-4408-9a2c-d44b16d56bd3
<secret ephemeral='no' private='no'>
<uuid>ebdba075-59bc-4408-9a2c-d44b16d56bd3</uuid>
<usage type='ceph'>
<name>client.admin secret</name>
</usage>
</secret> root@map-VirtualBox:~#
6,配置nova.conf
先备份nova.conf
root@map-VirtualBox:/etc/nova# ls
api-paste.ini key nova.conf policy.json rootwrap.conf rootwrap.d secret.xml
root@map-VirtualBox:/etc/nova# cp nova.conf nova.conf.bak
编辑nova.conf 中例如以下内容
images_type=rbd
images_rbd_pool=vms
images_rbd_ceph_conf=/etc/ceph/ceph.conf
rbd_user=admin
rbd_secret_uuid=ebdba075-59bc-4408-9a2c-d44b16d56bd3
cpu_mode=none
7,重新启动nova-compute
8,创建一个虚拟机
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" width="807" height="266">
9，查看ceph 池中的对象，刚创建的虚拟机已经到ceph池
root@map-VirtualBox:/etc/cinder# rados df
pool name category KB objects clones degraded unfound rd rd KB wr wr KB
cephfs_data - 0 0 0 0 0 0 0 0 0
cephfs_metadata - 0 0 0 0 0 0 0 0 0
data - 0 0 0 0 0 0 0 0 0
images - 49153 11 0 0 0 269 24785 40 49154
metadata - 2 20 0 0 0 6 5 31 8
nova - 0 0 0 0 0 0 0 0 0
rbd - 0 0 0 0 0 0 0 0 0
test - 137633 46 0 0 0 287 1110 642 132406
<span style="color:#ff0000;">vms - 37455 20 0 0 0 491 919 2400 78635</span>
volumes - 0 0 0 0 0 0 0 0 0
total used 10990976 97
total avail 4986496
total space 15977472
root@map-VirtualBox:/etc/cinder# rbd ls vms
06aedb93-087f-4110-9d18-8428aa9ede29_disk
06aedb93-087f-4110-9d18-8428aa9ede29_disk.config
2a1ef5e0-97ee-4c41-8ad9-f253d019c5d2_disk
2a1ef5e0-97ee-4c41-8ad9-f253d019c5d2_disk.config
root@map-VirtualBox:/etc/cinder#
stack@map-VirtualBox:~/devstack$ nova list
+--------------------------------------+------+---------+------------+-------------+------------------+
| ID | Name | Status | Task State | Power State | Networks |
+--------------------------------------+------+---------+------------+-------------+------------------+
| 06aedb93-087f-4110-9d18-8428aa9ede29 | sdf | ACTIVE | - | Running | private=10.0.0.3 |
| 2a1ef5e0-97ee-4c41-8ad9-f253d019c5d2 | we | SHUTOFF | - | Shutdown | private=10.0.0.2 |
+--------------------------------------+------+---------+------------+-------------+------------------+
stack@map-VirtualBox:~/devstack$
OpenStack 使用Ceph 配置指导的更多相关文章
- 理解 OpenStack + Ceph （5）：OpenStack 与 Ceph 之间的集成 [OpenStack Integration with Ceph]
理解 OpenStack + Ceph 系列文章: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 (5)Ceph 与 OpenS ...
- OpenStack 对接 Ceph
[TOC] 1. Openstack 与 Ceph 1.1. Ceph 简介 Ceph 是当前非常流行的开源分布式存储系统,具有高扩展性.高性能.高可靠性等优点,同时提供块存储服务(RBD).对象 ...
- 高可用OpenStack（Queen版）集群-14.Openstack集成Ceph准备
参考文档: Install-guide:https://docs.openstack.org/install-guide/ OpenStack High Availability Guide:http ...
- 查看，修改ceph节点的ceph配置命令
标签(空格分隔): ceph,ceph运维,ceph配置 查看ceph配置 1. 查看ceph默认配置: # ceph --show-config 2. 查看 type.num 的ceph默认配置: ...
- OpenStack集成ceph
openstack组件集成ceph OpenStack集成ceph详细过程可以查看ceph官方文档:ceph document OpenStack Queens版本,1台控制节点controller, ...
- OpenStack 对接 Ceph 环境可以创建卷但不能挂载卷的问题
问题 环境:Nova.Cinder.Glance 都对接了 Ceph RBD 后端存储. 以往的操作包括上传镜像.创建卷.挂载卷都是一切正常的,但突然出现了无法挂载卷的问题,而且还是因为 Ceph 客 ...
- OpenStack云计算快速入门之二：OpenStack安装与配置
原文:http://blog.chinaunix.net/uid-22414998-id-3265685.html OpenStack云计算----快速入门(2) 该教程基于Ubuntu12.04版, ...
- Anaconda多环境多版本python配置指导
Anaconda多环境多版本python配置指导 字数3696 阅读644 评论0 喜欢0 最近学python,读完了语法后在GitHub找了一些练习来做,由 于学的是python3.x语法,而Git ...
- OpenStack安装与配置2
第二部分 OpenStack安装与配置 一.引言 本章内容讲解如何在3台物理机上搭建最小化云平台,这3台机器分为称为Server1.Server2和Client1,之后的各章也是如此.Server ...
随机推荐
- LeetCode OJ-- Longest Palindromic Substring **
https://oj.leetcode.com/problems/longest-palindromic-substring/ 给一个string,求它的最长回文子串. 定义一个二维数组bool is ...
- Java 8 Comparator: 列表排序
在本文中,我们将看到几个关于如何在Java 8中对List进行排序的示例. 1.按字母顺序排序字符串列表 List<String> cities = Arrays.asList( &quo ...
- rownum详解
对于rownum来说它是oracle系统顺序分配为从查询返回的行的编号,返回的第一行分配的是1,第二行是2,依此类推,这个伪字段可以用于限制查询返回的总行数,且rownum不能以任何表的名称作为前缀. ...
- Code signing is required for product type Unit Test Bundle in SDK iOS 8.0
I fixed the issue (temporarily) by going to Edit Scheme, then in the Build section, removing my unit ...
- wpa破解学习
TENDA 159031106A iPhone 192.168.0.11 90:27:E4:53:49:D6 18:58:52 PC-201211262044 192.168.0.12 00:F1: ...
- 工程管理，用网页就够了！——Wish3D Earth在线三维地球强势上线
大型工程涉及到众多的施工队.管理单位和相关部门,相互之间需要传递的数据.文件的数量是惊人的,必须建立起有效的信息管理方法,使管理者及时把握工程的信息,全面准确地控制工程施工情况. 现代化的建筑工程管理 ...
- 手机APP脚本录制(LoadRunner 12)
最近因项目需要,研究了下手机APP脚本录制方法,有需要的童鞋可参考使用! 方法1: 在手机网络中设置网络代理,使用LR12选择Mobile Application – HTTP/HTML协议中代理录制 ...
- C++的标准模板库STL中实现的数据结构之顺序表vector的分析与使用
摘要 本文主要借助对C++的标准模板库STL中实现的数据结构的学习和使用来加深对数据结构的理解.即联系数据结构的理论分析和详细的应用实现(STL),本文是系列总结的第一篇,主要针对线性表中的顺序表(动 ...
- ext tree展开时的一些技巧
加入子节点的时候.我们须要展开父节点.并选中刚加入好的节点. 这时候会有一个问题. 我用的ext-js-4.2起码有一种问题. 节点内部会混乱.要么多加一个. 要么层级会发生故障. 随后我发现一个窍门 ...
- 【转载】Asp.Net页面生命周期
一．什么是Asp.Net页面生命周期 当我们在浏览器地址栏中输入网址,回车查看页面时,这时会向服务器端(IIS)发送一个request请求,服务器就会判断发送过来的请求页面, 完全识别 HTTP 页 ...