“Ceph是一个开源的.统一的.分布式的存储系统”,这是我们宣传Ceph时常说的一句话,其中“统一”是说Ceph可以一套存储系统同时提供块设备存储.文件系统存储和对象存储三种存储功能.一听这句话,具有一定存储基础的用户应该已经大致了解了Ceph的存储接口,而没有存储基础的小白用户则 一脸懵逼.本文旨在让小白用户理解Ceph的块存储.文件系统存储和对象存储接口. 一. Ceph的块设备存储接口 首先,什么是块设备? 块设备是i/o设备中的一类,是将信息存储在固定大小的块中,每个块都有自己的地址,还

最近公司准备接ceph储存,研究了一番,准备用亚马逊的s3接口实现,实现类如下: /** * Title: S3Manager * Description: Ceph储存的s3接口实现,参考文档: * https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/dev/RetrievingObjectUsingJava.html * http://docs.ceph.org.cn/radosgw/s3/ * author: xu jun * date: 2

前文我们使用ceph-deploy工具简单拉起了ceph底层存储集群RADOS,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16724473.html:今天我们来聊一聊ceph集群访问接口相关话题: 我们知道RADOS集群是ceph底层存储集群,部署好RADOS集群以后,默认只有RBD(Rados Block Device)接口:但是该接口并不能使用:这是因为在使用rados存储集群存取对象数据时,都是通过存储池找到对应pg,然后pg找到对应的osd,由

python 使用 boto 库完成分布式存储读.写.判断接口 import boto import boto.s3.connection from boto.s3.key import Key import os class ImageFeatIO: __read_singleton = None __write_singleton = None __read_count = __write_count = def __init__(self): pass @staticmethod def

玩转 Ceph 的正确姿势 本文先介绍 Ceph, 然后会聊到一些正确使用 Ceph 的姿势:在集群规模小的时候,Ceph 怎么玩都没问题:但集群大了(到PB级别),这些准则可是保证集群健康运行的不二法门: Ceph 最初的目标是做一个分布式文件系统,直到现在这个目标也不能算完美实现:目前官网上对它的文件系统还是谨慎推荐的态度(不建议对线上核心业务部署): 业界使用 Ceph ,大多是用它的对象存储: Ceph 客户端 Ceph 支持三种存储接口:对象存储 RGW(rados gateway).

目录 文章目录 目录 Ceph 简介 Ceph 的架构:分布式服务进程 Ceph Monitor(MON) Ceph Object Storage Device Daemon(OSD) Ceph Metadata Server(MDS)[可选] Ceph 的架构:核心组件 Ceph RADOS(Reliable, Autonomic, Distributed Object Store) LIBRADOS Ceph Reliable Block Storage(RBD) Ceph RADOS Ga

Ceph理论 Ceph 简介 Ceph 是一个开源项目,它提供软件定义的.统一的存储解决方案 .Ceph 是一个具有高性能.高度可伸缩性.可大规模扩展并且无单点故障的分布式存储系统 . Ceph 是软件定义存储解决方案 Ceph 是统一存储解决方案 Ceph 是云存储解决方案 Ceph 官方文档:http://docs.ceph.com/docs/mimic/ Ceph 的架构:分布式服务进程 2.1 Ceph Monitor(MON) Ceph 监视器服务进程,简称 MON.负责监控集群的监控

Ceph基础概述 Ceph是一个对象式存储系统,所谓对象式存储是指它把每一个待管理的数据流(比如一个文件)切分成一到多个固定大小的对象数据,并以其为原子单元完成数据的存取:对象数据的底层存储服务由多个主机组成的存储集群:该集群被称之为RADOS(Reliable Automatic Distributed Object Store)集群:翻译成中文就是可靠的.自动化分布式对象存储系统: Ceph架构 提示:librados是RADOS存储集群的API,它支持C.C++.java.python和p

本系列文章会总结 QEMU/KVM 和 Ceph 之间的整合: (1)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (2)QEMU 的 RBD 块驱动(block driver) (3)存储卷挂接和设备名称 QEMU-KVM 的缓存机制的概念很多,Linux/KVM I/O 软件栈的层次也很多,网上介绍其缓存机制的文章很多.边学习边总结.本文结合 Ceph 在 QEMU/KVM 虚机中的使用,总结一下两者结合时缓存的各种选项和原理. 1. QEMU/KVM 缓存机制 先以客户机(Gu

ceph简介 ceph是业界目前人气最高的开源存储项目之一,关于其定义在官网是这样的:"Ceph is a unified, distributed storage system designed for excellent performance, reliability and scalability." 翻译一下就是:Ceph是一种为优秀的性能.可靠性和可扩展性而设计的统一的.分布式的存储系统.这里面有两个重点,一是分布式的,关于这点我的理解是指其无中心解构和无理论上限系统规模,

转自:https://www.ustack.com/blog/ceph-internal-rbdcache/ RBDCache 是Ceph的块存储接口实现库 Librbd 的用来在客户端侧缓存数据的目的,它主要提供了读数据缓存,写数据汇聚写回的目的,用来提高顺序读写的性能.需要说明的是,Ceph 既支持以内核模块的方式来实现对 Linux 动态增加块设备,也支持以 QEMU Block Driver 的形式给使用 QEMU 虚拟机增加虚拟块设备,而且两者使用不同的库,前者是内核模块的形式,后者是

转自:https://www.ustack.com/blog/ceph-distributed-block-storage/ 1. Ceph简介 Ceph是统一分布式存储系统,具有优异的性能.可靠性.可扩展性.Ceph的底层是RADOS(可靠.自动.分布式对象存储),可以通过LIBRADOS直接访问到RADOS的对象存储系统.RBD(块设备接口).RADOS Gateway(对象存储接口).Ceph File System(POSIX接口)都是基于RADOS的. LIBRADOS(Native

ownCloud简介 是一个来自 KDE 社区开发的免费软件,提供私人的 Web 服务.当前主要功能包括文件管理(内建文件分享).音乐.日历.联系人等等,可在PC和服务器上运行. 简单来说就是一个基于Php的自建网盘.基本上是私人使用这样,因为直到现在开发版本也没有暴露注册功能. 我这里采用基于php7.1的LAMP环境搭建这个owncloud 下一篇将介绍和ceph对象存储整合案例 一.环境准备,这里的owncloud是10.2.1版本,所以需要php7.1以上的LAMP环境,否则会报错,LA

1. Ceph 架构 1.1 Ceph 接口 Ceph 支持三种接口: Object:有原生的API,而且也兼容 Swift 和 S3 的 API Block:支持精简配置.快照.克隆 File:Posix 接口,支持快照 1.2 Ceph 核心组件及概念介绍 Monitor:一个 Ceph 集群需要多个 Monitor 组成的小集群,它们通过 Paxos 同步数据,用来保存 OSD 的元数据. OSD:OSD 全称 Object Storage Device,也就是负责响应客户端请求返回具体数

两大主流开源分布式存储的对比:GlusterFS vs. Ceph 存储世界最近发生了很大变化.十年前,光纤通道SAN管理器是企业存储的绝对标准,但现在的存储必须足够敏捷,才能适应在新的基础架构即服务云环境内运行. GlusterFS和Ceph是在现代云环境中表现最出色的两个敏捷存储系统. 在讲述GlusterFS和Ceph的相同点和区别之前,我们先谈一谈云环境中敏捷存储的一些关键点. 纵向升级和横向扩展.在云环境中,很容易向服务器添加更多存储空间和扩展可用存储池.Ceph和GlusterFS都

kolla-ceph来源: 项目中的部分代码来自于kolla和kolla-ansible kolla-ceph的介绍: 1.镜像的构建很方便, 基于容器的方式部署,创建.删除方便 2.kolla-ceph的操作幂等,多次执行不会产生副作用 3.使用kolla-ceph(基于ansible)流程化部署 4.通过给磁盘打上相应标签,创建osd非常简单 5.升级便捷,通过构建新的ceph镜像,upgrade既可 6.自动根据osd节点数量来设置故障域: "osd" 或 "host&

kolla-ceph来源: 项目中的部分代码来自于kolla和kolla-ansible kolla-ceph的介绍: 1.镜像的构建很方便, 基于容器的方式部署,创建.删除方便 2.kolla-ceph的操作幂等,多次执行不会产生副作用 3.使用kolla-ceph(基于ansible)流程化部署 4.通过给磁盘打上相应标签,创建osd非常简单 5.升级便捷,通过构建新的ceph镜像,upgrade既可 6.自动根据osd节点数量来设置故障域: "osd" 或 "host&

前文我们了解了Ceph的访问接口的启用相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16727620.html:今天我们来聊一聊获取ceph集群状态和ceph配置文件说明相关话题: Ceph集群状态获取常用命令 1.ceph -s :该命令用于输出ceph集群系统状态信息 提示:ceph -s主要输出有三类信息,一类是集群相关信息,比如集群id,健康状态:第二类是服务类相关信息,比如集群运行了几个mon节点,几个mgr节点,几个mds,osd和r

前文我们了解了ceph之上的RBD接口使用相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16753098.html:今天我们来聊一聊ceph之上的另一个客户端接口cephfs使用相关话题: CephFS概述 文件系统是至今在计算机领域中用到的存储访问中最通用也是最普遍的接口:即便是我们前面聊到的RDB块设备,绝大多数都是格式化分区挂载至文件系统之上使用:使用纯裸设备的场景其实不多:为此,ceph在向外提供客户端接口中也提供了文件系统接口cephf

前言 如果用cephfs比较多,应该都知道,在cephfs的客户端进行mount以后,看到的容量显示的是集群的总的容量,也就是你的总的磁盘空间是多少这个地方显示的就是多少 这个一直都是这样显示的,我们之前在hammer版本的时候,阿茂和大黄一起在公司内部实现了这个功能,社区会慢慢的集成一些类似的面向面向商业用户的需求 社区已经开发了一个版本,接口都做的差不多了,那么稍微改改,就能实现想要的需求的 本篇内的改动是基于内核客户端代码的改动,改动很小,应该能够看的懂 改动过程 首先找到这个补丁 Imp