ceph集群cephfs使用详解 一个完整的ceph集群,可以提供块存储.文件系统和对象存储. 本节主要介绍文件系统cephfs功能如何灵活的使用,集群背景: [cephadmin@yq01-aip-aikefu10.yq01.baidu.com ~]$ ceph -s cluster: id: f0a8789e-6d53-44fa-b76d-efa79bbebbcf health: HEALTH_OK services: mon: 1 daemons, quorum a (age 24h) m

Ceph RBD  CephFS 存储 环境准备: (这里只做基础测试, ceph-manager , ceph-mon, ceph-osd 一共三台) 10.6.0.140 = ceph-manager 10.6.0.187 = ceph-mon-1 10.6.0.188 = ceph-osd-1 10.6.0.94 = node-94 注: ceph 对时间要求很严格, 一定要同步所有的服务器时间 一.在 manager 上面修改 /etc/hosts : 10.6.0.187 ceph-m

这里使用了k8s自身的持久化卷存储机制:PV和PVC.各组件之间的关系参考下图: PV的Access Mode(访问模式) The access modes are: ReadWriteOnce – the volume can be mounted as read-write by a single node ReadOnlyMany – the volume can be mounted read-only by many nodes ReadWriteMany – the volume c

Ceph 文件系统( Ceph FS )是个 POSIX 兼容的文件系统,它使用 Ceph 存储集群来存储数据.Ceph 文件系统要求 Ceph 存储集群内至少有一个 Ceph 元数据服务器. 1.添加MDS,接上篇,这里把ceph01节点作为元数据服务器MDS. #ceph-deploy mds create ceph01 #netstat -tnlp | grep mds tcp 0 0 172.16.100.5:6804 0.0.0.0:* LISTEN 12787/ceph-mds 2.

参考链接: http://docs.ceph.com/docs/mimic/cephfs/

本文介绍如何将cephfs映射到windows的一个盘上,以磁盘映射的方式访问cephfs. 1.下载必要安装包 tdm-gcc:(安装时选32位)https://sourceforge.net/projects/tdm-gcc/files/TDM-GCC%20Installer/tdm-gcc-5.1.0-3.exe/downloaddokan-0.6.0:https://github.com/dokan-dev/dokany/wiki/Installation#choose-a-versio

一.介绍: ceph MDS 是元数据服务器,只有ceph 文件系统(cephFS)才会需要. cephFS 在RADOS 层之上 提供一个兼容POSIX 的文件系统.他是用MDS 作为守护进程,负责管理其元素数据并将它和其他数据分开. cephfs 需要用到两个pool : fs_data 和fs_metadata. 在初次使用ceph 就能之前需要首先规划 集群一共承载多少存储业务,创建多少个 pool,最后得到每个存储应该分配多少个pg. pg 数量计算: 集群PG总数: PG 总数= (

目录 k8s挂载Ceph RBD PV & PVC方式 创建secret 创建PV 创建PVC 创建deployment挂载PVC StorageClass方式 创建secret 创建StorageClass 创建PVC k8s挂载Cephfs k8s挂载Ceph RBD k8s挂载Ceph RBD有两种方式,一种是传统的PV&PVC的方式,也就是说需要管理员先预先创建好相关PV和PVC,然后对应的deployment或者replication来挂载PVC使用.而在k8s 1.4以后,ku

我们有给客户搭建私有容器仓库的需求.开源的私有容器registry可供选择的不多,除了docker官方的distribution之外,比较知名的是VMware China出品的Harbor,我们选择了harbor. harbor在docker distribution的基础上增加了一些安全.访问控制.管理的功能以满足企业对于镜像仓库的需求.harbor以docker-compose的规范形式组织各个组件,并通过docker-compose工具进行启停. 不过,harbor默认的安装配置是针对si

一.安装cephfs 方法一: 直接进入deploy目录,执行: ceph-deploy --overwrite-conf mds create ceph01:mds-daemon- 上面的ceph01是机器的hostname 方法二: 1.在需要安装的目标机器上创建mds目录 mkdir -p /var/lib/ceph/mds/ceph-0 2.生成mds的keyring,并将其写入/var/lib/ceph/mds/ceph-0/keyring文件中 ceph auth get-or-cr

[前提是已有一个基本可用的ceph集群] 一,在指定节点上部署mds: ceph-deploy mds create ceph-node1 二,新建两个存储池,用于保存cephfs的数据和元数据. ceph osd pool create cephfs_data ceph osd pool create cephfs_metadata 三,创建好存储池后,可以用 fs new 命令创建文件系统. ceph fs new cephfs cephfs_metadata cephfs_data 四,文

标签(空格分隔): ceph环境,ceph,cephfs cephfs部署之前准备工作: 1. 一个 clean+active 的cluster cluster部署参考:centos7下搭建ceph luminous(12.2.1)--无网或网络较差 当前集群环境: [root@node1 ~]# ceph -s cluster: id: b8b4aa68-d825-43e9-a60a-781c92fec20e health: HEALTH_OK services: mon: 1 daemons

1. 在Ceph上为Kubernetes创建一个文件系统 # ceph osd pool create cephfs_data # ceph osd pool create cephfs_metadata # ceph fs new cephfs cephfs_metadata cephfs_data 2. CephFS配置Quotas CephFS的mount方式分为内核态mount和用户态mount,内核态使用mount命令挂载,用户态使用ceph-fuse.内核态只有在kernel 4.1

#挂载 sudo ceph-fuse -m 10.1.xx.231:6789,10.1.xx.232:6789,10.1.xx.233:6789 -r /MySQL-BK /data/backup #卸载 sudo fusermount -zu /mnt/cephfs/

以下为ceph集群操作内容 cephfs 将cephfs挂载到一台服务器 /mnt/cephf . 创建目录 mkdir -p /mnt/cephf/k8s/staff-nginx/{conf,data} 以下为k8s节点操作内容 创建secret [root@ceph1 wsjy-proxy]# ceph auth get-key client.admin|base64 QVFDM2k3MWNZeXIyTFJBQU1JcFp0eG5VdVlyYURNSUcyMVgyVnc11Q== [root

最近笔者在对kernel cephfs客户端进行fio direct随机大io读测试时发现,在numjobs不变的情况下,使用libaio作为ioengine,无论怎么调节iodepth,测试结果都变化不大,咦,这是为什么呢?   一.撇开fio,单看libaio的使用 ...... rc = io_setup(maxevents, &ctx); for (j = 0; j < IO_COUNT; j++) { ...... io_prep_pread(iocb, fd, (void *)b

原文:https://www.fullstackmemo.com/2018/10/11/cephfs-ha-mount-storage/ 服务器硬件配置及环境 项目 说明 CPU 1核 内存 1GB 硬盘 40GB 系统 CentOS 7.5 时间同步服务 chrony ceph 13.2.2-0 节点部署图 节点功能简介 项目 说明 yum repo 如果部署环境每个节点都可以访问外网, 则无需做任何操作, 部署脚本会自动添加外网环境的yum源. 如果部署无法访问外网, 需要自行部署cento

最近重新对cephfs进行性能测试. 测试步骤: (1) 选取一个特地版本的操作系统内核,挂载20000个客户端; (2) 用iozone中的fileop工具,在每隔挂载点上都跑一个fileop进程; (3)过一段时间看写cephfs的状态,结果就变成下面这样的了. [root@ceph741 ~]# ceph -s cluster 1338affa-2d3d-416e-9251-4aa6e9c20eef health HEALTH_WARN mds0: Behind on trimming (

原文:https://www.jianshu.com/p/c22ff79c4452 之前介绍了 RBD 的使用方法,有了 RBD,远程磁盘挂载的问题就解决了,但 RBD 的问题是不能多个主机共享一个磁盘,如果有一份数据很多客户端都要读写该怎么办呢?这时 CephFS 作为文件系统存储解决方案就派上用场了. 1. CephFS 安装 在已经部署好的 Ceph 集群上安装 CephFS 还是比较简单的,首先需要安装 MDS,原因是 CephFS 需要统一的元数据管理,所以 MDS 必须要有. $ c

上一次部署了ceph分布式存储,接下来我们部署ceph的文件系统.Ceph文件系统至少需要两个RADOS池,一个用于数据,一个用于元数据. 创建metadata 池 后面数字表示 PG 和pgp数 ceph osd pool create ceph-metadata 20 20 创建data池 ceph osd pool create data 20 20 创建mds ceph-deploy mds create ceph-admin 创建fs系统 ceph fs new cephfs meta

(1)Policy 配置文件,添加MDS角色定义 # vim /srv/pillar/ceph/proposals/policy.cfg # MDS role-mds/cluster/mds*.sls role-mds/cluster/node00[].example.com.sls (2)执行stage2,stage4 salt-run state.orch ceph.stage. salt-run state.orch ceph.stage. (3)设置 文件系统元数据到SSD # ceph