ceph pg数量计算

2024-08-30

ceph pg_num 数值计算

通常在创建pool之前,需要覆盖默认的pg_num,官方推荐: 若少于5个OSD, 设置pg_num为128. 5~10个OSD,设置pg_num为512. 10~50个OSD,设置pg_num为4096. 超过50个OSD,可以参考pgcalc计算.

优化: PG Number PG和PGP数量一定要根据OSD的数量进行调整,计算公式如下,但是最后算出的结果一定要接近或者等于一个2的指数.调整PGP不会引起PG内的对象的分裂,但是会引起PG的分布的变动三.总结PG是指定存储池存储对象的目录有多少个,PGP是存储池PG的OSD分布组合个数PG的增加会引起PG内的数据进行分裂,分裂到相同的OSD上新生成的PG当中PGP的增加会引起部分PG的分布进行变化,但是不会引起PG内对象的变动 Total PGs = (Total_number_of_OSD

Ceph PG介绍及故障状态和修复

1 PG介绍pg的全称是placement group,中文译为放置组,是用于放置object的一个载体,pg的创建是在创建ceph存储池的时候指定的,同时跟指定的副本数也有关系,比如是3副本的则会有3个相同的pg存在于3个不同的osd上,pg其实在osd的存在形式就是一个目录,可以列出来看下: [root@abc ~]# ll /var/lib/ceph/osd/ceph-/current/ total drwxr-xr-x root root Sep : .11_head drwxr-xr-

每个pool pg数计算

ceph PGs per Pool Calculator 原文档:http://xiaqunfeng.cc/2017/09/18/ceph-PGs-per-Pool-Calculator/ 2017-09-18 根据集群相关信息计算每个pool的pg数量. 在前一篇文章too-many-PGs-per-OSD中,简单讲了pg数目的设定,这里再深入介绍一下计算方法. 计算PG Count的公式 1 PoolPGCount=(TargetPGsPerOSD ∗ OSDNumber ∗ DataPer

PG数计算

PG数计算原地址:http://xiaqunfeng.cc/2017/09/15/too-many-PGs-per-OSD/ ceph告警问题:”too many PGs per OSD” 的解决方法,以及pg数量的合理设定现象 1 2 3 4 5 6 7 8 9 10 11 12 13 # ceph -s cluster 4c7ec5af-cbd3-40fd-8c96-0615c77660d4 health HEALTH_WARN too many PGs per OSD (412 > m

Hive on Tez 中 Map 任务的数量计算

Hive on Tez Mapper 数量计算在Hive 中执行一个query时,我们可以发现Hive 的执行引擎在使用 Tez 与 MR时,两者生成mapper数量差异较大.主要原因在于 Tez 中对 inputSplit 做了 grouping 操作,将多个 inputSplit 组合成更少的 groups,然后为每个 group 生成一个 mapper 任务,而不是为每个inputSplit 生成一个mapper 任务.下面我们通过日志分析一下这中间的整个过程. 1.MR模式在 mr

DP问题练习2：网格路径数量计算问题

DP问题练习2:网格路径数量计算问题问题描述有一个机器人的位于一个 m × n 个网格左上角. 机器人每一时刻只能向下或者向右移动一步.机器人试图达到网格的右下角. 问有多少条不同的路径? 样例: 给出 m = 3 和 n = 3, 返回 6. 给出 m = 4 和 n = 5, 返回 35. 思路用坐标i,j标识格子的位置,左上角为(0,0),右下角为(m-1,n-1) 状态转移方程: f(i,j) = i>0?f(i-1,j):0 + j>0?f(i,j-1):0 //f(i,j)表

脚本实现统计osd内的pg数量

脚本代码如下: ceph pg dump | awk ' /pg_stat/ { col=; while($col!=“up”) {col++}; col++ } /[-9a-f]+.[-9a-f]+/ { match($,/^[-9a-f]+/); pool=substr($, RSTART, RLENGTH); poollist[pool]=; up=$col; i=; RSTART=; RLENGTH=; delete osds; -]+/)>) { osds[++i]=substr(up

利用火焰图分析ceph pg分布

前言性能优化大神Brendan Gregg发明了火焰图来定位性能问题,通过图表就可以发现问题出在哪里,通过svg矢量图来查看性能卡在哪个点,哪个操作占用的资源最多在查看了原始数据后,这个分析的原理是按层级来对调用进行一个计数,然后以层级去做比对,来看横向的占用的比例情况基于这个原理,把osd tree的数据和pg数据可以做一个层级的组合,从而可以很方便的看出pg的分布情况,主机的分布情况,还可以进行搜索,在一个简单的图表内汇聚了大量的信息实践获取需要的数据,这个获取数据是我用一个脚本解

记一次ceph pg unfound处理过程

今天检查ceph集群,发现有pg丢失,于是就有了本文~~~ 1.查看集群状态 [root@k8snode001 ~]# ceph health detail HEALTH_ERR 1/973013 objects unfound (0.000%); 17 scrub errors; Possible data damage: 1 pg recovery_unfound, 8 pgs inconsistent, 1 pg repair; Degraded data redundancy: 1/29

Ceph pg分裂流程及可行性分析

转自:https://www.ustack.com/blog/ceph-pg-fenlie/ 1 pg分裂 Ceph作为一个scalable的分布式系统,集群规模会逐渐增大,为了保证数据分布的均匀性,好的做法是在扩容时根据集群规模适当调整pg_num和pgp_num的值. PG作为Ceph数据流过程的中间层,它的数目pg_num和另一个值pgp_num(二者一般是相等的)直接影响集群的数据分布情况.pgp_num决定了多少pg会拿来存放数据,也就是说并不是所有创建出来的pg都会存放数据.理论上来

[转] 关于 Ceph PG

本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 (5)Ceph 与 OpenStack 集成的实现 (6)QEMU-KVM 和 Ceph RBD 的缓存机制总结 (7)Ceph 的基本操作和常见故障排除方法 (8)关于Ceph PGs https://docs.google.com/presentation/d/1_0eIWNYWvJON4Gr

(转载)CNN 模型所需的计算力（FLOPs）和参数（parameters）数量计算

FLOPS:注意全大写,是floating point operations per second的缩写,意指每秒浮点运算次数,理解为计算速度.是一个衡量硬件性能的指标. FLOPs:注意s小写,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量.可以用来衡量算法/模型的复杂度. 网上打字很容易全小写,造成混淆,本问题针对模型,应指的是FLOPs. 以下答案不考虑activation function的运算. 卷积层: Ci=input chan

ios 根据文字数量计算UILabel高度(已修改)

由于留言的朋友给出了更好的方法,所以下面的代码都是它留言中给出的,优于我前面计算Lable高度方法,这个可以说非常的准,是IOS自带的计算UILABEL高度的方式. 一.实现代码 // 创建label UILabel *label = [[UILabel alloc] init]; label.backgroundColor = [UIColor redColor]; label.numberOfLines = 0; [self addSubview:label]; // 设置label的属性

JavaScript由单价、数量计算总价

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-

练习十一：兔子数量计算—斐波那契实例

题目:古典问题:有一对兔子,从出生后第3个月起每个月都生一对兔子,小兔子长到第三个月后每个月又生一对兔子, 假如兔子都不死,问每个月的兔子总数为多少? 通过数学分析我们知道,兔子的规律为数列1,1,2,3,5,8,13,21....,看到规律了吗,我们熟悉的斐波那契数列.话不多说,上代码. 方法一:使用递归 def Fibonacci(n): if n == 1: return 1 elif n == 2: return 1 elif n > 2: return Fibonacci(n-1) +

Executor线程池的最佳线程数量计算

如果是IO密集型应用,则线程池大小设置为2N+1: 如果是CPU密集型应用,则线程池大小设置为N+1: N代表CPU的核数. 假设我的服务器是4核的,且一般进行大数据运算,cpu消耗较大,那么线程池数量设置为5为最优. (现在很多项目线程池滥用,注意分配线程数量,建议不要动态创建线程池,尽量将线程池配置在配置文件中,这样方便以后整体的把控和后期维护.每个核心业务线程池要互相独立,互不影响.) 例子(spring): <bean class="org.springframework.sche

ceph 文件系统(cephfs) -- 初体验

一.介绍: ceph MDS 是元数据服务器,只有ceph 文件系统(cephFS)才会需要. cephFS 在RADOS 层之上提供一个兼容POSIX 的文件系统.他是用MDS 作为守护进程,负责管理其元素数据并将它和其他数据分开. cephfs 需要用到两个pool : fs_data 和fs_metadata. 在初次使用ceph 就能之前需要首先规划集群一共承载多少存储业务,创建多少个 pool,最后得到每个存储应该分配多少个pg. pg 数量计算: 集群PG总数: PG 总数= (

Ceph 的 'MAX AVAIL' 和数据平衡 - Storage 6

1. 客户环境节点数量:4个存储节点 OSD数量:每个节点10块8GB磁盘,总共 40 块OSD Ceph 版本: Storage 6 使用类型: CephFS 文件 CephFS数据池: EC, 2+1 元数据池: 3 replication 客户端:sles12sp3 2. 问题描述客户询问为什么突然少了那么存储容量? 1) 客户在存储数据前挂载cephfs,磁盘容量显示185T # df -Th % /SES 2) 但在客户存储数据后,发现挂载的存储容量少了8T,只有177T

ceph学习之PG

PG的计算公式: 整个集群PG的计算公式 Total PGs = ((Total_number_of_OSD * ) / max_replication_count) 每个POOL中PG的计算公式: Total PGs = (Total_number_of_OSD * ) / max_replication_count / pool_count 结算的结果往上取靠近2的N次方的值.比如总共OSD数量是160,复制份数3,pool数量也是3,那么按上述公式计算出的结果是1777.7.取跟它接近的2

调整ceph的pg数（pg_num， pgp_num）

https://www.jianshu.com/p/ae96ee24ef6c 调整ceph的pg数 PG全称是placement groups,它是ceph的逻辑存储单元.在数据存储到cesh时,先打散成一系列对象,再结合基于对象名的哈希操作.复制级别.PG数量,产生目标PG号.根据复制级别的不同,每个PG在不同的OSD上进行复制和分发.可以把PG想象成存储了多个对象的逻辑容器,这个容器映射到多个具体的OSD.PG存在的意义是提高ceph存储系统的性能和扩展性. 如果没有PG,就难以管理和跟踪数