osds have slow requests
ceph health detail
HEALTH_WARN 14 requests are blocked > 32 sec; 11 osds have slow requests
7 ops are blocked > 536871 sec
2 ops are blocked > 268435 sec
2 ops are blocked > 67108.9 sec
3 ops are blocked > 33554.4 sec
1 ops are blocked > 536871 sec on osd.0
1 ops are blocked > 536871 sec on osd.10
2 ops are blocked > 536871 sec on osd.12
2 ops are blocked > 268435 sec on osd.18
1 ops are blocked > 536871 sec on osd.31
1 ops are blocked > 536871 sec on osd.38
1 ops are blocked > 67108.9 sec on osd.38
1 ops are blocked > 33554.4 sec on osd.48
1 ops are blocked > 67108.9 sec on osd.52
1 ops are blocked > 536871 sec on osd.63
1 ops are blocked > 33554.4 sec on osd.64
1 ops are blocked > 33554.4 sec on osd.69
11 osds have slow requests
此时注意看osd日志:
2019-04-26 13:28:44.132802 7f0d86e78700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:24.132797)
2019-04-26 13:28:44.395692 7f0da1b57700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:24.395682)
2019-04-26 13:28:44.635843 7f0d86e78700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:24.635838)
2019-04-26 13:28:45.139035 7f0d86e78700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:25.139031)
2019-04-26 13:28:45.395860 7f0da1b57700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:25.395849)
2019-04-26 13:28:45.641855 7f0d86e78700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:25.641850)
说明OSD47网络有问题:
可以先尝试重启服务
systemctl restart ceph-osd@*.service
如果不行重启机器
[root@controller01 ~]# ceph -s
cluster 30329309-3bff-470b-981f-5be63facde20
health HEALTH_OK
monmap e1: 3 mons at {node4=10.64.43.4:6789/0,node5=10.64.43.5:6789/0,node6=10.64.43.6:6789/0}
election epoch 5612, quorum 0,1,2 node4,node5,node6
fsmap e79: 1/1/1 up {0=node6=up:active}, 2 up:standby
osdmap e4529: 72 osds: 72 up, 72 in
flags sortbitwise,require_jewel_osds
pgmap v66545373: 3090 pgs, 5 pools, 3893 GB data, 948 kobjects
11578 GB used, 250 TB / 261 TB avail
3090 active+clean
client io 0 B/s rd, 9168 B/s wr, 1 op/s rd, 2 op/s wr
osds have slow requests的更多相关文章
- 1 slow requests are blocked > 32 sec解决方法
[root@node1 ~]# ceph -s cluster: id: b8b4aa68-d825-43e9-a60a-781c92fec20e health: HEALTH_WARN Reduce ...
- ceph运维命令合集
一.集群 1.启动一个ceph进程 启动mon进程 [root@ceph-adm ~]#203.109 service ceph start mon.ceph-mon1 启动msd进程 [root@c ...
- ceph mimic版本 部署安装
ceph 寻址过程 1. file --- object映射, 把file分割成N个相同的对象 2. object - PG 映射, 利用静态hash得到objectID的伪随机值,在 "位 ...
- MDS 多活配置
CephFS 介绍及使用经验分享 阅读 1179 收藏 2 2019-01-14 原文链接:www.jianshu.com WebRTC SFU中发送数据包的丢失反馈juejin.im 目录 Ceph ...
- cephfs测试中出现的问题
最近重新对cephfs进行性能测试. 测试步骤: (1) 选取一个特地版本的操作系统内核,挂载20000个客户端; (2) 用iozone中的fileop工具,在每隔挂载点上都跑一个fileop进程; ...
- mds0: Many clients (191) failing to respond to cache pressure
目录 背景 后续的努力 临时的解决办法 cephfs时我们产品依赖的主要分布式操作系统,但似乎很不给面子,压力测试的时候经常出问题. 背景 集群环境出现的问题: mds0: Many clients ...
- Ceph 存储集群7-故障排除
Ceph 仍在积极开发中,所以你可能碰到一些问题,需要评估 Ceph 配置文件.并修改日志和调试选项来纠正它. 一.日志记录和调试 般来说,你应该在运行时增加调试选项来调试问题:也可以把调试选项添加到 ...
- ceph对象存储场景
安装ceph-radosgw [root@ceph-node1 ~]# cd /etc/ceph # 这里要注意ceph的源,要和之前安装的ceph集群同一个版本 [root@ceph-node1 c ...
- CentOS 7.1编译安装PHP7
原文: https://typecodes.com/web/centos7compilephp7.html?utm_source=tuicool&utm_medium=referral 1 创 ...
随机推荐
- 【ANT】ant使用
官网:https://ant.apache.org/,task介绍:https://ant.apache.org/manual/index.html 0.介绍: Ant的构建文件当开始一个新的项目时, ...
- weblogic对JSP预编译、weblogic读取JSP编译后的class文件、ant中weblogic.jspc预编译JSP
我们都知道在weblogic中JSP是每次第一次访问的时候才会编译,这就造成第一次访问某个JSP的时候性能下降,有时候我们也希望JSP被编译成class然后打包在jar中实现隐藏JSP的功能,下面介绍 ...
- Hard Negative Mning
对于hard negative mining的解释,引用一波知乎: 链接:https://www.zhihu.com/question/46292829/answer/235112564来源:知乎 先 ...
- ES系列十九、kibana基本查询、可视化、仪表盘用法
一. 定义索引模式匹配 1.前缀模糊匹配,一个模式匹配多个索引 每一个数据集导入到Elasticsearch后会有一个索引匹配模式,在上段内容莎士比亚数据集有一个索引名称为shakespeare,账户 ...
- ES系列十、ES常用查询API
1.term查询 { "query": { "term": { "title": "crime" } } } 1.1.指 ...
- 『实践』Yalmip获取对偶函数乘子
『实践』Yalmip获取对偶函数乘子 一.sdpsetting设置 Yalmip网站给出的说明 savesolveroutput默认为0,需要设置为1才会保存输出结果. 下面是我模型的约束个数: 二. ...
- insmod 时报错“Unknown symbol”问题的解决
在加载驱动模块时报错: “ Unknown symbol CFG80211_SupBandReInit (err 0)” 查看了内核代码以及加载上的symbol(命令为 cat /proc/kalls ...
- web前端开发分享-css,js提高篇
一. css基础知识掌握之后(个人的标准是:弄清块元素与内联元素的区别,弄清float的应用场景,弄清position[pə'zɪʃən] 下五个属性static['stætɪk],relative[ ...
- Maven实战(Maven+Nexus建立私服【Linux系统】)
准备工作 下载及配置Maven3:http://www.cnblogs.com/leefreeman/archive/2013/03/05/2944519.html 下载Nexus:http://ne ...
- 【linux】ubuntu下crontab无效解决方法
在Debain的docker中启用crontab,踩了一整天的坑,特地记录一下.Debain和ubuntu差不多,故算在ubuntu下面了. 1.第一个坑,安装crontab apt-get inst ...