【翻译】rocksdb write stall
翻译自官方wiki:https://github.com/facebook/rocksdb/wiki/Write-Stalls
转载请注明出处:https://www.cnblogs.com/morningli/p/16791706.html
write stall
当flush或compaction无法跟上写入的速率时,rocksdb有旁路系统来减慢写入速率。如果没有这样的系统,用户如果持续写入比硬件能处理的数据,数据库会发生下面的问题:
- 增加空间放大,会导致磁盘空间用光
- 增加读放大,严重损害读性能
这个想法是将写入减慢到数据库可以处理的速度。然而,有时候数据库会对临时的突发写过于敏感,或者低估了硬件的处理能力,所以你可能会看到预料外的慢或者查询超时。
为了找出你的数据库是否有write stall的问题,你可以检查:
- LOG文件,当write stall发生时会包含info日志
- 在LOG文件中找到 Compaction stats
write stall的原因
可能会因以下原因触发stall:
太多memtable。当等待flush的memtable的数量大于或者等于max_write_buffer_number,写入会完全停止写来等待flush结束。另外如果max_write_buffer_number 大于3,等待flush的memtable大于或等于max_write_buffer_number-1,写入则会stall。在这些情况下,你将在 LOG 文件中获得类似于以下内容的info日志:
Stopping writes because we have 5 immutable memtables (waiting for flush), max_write_buffer_number is set to 5
Stalling writes because we have 4 immutable memtables (waiting for flush), max_write_buffer_number is set to 5
太多0层sst文件。 当0层的sst文件数量达到level0_slowdown_writes_trigger, 写入则会stall。当0层的sst文件数量达到level0_stop_writes_trigger,写入会完全停止,等待0层到1层的compaction减少0层的文件数。在这些情况下,你将在 LOG 文件中获得类似于以下内容的info日志:
Stalling writes because we have 4 level-0 files
Stopping writes because we have 20 level-0 files
太多等待compaction的字节数。 当估计等待compaction的字节数达到soft_pending_compaction_bytes,写入则会stall。当评估等待的字节数达到hard_pending_compaction_bytes,写入会完全停止等待compaction。在这些情况下,你将在 LOG 文件中获得类似于以下内容的info日志:
Stalling writes because of estimated pending compaction bytes 500000000
Stopping writes because of estimated pending compaction bytes 1000000000
每当stall条件被触发,rocksdb会减少写速度到delayed_write_rate,如果等待compaction的字节还在增加,也有可能会减少到比delayed_write_rate更低。值得注意的一键式是减慢/停止的触发和等待compaction的字节数限制是每个column family单独配置的,但是write stall 是应用到整个数据库的,这意味着如果一个column family触发write stall,整个数据库都会被stall。
非阻塞写
如果触发了一个写减慢/停止,执行Put/Merge/Delete等的程序线程会被阻塞。如果一个减慢在生效中,每个写在处理之前会睡眠一段时间(一般是1ms)。如果写是stall的,线程可以无限制地阻塞。如果不希望线程被阻塞,应用可以通过在WriteOptions中设置no_slowdown = true来避免。在这个选项下,如果写请求因为减慢/stall导致没有完成,会立马返回Status::Incomplete()。
在内部,为了增加性能,rocksdb在写到WAL之前会尝试将来自不同线程的写入请求批处理在一起。然而设置了no_slowdown 的写请求不会这样做,这可能会导致轻微的性能损失。
减轻 write stall
有很多选项你可以调整来减轻write stall。如果你有一些负载可以接受write stall,有些不能,你可以设置一些写请求为 Low Priority Write 来避免延迟敏感的写请求被stall。
如果write stall是由待处理的flush引起的,你可以尝试:
- 增加 max_background_jobs 使用更多的flush线程
- 增加 max_write_buffer_number 减少flush的memtable大小(这里是不是写错了??)
如果write stall是由太多0层文件或者太多等待compaction的字节数引起的,compaction跟不上写入的速度。请注意,任何减少写放大的操作都会减少compaction需要写入的字节数,从而加快压缩速度。尝试的选项:
- 增加 max_background_jobs 使用更多的compaction线程
- 增加write_buffer_size拥有更大的memable,减少写放大
- 增加min_write_buffer_number_to_merge
你可以设置停止/减慢触发器和待compacrion字节数限制为一个很大的数字来避免发生write stall。如果你正在批量导入数据到rocksdb也可以看一下在 FAQ 中的“What's the fastest way to load data into RocksDB?”。
写缓冲区管理器stall
WriteBufferManager 提供一个了选项allow_stall可以传递给WriteBufferManager的构造函数。如果设置为true,当内存使用超过buffer_size (软限制)时会stall所有写入。它将等待刷新完成并且内存使用量下降。应用可以通过在设置WriteOptions中设置no_slowdown = true来避免。
【翻译】rocksdb write stall的更多相关文章
- tikv性能参数调优
tiKV 最底层使用的是 RocksDB(tidb3.0版本中将使用tian存储引擎) 做为持久化存储,所以 TiKV 的很多性能相关的参数都是与 RocksDB 相关的.TiKV 使用了两个 Roc ...
- 【翻译】rocksdb调试指引
rocksdb调试指引 翻译自官方wiki:https://github.com/facebook/rocksdb/wiki/RocksDB-Tuning-Guide 转载请注明出处:https:// ...
- Rocksdb Compaction原理
概述 compaction主要包括两类:将内存中imutable 转储到磁盘上sst的过程称之为flush或者minor compaction:磁盘上的sst文件从低层向高层转储的过程称之为compa ...
- Android官方多媒体API Mediacodec翻译(一)
因近期工作调整,关于Mediacodec部分的翻译会暂停,后续有时间一定补上,非常抱歉. 本文章为根据Android Mediacodec官方英文版的原创翻译,转载请注明出处:http://www.c ...
- [翻译]Kafka Streams简介: 让流处理变得更简单
Introducing Kafka Streams: Stream Processing Made Simple 这是Jay Kreps在三月写的一篇文章,用来介绍Kafka Streams.当时Ka ...
- 通向码农的道路(enet开源翻译计划 一)
QQ 324186207群 enet交流技术.主要是为了研究tcp内部执行机制,欢迎大家增加探讨.小弟水平有限.翻译难免有误. . Features: ENet evolved specificall ...
- 【翻译】Jay Kreps - 为何流处理中局部状态是必要的
译者注: 原文作者是 Jay Kreps,也是那篇著名的<The Log: What every software engineer should know about real-time da ...
- 聊聊RocksDB Compact
| 导语 对于 LevelCompact 策略,RocksDB会根据每一层不同的策略计算出CompactScore,根据CompactScore大小来决定那一层将会优先进行Compact,然后选择Le ...
- Meltdown论文翻译【转】
转自:http://www.wowotech.net/basic_subject/meltdown.html#6596 摘要(Abstract) The security of computer sy ...
- [翻译]HLS实践
最近公司项目没事做,课余实践研究一下技术,算是积累,也可以用到项目里,从零开始记录 HLS:Http Live Streaming 官方文档 https://developer.apple.com/s ...
随机推荐
- Java Stream流
Java8 Stream流编程 Stream 使用一种类似于SQL语句从数据库查询数据的直观方式来提供对 Java 集合运算和表达的高阶抽象.得益于 Lambda 所带来的函数式编程,Stream A ...
- 从桌面和应用内 Activity的启动流程
1.APP还没有被打开过从桌面启动 <1>首先桌面进程会像AMS服务发送startActivity的请求,AMS从system_service中去拿----一次IPC通信 <2> ...
- scikit-learn 中 Boston Housing 数据集问题解决方案
scikit-learn 中 Boston Housing 数据集问题解决方案 在部分旧教程或教材中是 sklearn,现在[2023]已经变更为 scikit-learn 作用:开源机器学习库,支持 ...
- 虚拟内存与malloc/new原理详解
malloc malloc()函数并不是系统调用,而是 C 库里的函数,用于动态分配内存.malloc() 分配的是虚拟内存,而不是物理内存.如果分配后的虚拟内存没有被访问的话,是不会将虚拟内存映射到 ...
- Python tkinter 进度条代码
1 import tkinter as tk 2 import time 3 4 # 创建主窗口 5 window = tk.Tk() 6 window.title('进度条') 7 window.g ...
- MQTT-发布与订阅的报文
MQTT发布订阅流程 在MQTT发布/订阅模式中,一个客户端既可以是发布者,也可以是订阅者,也可以同时具备这两个身份.当客户端发布一条消息时,它会被发送到代理,然后代理将消息路由到该主题的所有订阅者. ...
- qiankun vue子应用升级webpack5问题记录
升级的方式是使用最新版本的 vue-cli 脚手架,重新创建一个新项目,然后复制 @vue/cli-xxx , vue 相关依赖最新版本到子应用项目 -> 核对babel, eslint相关配置 ...
- create-react-app 构建的项目使用代理 proxy 解决跨域请求
1. 正常运行 npm run eject 暴露项目的配置文件 (前三个步骤可省略,最好的是按照第四步操作) 在config/webpackDevServer.config文件下,大概在104行 1 ...
- Python 使用类和实例
使用类和实例 直接修改实例的属性 编写方法以特定的方式进行修改 # 案例: class Car(): '''一次模拟汽车的简单尝试''' def __init__(self,make,model,ye ...
- [OpenCV-Python] 10 图像上的算术运算
文章目录 OpenCV-Python: 核心操作 10 图像上的算术运算 10.1 图像加法 10.2 图像混合 10.3 按位运算 OpenCV-Python: 核心操作 10 图像上的算术运算 目 ...