KingbaseES 数据库参数优化
一、数据库应用类型
针对不同的应用模型,需要对数据库配置进行优化:
1、网络应用程序(WEB)
- 通常受 CPU 限制
- DB比RAM小得多
- 90% 或更多的简单查询
2、在线事务处理 (OLTP)
- 通常受 CPU 或 I/O 限制
- 数据库数据量远大于系统内存
- 20-40% 小数据写入查询
- 长事务和复杂的读取查询
3、数据仓库 (DW)
- 通常受 I/O 或 RAM 限制
- 大量数据加载
- 大型复杂报表查询
- 也称为“决策支持”或“商业智能”
4、混合型应用(MIX)
- 混合 DW 和 OLTP 特性
- 各种的查询组合
上述各种应用系统的需求存在差异,因此,建议在安装PostgreSQL完成后,首先执行的操作之一就是调优和配置一些高级设置。可以基于系统的CPU、内存和磁盘等硬件资源,分别设置数据库配置参数:
二、主要参数
max_connections
确定到数据库服务器的最大并发连接数。默认情况 下,KingbaseES 允许的最大连接数相对较低,默认限制为100。这个限制与共享缓冲区的大小有关,连接利用共享缓冲区中的内存。
建议设置为预期峰值负载时需要的最大连接数。请注意,每个连接都使用shared_buffer内存,以及额外的非共享内存。一般来说,如果需要超过200个连接,就应该更多地使用连接池。请谨慎设置最大并发连接数,避免开发人员不要滥用他们的系统资源。
shared_buffers
默认情况下这个值设置得比较低。因此,更新 shared_buffers 是在大多数现代操作系统上提高整体性能最有效的设置之一。
shared_buffers 没有特定的推荐值,但是为特定系统确定值的计算并不特别困难。一般来说,对于专用DB服务器, shared_buffers 的值应该大约是总系统RAM的30%。 另外,虽然较大的 shared_buffers 值可以在'读繁重'用例中提高性能,但对于'写繁重'用例,较大的 shared_buffer 值可能是有害的,因为 shared_buffers 的全部内容必须在写期间处理。
effective_cache_size
设置规划器对查询可用的磁盘缓存的有效大小的假设。这被考虑到基于代价的成本估计中。值越高,使用索引扫描的可能性越大,值越低,使用顺序扫描的可能性越大。在设置这个参数时,应该同时考虑KingbaseES 的shared_buffers 和用于数据文件的磁盘缓存部分。另外,还要考虑不同表上并发查询的预期数量,因为它们必须共享可用空间。该参数对PostgreSQL分配的共享内存大小没有影响,也不保留内核磁盘缓存,它仅用于估算目的。系统也不会假设数据在查询之间仍保留在磁盘缓存中。
建议,effective_cache_size设置系统内存 的 75%。
maintenance_work_mem
指定在维护性操作(例如VACUUM、CREATE INDEX和ALTER TABLE ADD FOREIGN KEY)中使用的 最大的内存量。其默认值是 64 兆字节(64MB)。因为在一个数据库会话中,一个时刻只有一个这样的操作可以被执行,并且一个数据库安装通常不会有太多这样的操作并发执行, 把这个数值设置得比work_mem大很多是安全的。 更大的设置可以改进清理和恢复数据库转储的性能。
注意当自动清理运行时,可能会分配最多达这个内存的 autovacuum_max_workers 倍,因此要小心不要把该默认值设置得太高,通过单独设置autovacuum_work_mem,可能会对避免这种情况出现。将其设置为中等高值会提高vacuum和其他操作的效率。执行大型ETL操作的应用程序可能需要分配多达1/4的RAM来支持大容量真空。注意,每个autovacuum 进程可能使用这么多,所以如果使用多个autovacuum进程,您可能希望降低这个值,以便他们不能要求超过1/8或1/4的可用RAM。建议,maintenance_work_mem 通常设置为系统内存的 1/16,但是数据仓库系统可以设置为系统内存的 1/8。
checkpoint_completion_target
检查点期间刷新脏缓冲区所花费的时间(占检查点间隔的百分比)。指定检查点完成的目标,作为检查点之间总时间的一部分。默认值是0.5(50%)。通常磁盘IO的写入速度为300M/s-1000M/s,,在checkpoint_completion_target设置的越高的情况下,写入速度越低,体验越好,性能越高。反之,较低的值可能会引起I/O峰值,导致“卡死”的现象。
建议,checkpoint_completion_target可以设置为0.9(90%)。
wal_buffers
为WAL设置共享内存中的磁盘页缓冲区的数量。默认设置-1选择的大小等于shared_buffers的1/32(大约3%),但不小于64kB也不大于一个WAL段的大小。
在每次事务提交时,WAL缓冲区的内容都被写到磁盘上,所以非常大的值不太可能有显著的好处。但是,将这个值设置为至少几个兆字节可以提高在许多客户机同时提交的繁忙服务器上的写性能。在大多数情况下,由缺省设置-1选择的自动调优应该会给出合理的结果。
在非常繁忙的高核机器上,将这个值提高到128MB是很有用的。
default_statistics_target
设置默认统计目标(直方图数量)。
为不通过ALTER table set statistics设置列特定目标的表列设置默认统计目标。较大的值会增加ANALYZE所需的时间,但可能会提高计划者评估的质量。默认值为100。
大多数应用程序可以使用默认值100。对于非常小/简单的数据库,减少到10或50。数据仓库应用程序通常需要使用500到1000。否则,在每列的基础上增加统计目标。
random_page_cost
设置规划器对非顺序获取磁盘页的成本的估计,默认为4.0。通过设置表空间参数,可以覆盖特定表空间中的表和索引的这个值。
相对于seq_page_cost降低这个值将导致系统更倾向于索引扫描;提高它将使索引扫描看起来相对更昂贵。您可以同时提高或降低这两个值,以改变磁盘I/O成本相对于CPU成本的重要性。
对机械磁盘的随机存取通常比顺序存取cost昂贵得多。但是,使用较低的默认值(4.0),因为大多数对磁盘的随机访问,比如索引读取,都假定是在缓存中。默认值可以被认为是建模随机访问比顺序慢40倍,而预期90%的随机读取被缓存。如果您认为90%的缓存率对于您的工作负载是一个不正确的假设,那么您可以增加random_page_cost来更好地反映随机存储读取的真实成本。相应地,如果您的数据可能完全在缓存中,例如当数据库小于服务器总内存时,可以适当降低random_page_cost。相对于顺序存储,具有较低的随机读成本的存储,例如固态硬盘,也可以使用较低的random_page_cost值进行建模,例如,1.1。
尽管系统允许将random_page_cost设置为小于seq_page_cost,但这样做在物理上是不合理的。但是,如果数据库完全缓存在RAM中,那么设置它们相等是有意义的,因为在这种情况下,不按顺序访问页面不会受到负面影响。此外,在高缓存的数据库中,应该降低这两个值,因为获取RAM中已经存在的页面的成本比正常情况下要小得多。
建议,机械硬盘设置为 4, 固态硬盘设置为1.1, SAN存储设置为1.1。
effective_io_concurrency
磁盘子系统可以有效处理的并发请求的数量,在支持的系统上,默认值为1,否则为0。通过设置表空间参数,可以覆盖特定表空间中的表的这个值。仅适用于支持posix_fadvise的平台(例如Linux)。目前只影响并行位图扫描的执行,但可能会影响其他I/O操作的未来版本。
但是,如果数据库经常因为并发会话中发出的多个查询而繁忙,那么较低的值可能足以使磁盘阵列保持忙碌。高于使磁盘繁忙所需的值只会导致额外的CPU开销。ssd和其他基于内存的存储通常可以处理许多并发请求,所以最好的值可能是几百。
建议,机械硬盘设置为 2, 固态硬盘设置为 200, SAN存储设置为 300。
work_mem
work_mem 的值用于复杂的排序操作,并定义用于中间结果(如哈希表)和排序的最大内存量。当对 work_mem 的值进行适当调优时,大多数排序操作将在更快的内存中执行,而不是读写磁盘。
确保' work_mem '值不要设置得太高是很重要的,因为在并行操作中,并发排序操作需要多份的' work_mem '。由于这个重要的警告,理想的做法是将' work_mem '的全局值设置为一个相对较低的值,然后修改任何特定查询本身,以使用更高的' work_mem '值。
当查询调用排序、哈希或任何其他需要空间分配的结构时,都会分配work_mem,每个查询都可能发生多次。需要考虑的一件事是,不应让可用内存在边缘运行,避免OOM。总是需要留下某种类型的缓冲区,以防止内存使用高峰。所以work_mem中可用的最大内存应该是((RAM - shared_buffers) / (max_connections * 3) / max_parallel_workers_per_gather。
min_wal_size max_wal_size
只要WAL磁盘使用率保持在这个设置之下,旧的WAL文件就会被回收,以供将来在检查点使用,而不是被删除。这可以用来确保保留足够的WAL空间来处理WAL使用的峰值,例如在运行大型批处理作业时。如果这个值没有指定单位,它将被接受为兆字节。min_wal_size , 默认为80mb。
max_wal_size ,允许WAL在自动检查点期间增长的最大尺寸。除非数据库每小时写入的数据超过1GB,在这种情况下,增加日志的大小,使其至少相当于一个小时的日志
建议:
WEB :min_wal_size = 1GB max_wal_size = 4GB
OLTP:min_wal_size = 2GB max_wal_size = 8GB
DW :min_wal_size = 4GB max_wal_size = 16GB
MIX :min_wal_size = 1GB max_wal_size = 4GB
max_worker_processes
设置系统可以支持的最大后台进程数。该参数只能在服务器启动时设置。默认值是8。
运行备用服务器时,必须将该参数设置为与主服务器相同或更高的值。否则,备用服务器将不允许查询。
当更改此值时,请考虑同时调整max_parallel_workers、max_parallel_maintenance_workers和max_parallel_workers_per_gather。
增加到max_parallel_workers +其他workers,例如用于逻辑复制的workers和自定义后台workers。不过不会超过CPU的核数。
max_parallel_workers_per_gather
设置单个“收集”或“收集合并”节点可启动的工作人员的最大数量。并行作业从max_worker_processes建立的进程池中获取,受max_parallel_workers的限制。请注意,请求的worker数量可能在运行时实际上不可用。如果发生这种情况,该计划将使用比预期更少的worker运行,这可能是低效的。缺省值是2。将此值设置为0将禁用并行查询执行。
请注意,并行查询可能比非并行查询消耗更多的资源,因为每个工作进程是完全独立的进程,它对系统的影响与额外的用户会话大致相同。在为该设置选择值时,以及在配置其他控制资源利用率的设置(如work_mem)时,都应该考虑到这一点。资源限制(如work_mem)单独应用于每个worker,这意味着所有进程的总利用率可能比通常情况下任何单个进程的总利用率要高得多。例如,使用4个worker的并行查询使用的CPU时间、内存、I/O带宽等可能是完全不使用worker的查询的5倍。
计划使用并行查询,建议增加到4或8,这取决于核心/并发会话。
max_parallel_workers
设置系统可支持并行操作的最大worker数。缺省值为8。当增加或减少这个值时,也考虑调整max_parallel_maintenance_workers和max_parallel_workers_per_gather。另外,请注意,该值的设置高于max_worker_processes将不会产生影响,因为并行工作进程是从该设置建立的工作进程池中获取的。
如果您认为可以从并行查询,在DW系统中,设置为CPU核心数。
max_parallel_maintenance_workers
设置单一工具性命令能够启动的并行工作者的最大数目。当前,唯一一种支持使用并行工作者的工具性命令是`CREATE INDEX`,并且只有在构建B-树索引时才能并行。并行工作者从由[max_worker_processes] 创建的进程池中取出,数量由[max_parallel_workers] 控制。注意实际在运行时所请求数量的工作者可能不可用。如果发生这种情况,工具性操作将使用比预期数量少的工作者运行。默认值为2。将这个值设置为0可以禁用工具性命令对并行工作者的使用。
注意并行工具性命令不应该消耗比同等数量非并行操作更多的内存。这种策略与并行查询不同,并行查询的资源限制通常是应用在每个工作者进程上。并行工具性命令把资源限制`maintenance_work_mem`当作对整个工具性命令的限制,而不管其中用到了多少个并行工作者进程。不过,并行工具性命令实际上可能仍会消耗更多的CPU资源和I/O带宽。
计划使用并行查询,建议增加到4或8,这取决于核心/并发会话。
KingbaseES 数据库参数优化的更多相关文章
- MySQL 5.7数据库参数优化
连接相关参数 max_connections:允许客户端并发连接的最大数量,默认值是151,一般将该参数设置为500-2000max_connect_errors:如果客户端尝试连接的错误数量超过这个 ...
- MySQL数据库参数优化
概述 最近在对各个系统的mysql做一些参数上的优化,也开了慢查询,准备后面针对特定sql再进一步优化.下面主要介绍一下一些优化的参数. 1.优化前mysql配置 可以看到基本上是没怎么做优化的. 2 ...
- 数据库顶会VLDB论文解读:阿里数据库智能参数优化的创新与实践
前言 一年一度的数据库领域顶级会议VLDB 2019于美国当地时间8月26日-8月30日在洛杉矶召开.在本届大会上,阿里云数据库产品团队多篇论文入选Research Track和Industrial ...
- Mysql数据库操作系统及配置参数优化
数据库结构优化 表的水平拆分常用的水平拆分方法为:1.对 customer_id进行 hash运算,如果要拆分成5个表 则使用mod(customer_id,5)取出0-4个值2.针对不同的 hash ...
- MySQL 数据库性能优化之缓存参数优化
在平时被问及最多的问题就是关于 MySQL 数据库性能优化方面的问题,所以最近打算写一个MySQL数据库性能优化方面的系列文章,希望对初中级 MySQL DBA 以及其他对 MySQL 性能优化感兴趣 ...
- MYSQL数据库的优化
我们究竟应该如何对MySQL数据库进行优化?下面我就从MySQL对硬件的选择.MySQL的安装.my.cnf的优化.MySQL如何进行架构设计及数据切分等方面来说明这个问题. 服务器物理硬件的优化 在 ...
- 转载:SqlServer数据库性能优化详解
本文转载自:http://blog.csdn.net/andylaudotnet/article/details/1763573 性能调节的目的是通过将网络流通.磁盘 I/O 和 CPU 时间减到最小 ...
- SQL Server数据库性能优化之SQL语句篇【转】
SQL Server数据库性能优化之SQL语句篇http://www.blogjava.net/allen-zhe/archive/2010/07/23/326927.html 近期项目需要, 做了一 ...
- MySQL数据库的优化(上)单机MySQL数据库的优化
MySQL数据库的优化(上)单机MySQL数据库的优化 2011-03-08 08:49 抚琴煮酒 51CTO 字号:T | T 公司网站访问量越来越大,导致MySQL的压力越来越大,让我们自然想到的 ...
随机推荐
- 关于Vue Element组件el-checkbox与el-select默认选中值的几点注意事项
el-select 示例: 代码: <el-select v-model="doc.zhic" placeholder="请选择"> <el- ...
- 谷歌浏览器控制台 f12怎么设置成中文/英文 切换方法,一定要看到最后!!!
1.打开谷歌浏览器 2.右键选择检查或 f12 打开控制台 3.点击控制台右边的设置 4.中切英 选择偏好设置->语言=>English 5.英切中 6.选择中文 7.重启 8.切换中文成 ...
- UiPath Excel修改操作
一.Excel 修改操作 1.删除行 (1)控件介绍 Insert/Delete Rows: 在特定位置添加或删除指定数量的行 常用属性介绍: Destination: NoRows: ...
- NC24866 [USACO 2009 Dec S]Music Notes
NC24866 [USACO 2009 Dec S]Music Notes 题目 题目描述 FJ is going to teach his cows how to play a song. The ...
- NC14731 逆序对
NC14731 逆序对 题目 题目描述 求所有长度为 \(n\) 的 \(01\) 串中满足如下条件的二元组个数: 设第 \(i\) 位和第 \(j\) 位分别位 \(a_i\) 和 \(a_j\) ...
- 动态树 — Link_Cut_Tree
[模板]动态树(Link Cut Tree) Link-cut-tree是一种维护动态森林的数据结构,在需要动态加边/删边的时候就需要LCT来维护. Link-cut-tree的核心是轻重链划分,每条 ...
- C#实现一个万物皆可排序的队列
需求 产品中需要向不同的客户推送数据,原来的实现是每条数据产生后就立即向客户推送数据,走的的是HTTP协议.因为每条数据都比较小,而数据生成的频次也比较高,这就会频繁的建立HTTP连接,而且每次HTT ...
- Kafka启动遇到ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)
------------恢复内容开始------------ Kafka启动遇到ERROR Exiting Kafka due to fatal exception (kafka.Kafka$) 解决 ...
- centos 7系统安装
1.打开VMware软件,点击创建虚拟机,默认选择,点击下一步 2.选择稍后安装,点击下一步 3.在Linux系统中选择CentOS 7 64位,点击下一步 4.选择好安装位置后,点击下一步 5.选择 ...
- Office共享协作方法——Office共享的正确打开方式、office365白嫖
OFFICE共享协作方法: 1.OFFICE365激活<推荐.一劳永逸.体验最新版office,协作体验更佳> 一部分用户自带的Office可以用KMS直接激活,那就ok了,注意激活前关闭 ...