opengauss-jdbc问题整理(更新中)

问题 1 jdbc 批量执行 insert 语句时返回结果不符合 Spring jpa 预期

问题描述:

jdbc 执行查询时,可以使用preparestatment.executeBatch()方法批量执行一组 sql 语句,该方法返回为int[]int 型数组变量,含义是批量执行的每个 sql 语句更新的数据行数。通过 spiring jpa 批量执行相同格式的语句时(例如insert into table1 values (?, ?, ? , ?),批量执行 5 次 ),预期返回的 int 型数组值为[1, 1, 1, 1, 1],实际返回结果为[5, 0, 0, 0, 0],与预期部分,导致如下报错:

Caused by: org.springframework.orm.jpa.JpaSystemException: Batch update returned unexpected row count from update [0]; actual row count: XX; expected: 1; nested exception is org.hibernate.jdbc.BatchedTooManyRowsAffectedException: Batch update returned unexpected row count from update [0]; actual row count: XX; expected: 1

at org.springframework.orm.jpa.vendor.HibernateJpaDialect.convertHibernateAccessException(HibernateJpaDialect.java:331)

问题原因:

jdbc 自身的优化机制,使用 executeBatch 批量执行 sql 时,如果批量执行 sql 格式相同,jdbc 默认会将多个 sql 合成一个执行,所以返回结果为[5, 0, 0, 0, 0]。

解决办法:

在连接串配置batchMode=off,所有 sql 分别执行,返回结果为[1, 1, 1, 1, 1]。

问题2 数据类型不匹配时查询速度慢的问题

问题描述:

jdbc创建一个主键为id的表。

create table jdbc_test (id int primary key, class_id int, name varchar(128), score number(10,2));

基于如下sql构造PrepareStatement,分别使用setInt()和setBigDecimal插入主键,sql执行实现相差明显。其中使用setInt()插入主键的比较快,使用setBigDecimal()插入主键的比较慢。

"merge into " + tableName + " using (select 1) on (id = ? ) when matched then update set class_id =? , name = ? , score = ? when not matched then insert (id, class_id, name, score ) values (?,?,?,?)"

两种sql各执行1000次的耗时对比

使用int创建表,并准备数据

mergeBatchedFast,mergeCount:1000,cost:100 ms

mergeBatchedSlow,mergeCount:1000,cost:20733 ms

分析过程: 抓取jdbc堆栈,发现jdbc主要卡在等待socket响应的地方,判断sql执行过慢为内核原因。

在postgresql.conf添加如下配置

x log_min_duration_statement = 0

track_stmt_stat_level = 'L2,L2'

执行select * from dbe_perf.statement_history;对比两个sql的查询计划。执行较快的sql的查询计划中,使用的是索引扫描。执行较慢的sql的查询计划中,使用的是全表扫描。

问题原因:

jdbc_test表的主键是int类型,主键数据类型与输入数据类型不一致时,会导致索引失效。merge into执行时有join操作,在查询时,执行慢的sql使用numeric类型的数据检索,导致索引失效,所以使用全表扫描,执行时间较长。执行快的sql则使用的是索引扫描,执行时间短。

问题3 jdbc负载均衡功能适用范围相关说明及用例

负载均衡功能的已有算法分类:openGauss目前主要使用autoBalance实现负载均衡功能,包括:"roundrobin"(轮询模式), "leastconn"(最小连接模式), "shuffle"(随机模式), "priority roundrobin"(带优先级的最小连接模式)。这些算法的主要实现思路是,在开发者通过在URL串上配置多个ip、port的方式连接主备集群时,在每次创建连接时,基于特定的负载均衡算法,对URL串上的数据库节点做优先级排序,优先在高优先级的节点上建连,使得连接均匀分散在各节点上。其中:

roundrobin(轮询模式):通过该URL串连续创建连接时,根据固定顺序依次在URL串的各个节点上循环创建连接。

leastconn(最小链接模式):JDBC在客户端内存里维护各节点通过该URL串创建的连接数,通过该URL串创建连接时,优先选择连接数少的节点创建连接。

shuffle(随机模式):通过该URL串连续创建连接时,每次随机选择URL串中的节点创建连接。

priority roundrobin(带优先级的最小连接模式):取值为"priority[n]", 与roundrobin相似,但是优先对前n个节点做轮询建连。

负载均衡功能的适用范围:

openGauss的负载均衡功能是基于连接的负载均衡功能,旨在基于特定算法在创建连接时将连接分散到URL串上的各节点上,与连接或数据库节点的实际运行压力无关。

roundrobin、leastconn、priority roundrobin三种模式的生效范round围是对单个进程内的同一集群的连接做负载均衡,如果同一个程序内有多个配置了相同autoBalance参数和相同数据库节点的URL串,JDBC会对通过这些URL串创建的连接统一做负载均衡。

负载均衡功能与targetSeverType的配合方式: 在主备场景下,主节点可读可写,备节点可读不可写,如果连接主备集群时配置了autoBalance,并且业务中有写操作,有可能因为执行写操作的连接被创建在了备节点而报错。针对这种场景,可以将autoBalance和targetServerType配合使用,targetServerType可以控制只在主节点或者备节点上创建连接,并且targetServerType优先级高于autoBalance。以roundrobin为例,针对不同业务使用不同的URL串配置。

jdbc:opengauss://node1,node2,node3/database?autoBalance=roundrobin&targetServerType=master

jdbc:opengauss://node1,node2,node3/database?autoBalance=roundrobin&targetServerType=slave

opengauss-jdbc问题整理的更多相关文章

  1. 打造基于 PostgreSQL/openGauss 的分布式数据库解决方案

    在 MySQL ShardingSphere-Proxy 逐渐成熟并被广泛采用的同时,ShardingSphere 团队也在 PostgreSQL ShardingSphere-Proxy 上持续发力 ...

  2. Scala编程快速入门系列(一)

    目    录 一.Scala概述 二.Scala数据类型 三.Scala函数 四.Scala集合 五.Scala伴生对象 六.Scala trait 七.Actor 八.隐式转换与隐式参数 九.Sca ...

  3. Scala编程快速入门系列(二)

    目    录 一.Scala概述 二.Scala数据类型 三.Scala函数 四.Scala集合 五.Scala伴生对象 六.Scala trait 七.Actor 八.隐式转换与隐式参数 九.Sca ...

  4. 【jdbc】【c3p0】c3p0三种配置方式【整理】

    c3p0三种配置方式 c3p0的配置方式分为三种,分别是1.setters一个个地设置各个配置项2.类路径下提供一个c3p0.properties文件3.类路径下提供一个c3p0-config.xml ...

  5. JDBC面试知识点整理(温习用)

    要面试,所以把之前的笔记整理一遍,嘻嘻,加油 JDBC编程 使用JDBC,java程序可以轻松地操作各种主流数据库,Oracle,MySQL,等,使用JDBC编写的程序不仅可以实现跨数据库,还具有跨平 ...

  6. 用JDBC访问ORACLE数据库 关于commit 增快效率 大数据 等的整理

    1.问:用JDBC访问ORACLE数据库,做DELETE操作,能用JAVA多线程实现吗? ORACLE服务器要怎么配?(以下答案来自网络,仅供参考) 答: Oracle有自己的锁机制.就算你开100条 ...

  7. 商城项目整理(四)JDBC+富文本编辑器实现商品增加,样式设置,和修改

    UEditor富文本编辑器:http://ueditor.baidu.com/website/ 相应页面展示: 商品添加: 商品修改: 前台商品展示: 商品表建表语句: create table TE ...

  8. 商城项目整理(三)JDBC增删改查

    商品表的增加,修改,删除,订单表的增加,确认,用户表的查看,日志表的增加,查看 商品表建表语句: create table TEST.GOODS_TABLE ( gid NUMBER not null ...

  9. JDBC中 mysql数据库的连接工具类 Java登录 及增删改查 整理 附带:Navicat Premium 11.0.12中文破解版.zip(下载)mysql数据库工具

    先写一个工具类,有实现MySQL数据库连接的方法,和关闭数据库连接.关闭ResultSet  结果集.关闭PreparedStatement 的方法.代码如下: package com.swift; ...

  10. JDBC整理

    JDBC提供了独立于数据库的统一Api,用以执行SQL命令.JDBC API由以下常用的接口和类组成: DriverManagement:用于管理JDBC驱动的服务类,程序中使用该类的主要功能是获取C ...

随机推荐

  1. 【Azure APIM】APIM 策略语句如何读取请求头中所携带的Cookie信息并保存为变量

    问题描述 需要在APIM策略中对请求所携带的Cookie中的token值进行JWT验证,如果获取Cookie中的值并且作为变量保存,然后在JWT 验证中使用呢? 问题解答 第一步:获取Cookie中的 ...

  2. Jmeter 响应断言你知道多少?

    1 断言各组件介绍 Apply to:同上 测试字段: * 响应文本:响应体 * 响应代码:响应状态码 * 响应信息:状态码的消息 * 响应头:顾名思义就是响应头 * 请求头:顾名思义就是请求头 * ...

  3. Mysql基础目录

    尚硅谷Mysql课程笔记 课程链接: https://www.bilibili.com/video/BV1iq4y1u7vj?p=1 第01章_数据库概述 第02章_MySQL环境搭建 第03章_基本 ...

  4. docker 安装 es-head 以及Content-Type header请求头错误解决

    拉取es-head镜像,启动 docker pull mobz/elasticsearch-head:5 docker run -itd --name es-head -p 9100:9100 mob ...

  5. C++实现一个简单的生产者-消费者队列

    本文的代码都是ChatGPT生成,我只是做了微小的调整和整合,AI提示词如下: 设计一个C++类,支持生产者-消费者模型,可以通过size函数获取剩余数量 可能第一次生成的不一定合适,多刷新几次. 生 ...

  6. 1、Azure Devops之什么是Azure DevOps

    什么是Azure DevOps 1.师出名门:是微软推出的一个集项目管理.开发管理.测试管理的一个服务套件. 2.历史:前身是微软在2005年推出的Team foundation Server一个专门 ...

  7. 说JS作用域,就不得不说说自执行函数

    一个兜兜转转,从"北深"回到三线城市的小码农,热爱生活,热爱技术,在这里和大家分享一个技术人员的点点滴滴.欢迎大家关注我的微信公众号:果冻想 前言 不得不吐槽,学个JS,这个概念也 ...

  8. python基础四(字符编码)

    一 了解字符编码的知识储备 计算机基础知识 文本编辑器存取文件的原理(nodepad++,pycharm,word) #1.打开编辑器就打开了启动了一个进程,是在内存中的,所以,用编辑器编写的内容也都 ...

  9. 记录--再也不用手动改package.json的版本号

    这里给大家分享我在网上总结出来的一些知识,希望对大家有所帮助 本文的起因是有在代码仓库发包后,同事问我"为什么package.json 里的版本还是原来的,有没有更新?",这个时候 ...

  10. 在 SwiftUI 中使用 Metal Shader

    简介 从 iOS 17/macOS 14 开始,SwiftUI 支持使用 Metal shader 来实现一些特效.主要提供三个 View Modifier:colorEffect. distorti ...