【mysql】批量更新数据
概述
批量更新mysql数据表数据,上网搜索基本都会说4~5方法,本人使用的更新方式为:
INSERT ... ON DUPLICATE KEY UPDATE Syntax
可参见官方网站:insert-on-duplicate
功能:
- 表示插入时,如果遇到了主键重复或唯一索引重复,则不执行插入操作,而是执行更新操作;
注意点:
- 这种方式的批量更新,不是sql的规范,而是mysql特有的;
- 只能针对
唯一索引(UNIQUE index)
和主键索引(RIMARY KEY)
进行更新; - 对于自增主键,只会执行插入操作,不会进行更新;
- 批量更新:
values()
方法很有用;
性能:
- 对于数据量比较小的表,速度很快;
- 对于数据量大的表,性能比较差,建议考虑其他方式;
如果使用Innodb引擎,则可以考虑如下方式(因为Innodb引擎支持事务)
START TRANSACTION;
UPDATE ...
UPDATE ...
UPDATE ...
UPDATE ...
COMMIT;
values(col_name)介绍
values(col_name):表示获取将要插入的列的值,注意是将要插入(would be inserted);
原始表结构和数据
CREATE TABLE `capacity_pm` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增主键',
`pool_id` char(36) CHARACTER SET utf8 DEFAULT NULL COMMENT '资源池ID',
`cluster_lv1` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '集群分类',
`cluster_lv2` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '集群2级分类',
`update_at` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '更新或创建时间',
`templete_id` varchar(255) CHARACTER SET utf8 NOT NULL COMMENT '模板ID',
`templete_name` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '模板名称',
`templete_cpu_core` int(10) unsigned zerofill NOT NULL COMMENT '模板CPU核数',
`templete_mem_size` double NOT NULL COMMENT '模板内存大小',
`templete_disk_size` double NOT NULL COMMENT '模板磁盘大小',
`host_total` int(11) unsigned zerofill DEFAULT NULL COMMENT '主机总数',
`host_used` int(11) unsigned zerofill DEFAULT NULL COMMENT '主机已分配数量',
`cpu_core_total` int(11) unsigned zerofill DEFAULT NULL COMMENT 'cpu总核数',
`cpu_core_free` int(11) DEFAULT NULL,
`cpu_core_used` int(11) DEFAULT NULL COMMENT 'cpu已分配数量',
`cpu_core_util` double DEFAULT NULL COMMENT 'cpu核数使用占比',
`mem_total` double DEFAULT NULL COMMENT '内存总空间',
`mem_free` double DEFAULT NULL,
`mem_used` double DEFAULT NULL,
`mem_util` double DEFAULT NULL COMMENT '内存使用占比',
`disk_total` double DEFAULT NULL,
`disk_free` double DEFAULT NULL,
`disk_used` double DEFAULT NULL,
`disk_util` double DEFAULT NULL COMMENT '磁盘使用占比',
PRIMARY KEY (`id`),
UNIQUE KEY `idx_templete_all` (`pool_id`,`templete_id`) USING BTREE COMMENT '模块ID做完整索引'
) ENGINE=InnoDB AUTO_INCREMENT=70 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
INSERT INTO `capacity_pm` VALUES ('1', '7b8f0f5e2fbb4d9aa2d5fd55466d638f', null, null, '2018-04-11 15:04:31', 't001', '数据库服务器', '0000000000', '0', '0', '00000000100', '00000000010', null, null, null, null, null, null, null, null, null, null, null, null);
INSERT INTO `capacity_pm` VALUES ('2', '7b8f0f5e2fbb4d9aa2d5fd55466d638f', null, null, '2018-04-11 15:04:31', 't002', '性能性服务器', '0000000000', '0', '0', '00000000200', '00000000020', null, null, null, null, null, null, null, null, null, null, null, null);
INSERT INTO `capacity_pm` VALUES ('3', '7b8f0f5e2fbb4d9aa2d5fd55466d638f', null, null, '2018-04-11 15:04:31', 't003', '计算型服务器', '0000000000', '0', '0', '00000000300', '00000000030', null, null, null, null, null, null, null, null, null, null, null, null);
INSERT INTO `capacity_pm` VALUES ('4', '7b8f0f5e2fbb4d9aa2d5fd55466d638f', null, null, '2018-04-11 15:04:31', 't004', '存储型服务器', '0000000000', '0', '0', '00000000400', '00000000040', null, null, null, null, null, null, null, null, null, null, null, null);
INSERT INTO `capacity_pm` VALUES ('5', '7b8f0f5e2fbb4d9aa2d5fd55466d638f', null, null, '2018-04-11 15:04:31', 't005', '网络型服务器', '0000000000', '0', '0', '00000000500', '00000000050', null, null, null, null, null, null, null, null, null, null, null, null);
INSERT INTO `capacity_pm` VALUES ('6', '7b8f0f5e2fbb4d9aa2d5fd55466d638e', null, null, '2018-04-11 15:04:31', 't001', '数据库服务器', '0000000000', '0', '0', '00000001000', '00000000100', null, null, null, null, null, null, null, null, null, null, null, null);
INSERT INTO `capacity_pm` VALUES ('7', '7b8f0f5e2fbb4d9aa2d5fd55466d638e', null, null, '2018-04-11 15:04:31', 't002', '性能性服务器', '0000000000', '0', '0', '00000002000', '00000000200', null, null, null, null, null, null, null, null, null, null, null, null);
INSERT INTO `capacity_pm` VALUES ('8', '7b8f0f5e2fbb4d9aa2d5fd55466d638e', null, null, '2018-04-11 15:04:31', 't003', '计算型服务器', '0000000000', '0', '0', '00000003000', '00000000300', null, null, null, null, null, null, null, null, null, null, null, null);
INSERT INTO `capacity_pm` VALUES ('9', '7b8f0f5e2fbb4d9aa2d5fd55466d638e', null, null, '2018-04-11 15:04:31', 't004', '存储型服务器', '0000000000', '0', '0', '00000004000', '00000000400', null, null, null, null, null, null, null, null, null, null, null, null);
INSERT INTO `capacity_pm` VALUES ('10', '7b8f0f5e2fbb4d9aa2d5fd55466d638e', null, null, '2018-04-11 15:04:31', 't005', '网络型服务器', '0000000000', '0', '0', '00000005000', '00000000500', null, null, null, null, null, null, null, null, null, null, null, null);
INSERT INTO `capacity_pm` VALUES ('12', '7b8f0f5e2fbb4d9aa2d5fd55466d638e', null, null, '2018-04-11 08:12:00', 't006', '自定义服务器', '0000000000', '0', '0', '00000006000', '00000000600', null, null, null, null, null, null, null, null, null, null, null, null);
INSERT INTO `capacity_pm` VALUES ('13', '7b8f0f5e2fbb4d9aa2d5fd55466d638e', null, null, '2018-04-11 08:12:36', 't007', 'xxx服务器', '0000000000', '0', '0', '00000007000', '00000000700', null, null, null, null, null, null, null, null, null, null, null, null);
INSERT INTO `capacity_pm` VALUES ('14', '7b8f0f5e2fbb4d9aa2d5fd55466d638e', null, null, '2018-04-11 08:12:36', 't00x', '服务器xxx', '0000000000', '0', '0', '00000008000', '00000000800', null, null, null, null, null, null, null, null, null, null, null, null);
部分数据集查询如下:(该部分为重点测试的数据)
mysql> SELECT pool_id, templete_id, host_total, host_used from capacity_pm ;
+----------------------------------+-------------+------------+-----------+
| pool_id | templete_id | host_total | host_used |
+----------------------------------+-------------+------------+-----------+
| 7b8f0f5e2fbb4d9aa2d5fd55466d638f | t001 | 100 | 10 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638f | t002 | 200 | 20 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638f | t003 | 300 | 30 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638f | t004 | 400 | 40 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638f | t005 | 500 | 50 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t001 | 1000 | 100 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t002 | 2000 | 200 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t003 | 3000 | 300 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t004 | 4000 | 400 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t005 | 5000 | 500 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t006 | 6000 | 600 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t007 | 7000 | 700 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t00x | 8000 | 800 |
+----------------------------------+-------------+------------+-----------+
插入新数据-测试
- 自增主键:上表中,主键是自增主键,所以该种批量更新方式对自增主键无效(因为自增主键只会insert数据,并不会update);
- 唯一索引:UNIQUE KEY
idx_templete_all
(pool_id,templete_id)
待插入的数据,和表中的初始数据有唯一索引重复,索引会执行update操作,而非insert操作;
插入语句为:(所有的host_used都有变化)
INSERT INTO `capacity_pm`(pool_id, templete_id, host_total, host_used) values
('7b8f0f5e2fbb4d9aa2d5fd55466d638f', 't001','100', '15'),
('7b8f0f5e2fbb4d9aa2d5fd55466d638f', 't002','200', '25'),
('7b8f0f5e2fbb4d9aa2d5fd55466d638f', 't003','300', '35'),
('7b8f0f5e2fbb4d9aa2d5fd55466d638f', 't004','400', '45'),
('7b8f0f5e2fbb4d9aa2d5fd55466d638f', 't005','500', '55')
ON DUPLICATE KEY UPDATE host_total=VALUES(host_total), host_used=VALUES(host_used);
ON DUPLICATE KEY UPDATE host_total=VALUES(host_total), host_used=VALUES(host_used)
- host_total=VALUES(host_total): values(col_name)表示待插入的记录的值;
- host_used=VALUES(host_used):当需要更新多个col时,使用“,”分割;
插入结果: host_used都发生了变化
mysql> SELECT pool_id, templete_id, host_total, host_used from capacity_pm ;
+----------------------------------+-------------+------------+-----------+
| pool_id | templete_id | host_total | host_used |
+----------------------------------+-------------+------------+-----------+
| 7b8f0f5e2fbb4d9aa2d5fd55466d638f | t001 | 100 | 15 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638f | t002 | 200 | 25 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638f | t003 | 300 | 35 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638f | t004 | 400 | 45 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638f | t005 | 500 | 55 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t001 | 1000 | 100 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t002 | 2000 | 200 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t003 | 3000 | 300 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t004 | 4000 | 400 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t005 | 5000 | 500 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t006 | 6000 | 600 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t007 | 7000 | 700 |
| 7b8f0f5e2fbb4d9aa2d5fd55466d638e | t00x | 8000 | 800 |
+----------------------------------+-------------+------------+-----------+
13 rows in set
其他注意点
唯一索引:ALL唯一索引字段都不能为空,否则无法达到update操作;
性能比较
批量更新5w条数据
INSERT ... ON DUPLICATE KEY UPDATE Syntax
自己的机器上运行,大约30s;
事务批量更新
START TRANSACTION;
UPDATE ...
UPDATE ...
UPDATE ...
UPDATE ...
COMMIT;
测试结果:耗时特别长,不知道具体原因
【mysql】批量更新数据的更多相关文章
- mysql批量更新数据(性能优化) 第一种方式
首先想到的是,一条一条更新的速度太慢了,然后就想批量更新,一次更新N条数据.实践是检验真理的唯一标准,不一会儿,代码就敲完了,重新试了一下,效果依旧不理想.啊哦,真是要崩溃!后面又想到了利用异步,我一 ...
- mysql批量更新数据,即:循环select记录然后更新某一字段
原因: 今天遇到一个问题:一个数据表case_folder_info想要实现自定义排序功能,就在表里新加了一个字段SORT_NUMBER,由于表里存在已有数据,所以这个SORT_NUMBER字段都为空 ...
- mysql批量更新数据,循环select记录然后更新某一字段
-- 处理IEMI重复的历史数据,建档日期(只有年月日)倒序,档案ID倒序,根据IMEI查档案,查询的结果,相同IMEI下的第一条记录的IEMI不处理,其他的记录的imei 改为空. -- USE ` ...
- mysql批量更新数据
CREATE PROCEDURE `sp_update_temp_data`( out po_returnvalue ) ) leave_top:BEGIN #Routine body goes he ...
- mysql批量更新数据(性能优化)--第二种方式
Spring+Mybatis 手动控制事务 参考: https://blog.csdn.net/qq_41750175/article/details/87621170 public boolean ...
- mysql 常用命令,连接数据库,查看建表语句,批量导入数据,批量更新数据,连接查询
1. 1)MySQL 连接本地数据库,从cmd中进入mysql命令编辑器: root root分别为用户名和密码 mysql -uroot -proot 2)MySQL 连接本地数据库,用户名为“ro ...
- mysql下的将多个字段名的值复制到另一个字段名中(批量更新数据)字符串拼接cancat实战例子
mysql下的将多个字段名的值复制到另一个字段名中(批量更新数据)mysql字符串拼接cancat实战例子: mysql update set 多个字段相加,如果是数字相加可以直接用+号(注:hund ...
- mysql 插入/更新数据
mysql 插入/更新数据 INSERT 语句 1.一次性列出全部字段的值,例如: INSERT INTO student VALUES('Chenqi','M', 29); INSERT INTO ...
- mysql 批量更新与批量更新多条记录的不同值实现方法
批量更新 mysql更新语句很简单,更新一条数据的某个字段,一般这样写: 代码如下: UPDATE mytable SET myfield = 'value' WHERE other_field = ...
- java连接mysql批量写入数据
1.采用公认的MYSQL最快批量提交办法 public void index() throws UnsupportedEncodingException, Exception { //1000个一提交 ...
随机推荐
- mysql以zip安装,解决the service already exists
mysql以zip安装, mysqld -install 报错:The service already exists 原因是之前安装了以后卸载了,服务没删掉. 解决方法: sc query m ...
- Vue通过id跳转到商品详情页
首页列表: 在这里我用a标签进行跳转,在vue里面使用<router-link></router-link> <router-link :to="{path:' ...
- day 01 python基础
1.计算机历史 2.python历史 宏观: python2和python3的区别: python2 源码不标准,混乱,重复代码过多 python3 统一标准,去除重复代码 3.python环境 ...
- myhome vscode plugins
├─ 1194979849.code-snippets-0.1.18├─ adamwalzer.string-converter-0.1.1├─ alefragnani.bookmarks-9.3.0 ...
- gcc 的参数 -Wall -O2 -ansi
-Wall 生成所有警告信息 -o test (小写字母o)是说输出为test -ansi 是使用c++98标准去编译代码. 关闭gnu c中与ansi c不兼容的特性,激活ansi c的专有特性 ...
- Python3版本中的filter函数,map函数和reduce函数
一.filter函数: filter()为已知的序列的每个元素调用给定的布尔函数,调用中,返回值为非零的元素将被添加至一个列表中 def f1(x): if x>20: return True ...
- VSTO:使用C#开发Excel、Word【16】
使用工作表对象Worksheet对象表示Excel工作簿中的工作表.Worksheet有一个Name属性,返回工作表的名称(例如“Sheet1”). 工作表管理Worksheet对象具有一个Index ...
- 软工作业No.7 甜美女孩第五周--测试与发布
Alpha版本发布说明 一.功能介绍 本团队所做的多模式自定义2048是用来进行纸牌模式以及正常基础模式版本的2048小游戏的.Alpha版本具有的功能大体如下: 初始界面- 纸牌模式- 基础模式- ...
- Binary Tree Path Sum
Given a binary tree, find all paths that sum of the nodes in the path equals to a given number targe ...
- swift3笔记
备注:这里只是个人的观点,有的地方也是copy,多多指教,个人笔记,有侵犯你们版权的地方还望海涵!!! 个人觉得swift和OC最大的区别就是增加了许多现代化的东西,java里面的闭包,private ...