方法一:使用excel表格 方法二:使用insert语句(FileWriter批量写入) 使用excel表格 1.打开数据表,按照表的字段在excel中添加数据.注意:表中字段名必须和excel中的名称一致. 2.打开navicat,在表结构处右键选择“导入向导”,选择excel文件,找到excel文件所在的位置.注意:一个excel表格里可以有多个sheet,所以如果全选中的话,可以一次性分别导入多个数据表,但是一定要保证字段名不要错,否则导入的时候会显示错误. 3.选择下一步,到设置附加选项

Mysql 如何批量插入百万行测试数据

述:相比oracle批量插入,mysql批量插入就简单的多了,mysql支持values后面跟多条数据,进行批量插入,并且主键可以自增,不像oracle会遇到序列问题. 1.建表 CREATE TABLE `test_batch` ( `id` ) NOT NULL AUTO_INCREMENT, `name` ) DEFAULT NULL, `account` ) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=

最近为了测试项目,需要在Mysql中插入百万级测试数据,于是用到了批量插入,自己写了个简单的Spring Cloud项目. 开始时执行效率很慢,大概100条/秒,批次的大小也试过1000,2000,5000这三个级别,效率还是很低. 查阅资料发现,mysql连接需要加上 rewriteBatchedStatements=true 经过测试,发现效率提高了100倍,达到了18000条/秒,对这个效率还是比较满意的!

CMySQLMgr.h: #ifndef _CMYSQLMGR_H_ #define _CMYSQLMGR_H_ #include <iostream> #include "mysql.h" using namespace std; class CMySQLMgr { public: CMySQLMgr(); ~CMySQLMgr(); bool Connect(const char * sHost, const char * sUser, const char * sPw

今天利用Mybatis的<for each>标签做oracle的批量插入数据时,发现和MySQL数据库有区别.在此记录下,以防之后再踩坑. 一.批量插入: 1.controller: /** * batchSaveAccountRole 批量给角色添加用户 * * @param role * @return R返回类型 */ @RequestMapping(value = "/batchSaveAccountRole", method = RequestMethod.PUT

MYSQL批量插入数据库实现语句性能分析 假定我们的表结构如下 代码如下   CREATE TABLE example (example_id INT NOT NULL,name VARCHAR( 50 ) NOT NULL,value VARCHAR( 50 ) NOT NULL,other_value VARCHAR( 50 ) NOT NULL) 通常情况下单条插入的sql语句我们会这么写: 代码如下   INSERT INTO example(example_id, name, valu

背景 前几天在MySql上做分页时,看到有博文说使用 limit 0,10 方式分页会有丢数据问题,有人又说不会,于是想自己测试一下.测试时没有数据,便安装了一个MySql,建了张表,在建了个while循环批量插入10W条测试数据的时候,执行时间之长无法忍受,便查资料找批量插入优化方法,这里做个笔记. 数据结构 寻思着分页时标准列分主键列.索引列.普通列3种场景,所以,测试表需要包含这3种场景,建表语法如下: drop table if exists `test`.`t_model`; Crea

假如说我有这样一个表,我想往这个表里面插入大量数据 CREATE TABLE IF NOT EXISTS `user_info` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增主键', `name` varchar(255) NOT NULL default '' COMMENT '姓名', `age` int(11) NOT NULL default '0' COMMENT '年龄', PRIMARY KEY (`id`) ) ENGINE

不管怎么样, 你需要大量的数据, 那么问题来了, 怎么快速地插入呢? 1. 这是我创建的一个批量插入的存储过程… 当然, 你可以把参数去掉, 一次性插入1W, 10W… CREATE DEFINER=`ijdb_user1`@`%` PROCEDURE `author_copy_self`(IN `nThousnd` INT) NO SQL BEGIN ; ; WHILE i < nThousnd DO INSERT INTO author(name,email) SELECT name,ema

前提工作: 1.在jmeter官网下载jmeter包(官网地址:https://jmeter.apache.org/).此外还需下载mysql驱动包,如:mysql-connector-java-5.1.28.jar. 2.在jmeter的lib目录下放入mysql-connector-java-5.1.28.jar包. 3.在jmeter的bin目录下启动jmeter.bat. 目标:向mysql数据库t_user_test插入三条数据. 一.线程组配置如下: 二.JDBC Connectio

1.批量插入 ServiceImpl层 List<Person> addPeople = new ArrayList<>(); //addPeople存放多个Person对象 personMapper.insetPeopleReturnIds(addPeople); Dao层接口(这里的注解param中的list对应xml中的 collection的值, 两者要保持一致! ) int insetPeopleReturnIds(@Param("list") Lis

一.在mysql数据库中创建一张表test DROP TABLE IF EXISTS `test`; CREATE TABLE `test` ( `id` INT (11), `name` VARCHAR (225), `age` INT (11), `create_time` DATE ); 二.使用存储过程插入数据 DROP PROCEDURE IF EXISTS BatchInsert; DELIMITER $$ CREATE PROCEDURE BatchInsert(IN i INT,

INSERT INTO t_base_role_resource_ref (refID, roleID, resID, orgID, belongTo) SELECT uuid() AS refID, t1.roleID, t1.resID, '1' AS orgID, 'school' AS belongTo FROM t_base_role_resource_ref t1 WHERE t1.belongTo = 'school-default'     AND NOT EXISTS (   

insert into:插入数据,如果主键重复,则报错 insert repalce:插入替换数据,如果存在主键或unique数据则替换数据 insert ignore:如果存在数据,则忽略. INSERT IGNORE INTO actor VALUES (3, 'ED', 'CHASE', '2006-02-15 12:34:33'): INSERT REPLACE INTO actor VALUES (3, 'ED', 'CHASE', '2006-02-15 12:34:33'): 另外

DROP TABLE IF EXISTS TeachersInfo; CREATE TABLE TeachersInfo ( id INT NOT NULL AUTO_INCREMENT, teacherCode VARCHAR(20) NULL, teacherName VARCHAR(30) NULL, roleID VARCHAR(20) NULL, SUBJECT INT NULL, CONSTRAINT PK_TEACHERSINFO PRIMARY KEY clustered (id

http://blog.51cto.com/tianxingzhe/1676097 DROP PROCEDURE test_insert ; DELIMITER $$ CREATE PROCEDURE test_insert() BEGIN DECLARE i INT DEFAULT 0; START TRANSACTION; WHILE i<10000000 DO insert into big_table( field01, field02, field03) SELECT FLOOR(RA

DROP PROCEDURE IF EXISTS insert_batch; CREATE PROCEDURE insert_batch() BEGIN ; loopname:LOOP '); ; THEN LEAVE loopname; END IF; END LOOP loopname; END; CALL insert_batch(); 总耗时: [SQL] CALL insert_batch();受影响的行: 1时间: 873.795s

多线程之批量插入 背景 昨天在测试mysql的两种批量更新时,由于需要入库大量测试数据,反复执行插入脚本,过程繁琐,档次很低,测试完后我就想着写个批量插入的小demo,然后又想写个多线程的批量插入的demo,然后就有了下面的东西了…… 环境 spring-boot 1.5.6 集成 mysql druid mybits 还有一些无关紧要的东西 代码 线程类: /**  * @ClassName InsertDataThread  * @Description <插入数据类>  * @Autho

前言 今天在网上看到一篇文章(后文中的文章指的就是它) https://www.jianshu.com/p/cce617be9f9e 发现了一种有关于mybatis批量插入的新方法,而且看了文章发现我原来的方法好像有点问题,但是由于文章中使用的环境是sqlserver而我经常使用的是mysql所以还是需要亲自来试试. 环境说明 项目使用springboot mybatis 数据库mysql5.7 使用本地mysql所以网络可以忽略不计 插入对象完全相同,只有id自增 表结构如下: CREATE

这里面记录一下使用mybatis处理mysql的批量插入的问题,测试有可能不准.只愿世间风景千般万般熙攘过后,字里行间,人我两忘,相对无言. mybatis的批量插入 我们的测试主体类是springboot环境中的一个控制器类,重要的代码如下,在我们的测试中Constants.MAX_BATCH_NUMBER = 10000. @GetMapping("insert") public void insertBatchData() { // 构建一个list,大小为1百万条数据 long