起源 在公司优化SQL遇到一个索引的问题,晚上回家想继续验证,无奈没有较多数据的表,于是,想造一些随机的数据,用于验证. 于是 于是动手写.由于自己不是MySQL能手,写得也不好.最后,插入的速度也不快,我使用的是MySQL的InnoDB引擎,电脑跑了差不多一通宵才插入100W数据(为自己的程序汗颜).虽然这样,我还是再次保留这份代码,以防下次要使用.嘿嘿. 这里开始,备份我的代码 需要插入数据的表: create table `t_member` ( `id` int (11), `membe

mysql快速生成批量测试数据 参考资料: https://blog.csdn.net/oahz4699092zhao/article/details/53332148 -- 创建一个临时内存表 ; DROP TABLE IF EXISTS `vote_recordss_memory`; CREATE TABLE `vote_recordss_memory` ( `id` ) unsigned NOT NULL AUTO_INCREMENT, `) NOT NULL DEFAULT '', `v

https://blog.csdn.net/qq_16946803/article/details/81870174 1.生成思路利用mysql内存表插入速度快的特点,先利用函数和存储过程在内存表中生成数据,然后再从内存表插入普通表中 2.创建普通表及内存表普通表CREATE TABLE `vote_record` ( `id` INT (11) NOT NULL AUTO_INCREMENT, `user_id` VARCHAR (20) NOT NULL, `vote_id` INT (11

一.LOAD DATA INFILE http://dev.mysql.com/doc/refman/5.5/en/load-data.html 二. 当数据量较大时,如上百万甚至上千万记录时,向MySQL数据库中导入数据通常是一个比较费时的过程.通常可以采取以下方法来加速这一过程: 一.对于Myisam类型的表,可以通过以下方式快速的导入大量的数据. ALTER TABLE tblname DISABLE KEYS; loading the data ALTER TABLE tblname E

很多时候需要用到连续的id进行数据对比,如判断是否连续等问题.那么,生成连续整数的方式有多种,首先容易想到的是逐步循环,如果想生成1kw条记录,则需要循环1kw次进行插入,那么有没有其他方式呢,效率相对于逐步加一有多少提升呢.带此疑问,我们进行一番测试. 提前创建一张存放记录的表 CREATE TABLE nums(id INT); 1. 使用逐步+1递增的循环方式 DELIMITER $$ CREATE PROCEDURE sp_createNum1 (cnt INT) BEGIN ; TRU

1.生成思路 利用mysql内存表插入速度快的特点,先利用函数和存储过程在内存表中生成数据,然后再从内存表插入普通表中 2.创建内存表及普通表 CREATE TABLE `vote_record_memory` ( `id` ) NOT NULL AUTO_INCREMENT, `) NOT NULL, `vote_id` ) NOT NULL, `group_id` ) NOT NULL, `create_time` datetime NOT NULL, PRIMARY KEY (`id`),

说的是插入数据,这个倒像是载入数据. 上一篇,是按照插入数据来写的,就是insert into,当时插入一万条实在是太慢了,大概是286734毫秒. insert into table values,这个values后面都跟上内容的话,大概会快一点,具体时间没测. 然后在网上发现一个牛逼的方式:LOAD DATA INFILE.这个相当快,直接载入txt文本文件中的数据. 前面写了一篇博文,是生成一个txt,向其中写入N条数据,这样就很容易获取这个数据了.写了一堆数据到txt,然后在load d

一.创建测试数据库 CREATE database example; use example; create TABLE `user` ( `id` ) NOT NULL, `last_name` varchar() DEFAULT NULL, `first_name` varchar() DEFAULT NULL, `sex` set('M','F') DEFAULT NULL, `age` tinyint() DEFAULT NULL, `phone` varchar() DEFAULT N

今天需要把将近存有一千万条记录的*.sql导入到mysql中.使用navicate导入,在导入100万条之后速度就明显变慢了, 导入五百万条数据的时候用了14个小时,且后面的数据导入的越来越慢. 后来是使用的办法是: 编辑*.sql文件,把表结构里面的主键.索引等等全部删除掉,引擎改为myisam. 这样导入速度大为提高,只要了半个小时就把将近一千万数据导完了. (关于删除索引,我把多字段的索引删除了,添加了一个后面需要的单字段索引,速度也没降低多少) 当然在数据导入完之后,你可以把这些主键.索

利用数据的存储过程生成测试数据: 我们可以通过数据库的的 INSERT 语句直接在存储过程中向普通数据表中添加数据,但是 当我们添加到百万数据后,往普通表插入测试数据的性能就会明显降低.所以在这里建议 使用内存表做一个中间铺垫,在内存表中生成完百万条数据后,在一次性的插入普通数据表 即可完成百万条测试数据生成.下面我们看过程: 第一步创建内存表: CREATE TABLE `vote_record_memory` ( `id` ) NOT NULL AUTO_INCREMENT, `) NOT

truncate table 可以不删除表的情况下,快速情况表数据

笔者最近工作中遇见一个性能瓶颈问题,MySQL表,每天大概新增776万条记录,存储周期为7天,超过7天的数据需要在新增记录前老化.连续运行9天以后,删除一天的数据大概需要3个半小时(环境:128G, 32核,4T硬盘),而这是不能接受的.当然如果要整个表删除,毋庸置疑,用 TRUNCATE TABLE就好. 最初的方案(因为未预料到删除会如此慢),代码如下(最简单和朴素的方法): delete from table_name where cnt_date <= target_date 后经过研究

上次在我的博客中讲述了quest公司的spotlight系列软件,这次来扯淡一下quest公司的另一测试辅助软件 datafactory(数据工厂),顾名思义,数据工厂是生产数据的,主要应用领域是性能测试中的大数据量测试, 也就是性能测试数据准备阶段. 原理说明: 通过和数据库进行连接后,对选定表的字段设定一定的插入规则,然后批量插入记录.Datafactory支持各种主流数据库(oracle.DB2.MS SQL),甚至excel.access等.下面以以主流的oracle为例进行说明. 环境

先插入一条数据 insert into table(a,b,c,d) values(1,2,3,4) 然后重复执行以下sql语句 没执行一次 数据就会倍增 insert into table(a,b,c,d) (select a,b,c,d from table)注意:上句中为避免可能有自增主键的存在而没有使用(*),还有使用时注意唯一性约束导致报错.

SELECT concat('DROP TABLE IF EXISTS ', table_name, ';') FROM information_schema.tables WHERE table_schema = 'mydb'; mydb换成你想删除的数据库的名字这样可以生成一个批量处理的sql语句,你需要再运行一次这个结果集就可以删除所有的表而不删除数据库了

1.复制Json数据 2.

千万级数据量 方案1. 直接使用delete 因delete执行速度与索引量成正比,若表中索引量较多,使用delete会耗费数小时甚至数天的时间   方案2. (1)创建临时表,表结构与原表结构相同 (2)将需要保留的数据插入至临时表中 (3)drop原表 (4)将临时表改名为原表名   经过测试,drop表一般耗时在3秒以内 此方案主要耗时步骤为第二步,若需要保留的数据量不大时,此方案是最佳方案

语句格式: select CONCAT('truncate TABLE ',table_schema,'.',TABLE_NAME, ';') from INFORMATION_SCHEMA.TABLES where table_schema in ('数据库1','数据库2'); 例如: SELECT CONCAT( 'truncate TABLE ', table_schema, '.', TABLE_NAME, ';' ) FROM INFORMATION_SCHEMA.TABLES WH

使用select into outfile xxx ,  load data infile xxx 例如 : SELECT * into outfile '/tmp/out.txt' FROM `db1`.`test`; load data infile '/tmp/out.txt' into table `db2`.`test`; 速度非常快,比insert快N+++倍

--导入 select * from inhos_genoperation(表名) where UPLOAD_ORG_CODE='***' into outfile '/tmp/inhos_genoperation.sql'; --导出load data infile '/tmp/inhos_genoperation.sql' into table qingtongxiayiyuan.inhos_genoperation; 该语句不含表结构,速度超快