项目背景 数据来源:所有数据均为外部导入,最大数据量在10w+ 输出数据:导出经过业务处理之后的数据 使用框架:fastadmin 涉及的问题: 1.数据读取 2.数据保存 使用数据:10w+ 解决方案: 方案一:直接利用框架提供的功能导入Excel数据 结果:一分钟之后超时,最终执行完成时间在3分钟左右 分析:其中数据读取和数据保存(使用模型批量保存拆分为100,1000,10000)都十分耗时,而且在超时之后,系统其它功能无法响应. 可行性:不可行 方案二:将Excel数据换成csv格式 结

起源 在公司优化SQL遇到一个索引的问题,晚上回家想继续验证,无奈没有较多数据的表,于是,想造一些随机的数据,用于验证. 于是 于是动手写.由于自己不是MySQL能手,写得也不好.最后,插入的速度也不快,我使用的是MySQL的InnoDB引擎,电脑跑了差不多一通宵才插入100W数据(为自己的程序汗颜).虽然这样,我还是再次保留这份代码,以防下次要使用.嘿嘿. 这里开始,备份我的代码 需要插入数据的表: create table `t_member` ( `id` int (11), `membe

# mysql快速生成表的描述 SELECT column_name AS `列名`, CONCAT_WS(' (', data_type, character_maximum_length) AS `数据类型`, is_nullable AS `非空`, CASE WHEN extra = 'auto_increment' THEN 'Yes' ELSE '' END AS `主键`, column_default AS `默认值`, column_comment AS `备注` FROM I

上一章给大家说的是数据库的视图,存储过程等等操作,这章主要讲索引,以及索引注意事项,如果想看前面的文章,url如下: mysql快速上手1 mysql快速上手2 索引简介 索引是对数据库表中一个或多个列(例如,employee 表的姓名 (name) 列)的值进行排序的结构.如果想按特定职员的姓来查找他或她,则与在表中搜索所有的行相比,索引有助于更快地获取信息. 例如这样一个查询:select * from table1 where id=10000.如果没有索引,必须遍历整个表,直到ID等于1

mysql快速生成批量测试数据 参考资料: https://blog.csdn.net/oahz4699092zhao/article/details/53332148 -- 创建一个临时内存表 ; DROP TABLE IF EXISTS `vote_recordss_memory`; CREATE TABLE `vote_recordss_memory` ( `id` ) unsigned NOT NULL AUTO_INCREMENT, `) NOT NULL DEFAULT '', `v

Mysql快速入门 一)基本概念 1)表 行被称为记录,是组织数据的单位.列被称为字段,每一列表示记录的一个属性. 2)主键 主键用于唯一的标识表中的每一条记录.可以定义表中的一列或者多列为主键, 但每张表中主键只能有一个,主键列上不能有两行相同的值,也不能为空值. 二)数据库基本操作 1)从命令行登陆mysql: mysql -h hostName -u loginName -p 2)查看当前所有数据库: shwo databases; 3)创建数据库: create database tan

MySql快速插入以及批量更新 插入: MySql提供了可以一次插入多条数据的用法: [sql] INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9),(10,11,12)...;  在程序中可以通过循环,添加Values对应的列表,最后使用一次executeUpdate完成插入操作.但是Mysql语句并不是越长越好,MYsql语句长度有限制,可以查看mysql的配置文件my.in中max_allowed_packet属性,并进行相

mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式) 首先将要导入的数据文件top5000W.txt放入到数据库数据目录/var/local/mysql/data/${db_name}/ 下,并确保导入用户拥有这个txt文件的权限,否则会报Error 13错误 1.${table_name}换myisam,我们的场景对事务没啥要求,innodb引擎速度太慢了,原来导入12个小时都没导完2.导入前修改参数和禁止索引更新mysql> SET SESSION BULK_I

转:MySQL快速 入门教程 目录 一.MySQL的相关概念介绍 二.Windows下MySQL的配置 配置步骤 MySQL服务的启动.停止与卸载 三.MySQL脚本的基本组成 四.MySQL中的数据类型 五.使用MySQL数据库 登录到MySQL 创建一个数据库 选择所要操作的数据库 创建数据库表 六.操作MySQL数据库 向表中插入数据 查询表中的数据 更新表中的数据 删除表中的数据 七.创建后的修改 添加列 修改列 删除列 重命名表 删除整张表 删除整个数据库 八.附录 修改 root 用

https://blog.csdn.net/qq_16946803/article/details/81870174 1.生成思路利用mysql内存表插入速度快的特点,先利用函数和存储过程在内存表中生成数据,然后再从内存表插入普通表中 2.创建普通表及内存表普通表CREATE TABLE `vote_record` ( `id` INT (11) NOT NULL AUTO_INCREMENT, `user_id` VARCHAR (20) NOT NULL, `vote_id` INT (11

koa2+koa-generator+mysql快速搭建nodejs服务器 用koa的脚手架koa-generator可以快速生成项目骨架,可以用于发开或者测试接口 https://github.com/hellojinjin123/node-koa2-template 1. 全局安装koa-generator(不用全局安装koa) 项目名字fast-koa npm install koa-generator -g koa2 fast-koa cd fast-koa npm install 目录

在项目实施的过程中,经常会面临数据库迁移,导出和导出数据,如果用普通的mysql客户端备份,时间较长且容易出错.那么mysql快速备份及迁移,就成为数据库迁移的重中之重. 下面介绍我在项目实现过程中用到的方法. 1.为了方便,这边直接将需要执行的SQL语句写成脚本dbbak.sh.脚本内容如下: #!/bin/sh #bak dir BACKUP_ROOT=备份路径 BACKUP_FILEDIR=$BACKUP_ROOT #current date DATE=$(date +%Y%m%d) ##

目录 MySQL快速入门 简介 存储数据的演变过程 数据库分类 概念介绍 MySQL安装 MySQL命令初始 环境变量配置 MySQL环境变量配置 修改配置文件 设置新密码 忘记密码的情况 基本sql语句 库的增删改查(文件夹) 表的增删改查(文件) 数据的增删改查(数据) 存储引擎 MySQL主要存储引擎 命令 创建表的完整语法 MySQL快速入门 简介 存储数据的演变过程 数据的存储通过我们自己编写来决定,存到文件的样式千差万别 软件开发目录规范规定了文件的位置,不同的文件存储相应功能的代码

目录 MySQL快速入门(二) 约束条件 自增 自增的特性 主键 外键 级联更新/删除 表与表之间的关系 外键约束 操作表方法 查询关键字 练习数据 select··from where 筛选 group by 分组 聚合函数 group_concat 和 concat函数 Having 过滤 Distinct 去重 ORDER BY 排序 单列排序 多列排序 空值排序 limit 分页 MySQL快速入门(二) 接上篇MySQL快速入门(一) 约束条件 在上一篇说到建表语句的完整结构 crea

网上下载的编译好的包 最好安装在 /usr/local 目录下面: 我用的mysql的版本的是:mysql--linux-i686-icc-glibc23.tar.gz 在官网上就可以下载到. 先期工作:建立mysql用户组,mysql用户,并且把mysql用户加入到mysql用户组中. 建立mysql用户组:groupadd mysql 建立mysql用户并加入mysql用户组:useradd mysql -g mysql -p mysql123456 -s /sbin/nologin -M

♣ mysql使用navicat11快速导出数据库ER图 ♣ mysql使用navicat11快速导出数据库数据字典 ♣ navicat11 for mysql (这里是mysql5.7.12)专业版安装教程 1.快速导出数据库ER图: 这里以数据库Pr_courseselection为例子:右键数据库名称->逆向数据库到模型 结果ER模型如图 下面将生成的ER图导出为图片:  2.快速导出数据库数据字典: 新建查询,然后输入下面sql语言查询数据库中各字段的属性等信息,如图获取数据字典: se

一.LOAD DATA INFILE http://dev.mysql.com/doc/refman/5.5/en/load-data.html 二. 当数据量较大时,如上百万甚至上千万记录时,向MySQL数据库中导入数据通常是一个比较费时的过程.通常可以采取以下方法来加速这一过程: 一.对于Myisam类型的表,可以通过以下方式快速的导入大量的数据. ALTER TABLE tblname DISABLE KEYS; loading the data ALTER TABLE tblname E

众所周知,win平台的服务器版本默认是不能运行php的,需要对服务器进行环境配置. 而许多朋友纠结如何配置,在百度上搜索出的教程一大堆,基本步骤复杂,新手配置容易出错. 今天,邹颖峥教大家一种快速配置方式,并且这种方式的PHP运行在Fast-CGI,效率比isapi效率.速度快得多. 首先,这是我示例的服务器(全新,无任何配置历史) 第一步,进入服务器管理 默认任务条有服务器管理图标,点击图标,在新打开的窗口中的左侧列表单击"角色",再点击右侧的添加角色. 开始安装IIS. 按照图示箭

MySQL安装方式 MSI安装(Windows Installer) ZIP安装 最好选择ZIP安装,比较干净,也快速搞好. 下载链接:http://pan.baidu.com/s/1sjFZZul 密码:nhvu 下载后直接解压,放在自己想要的位置,然后配置好压缩文件夹下的bin目录的环境变量,注意配置在系统环境变量下,直接添加在path末尾即可. 然后记得启动mysql之前要加载mysqld和启动mysqld,这样mysql服务才能启动. 这里加载启动mysqld之前需要管理员权限启动cmd

1初始化配置 1.1设置白名单 创建RDS实例后,需要设置RDS实例的白名单,以允许外部设备访问该RDS实例.默认的白名单只包含默认IP地址127.0.0.1,表示任何设备均无法访问该RDS实例. 设置白名单包括两种操作: 设置IP白名单:添加IP地址,使这些IP地址可以访问该RDS实例. 设置ECS安全组:添加ECS安全组,使ECS安全组内的ECS实例可以访问该RDS实例. 白名单可以让RDS实例得到高级别的访问安全保护,建议您定期维护白名单.设置白名单不会影响RDS实例的正常运行. 设置IP

在上一次朋友问我如何快速构造一亿条记录的表后,我理出了实行的办法,见:http://blog.csdn.net/mchdba/article/details/52938114,但是因为录入一亿表需要2个小时,所以还是感觉速度慢了些,那有没有啥办法能加快这一步骤呢?   1.建一张通用的用户表 建用户表没有啥变化,还是和上次一样. USE test; CREATE TABLE `UC_USER` ( `ID` BIGINT (20), `USER_NAME` VARCHAR (400), `USE