mysql这个垃圾迁移数据费劲半天
mysql垃圾得很! 对于一些小系统还可以。大型系统自己找麻烦--必须有高昂的人工费!
没有高昂的人工(必须有好的程序员和工程师才能解决一些复杂的问题),构建基于大量数据的应用,非常麻烦。
而这些费用,如果用于采购oracle之类的,也许一次只要支付几个月人工就可以解决了。
例如用铁钎挖个小洞是不是很好用?还可以吧。
如果用铁钎挖一个10米深的石洞?可以吗?可以,不过你要付出很多的人工的!例如找很多工人,或者雇佣大力士之类的
俗话不会错的:便宜基本没有好货!
你所经常开发的应用都是基于互联网的吗?如果不是,那么需要谨慎考虑使用mysql
不过这些都是题外话,我们还是来说MYSQL的少量数据迁移吧!
mysql,对于dba而言非常麻烦,尤其是迁移数据的时候,如果数据是几百个G,或者上T之后。
就算不迁移几百个G,迁移几十个M的数据,也是颇为费劲!
--
它让我们非常想念oracle.
开发的时候,有一个要求,要传输20万数据。
用了source,一点也不好用! 各种设置还是和蜗牛差不多!(说实话,我对于mysql基本属于门外汉)
于是只好采用 select into + load data的方式
(版本 8.0.x)
不过在执行前,得先设置
secure_file_priv=''
这样设置的意思是,可以指定任意目录。
如果不再my.cnf等配置参数指定,则默认是NULL,表示不可以导出导入。
secure_file_priv得官方解释是:
The secure_file_priv system variable limits import and export operations to a specific
directory. Create a directory whose location can be specified as the value of that variable:
mkdir mysql-files
Grant directory user and group ownership to the mysql user and mysql group, and set the
directory permissions appropriately:
chown mysql:mysql mysql-files
chmod 750 mysql-files
这个参数的作用类似于oracle的directory概念,不过oracle这个值是非常灵活的。
配置好之后:
源库:
SELECT * INTO OUTFILE '\data\dump\data.txt' FIELDS TERMINATED BY ',' FROM c117_scores;
目标库:
LOAD DATA INFILE 'e:\\temp\\data.txt' INTO TABLE c117_scores FIELDS TERMINATED BY ',';
速度是快了不少!
--
所以迁移几个表的时候得准备一套脚本,否则让您够受得!
导入几张表的数据,在开发和维护中是很常见的!
可以考虑开发一个小工具用于迁移!不过好像navicate,sqlyog有类似功能!
但依然不够好用,这种专业工具最好稍微配置下,可以批处理执行!
mysql这个垃圾迁移数据费劲半天的更多相关文章
- mysql 5.7 迁移数据方案
从一台服务器迁移至其他服务器,如何选择最短的停服时间方案 方案一.凌晨3点的全备份+停服后一天的大概一天的增备 1. 拷贝前一天的全备份至新的服务器 rsync -auzrP /Data/dbbak/ ...
- Mysql ---Sqlserver数据迁移到Mysql(Mysql建表迁移数据)
1 试用了MysqlWorkBench的数据迁移功能 以为能实现:建立跟Sqlserver一样的表结构和视图的功能,sqlserver的数据迁移到mysql 实际上发现:即使勾选了表和视图,实际上却只 ...
- Mysql使用workbench迁移数据
原文:http://jingyan.baidu.com/article/925f8cb8f3ec25c0dce05644.html 打开Mysql WorkBench,连接到数据库: 首先选中:Man ...
- 从MySQL到Redis 提升数据迁移的效率
场景是从MySQL中将数据导入到Redis的Hash结构中.当然,最直接的做法就是遍历MySQL数据,一条一条写入到Redis中.这样可能没什么错,但是速度会非常慢.而如果能够使MySQL的查询输出数 ...
- mysql分库分表,做到永不迁移数据和避免热点
作者:老顾聊技术 搜云库技术团队 来源:https://www.toutiao.com/i6677459303055491597 一.前言 中大型项目中,一旦遇到数据量比较大,小伙伴应该都知道就 ...
- 从mysql向HBase+Phoenix迁移数据的心得总结
* 转载请注明出处 - yosql473 - 格物致知,经世致用 mysql -> HBase + Phoenix 1.总体方案有哪些? 1)通过Sqoop直接从服务器(JDBC方式)抽取数据到 ...
- finedb(内置的HSQL数据库)迁移数据到MySQL
finedb(内置的HSQL数据库)迁移数据到MySQL 1. 前言 在FineBI中,决策平台的数据(用户.角色.组织机构.权限等信息)是存储在finedb数据库中的,默认情况下finedb是一个内 ...
- 从MySQL到Hive,数据迁移就这么简单
使用Sqoop能够极大简化MySQL数据迁移至Hive之流程,并降低Hadoop处理分析任务时的难度. 先决条件:安装并运行有Sqoop与Hive的Hadoop环境.为了加快处理速度,我们还将使用Cl ...
- 解决kettle在两个mysql之间迁移数据时乱码的问题 和 相关报错 及参数调整, 速度优化
1. 乱码问题 编辑目标数据库的链接: 配置编码参数即可. 2. 报错 No operations allowed after statement closed. 需要调整wait_timeout: ...
- MYSQL大小写(由于数据由windows迁移到Linux导致)
今日从sqlserver上迁移了一个数据库到Linux的MySQL中,迁移成功了,但是应用却跑不通,查看日志发现,提示找不到表,我注意到,表名都是存在大小写的,而MySQL中的表名都是小写的.这提醒了 ...
随机推荐
- Rust中的并发性:Sync 和 Send Traits
在并发的世界中,最常见的并发安全问题就是数据竞争,也就是两个线程同时对一个变量进行读写操作.但当你在 Safe Rust 中写出有数据竞争的代码时,编译器会直接拒绝编译.那么它是靠什么魔法做到的呢? ...
- C#开源的两款功能强大的录屏神器
ScreenToGif ScreenToGif是一款由C#语言开发且开源的操作简单.免费的屏幕录制和GIF动画制作神器.它可以帮助用户捕捉计算机屏幕上的实时动画,并将其保存为高质量的 GIF 图像格式 ...
- Premiere cc 2019之声音处理
目录 deepin录视频 调整声道 查看声音轨道 转化格式 提取二声道的台词音,或者背景音 降噪 1.无需AU!PR自带音频模块完美实现降噪.增强人声.模拟环境 2.Adobe audition中降噪 ...
- chgrp chown
chgrp 用来改变文件所属群组,如果要改变的群组不在/etc/group里面,将会报错. chown 用来改变文件的所有者,如果改变的所有者便在/etc/passwd里面,将会报错. 需要注意的是c ...
- 在tomcat上安装PFX格式证书部署https
您可以在Tomcat服务器安装已签发的SSL证书,实现通过HTTPS安全访问Web服务.本文介绍如何在Tomcat服务器安装PFX格式的SSL证书. 步骤一:在阿里云的域名管理后台,下载SSL证书 登 ...
- Splashtop和 TiFlux 宣布建立合作伙伴关系
2020年9月21日,远程访问解决方案的全球领导者 Splashtop Inc. 和面向 IT 服务提供商的 IT 解决方案公司 TiFlux 宣布建立合作伙伴关系,以整合 Splashtop 远程访 ...
- SQLServer统计监控SQL执行计划突变的方法
使用动态管理视图(DMVs)来检测SQL执行计划的突变,你需要关注那些能够提供查询执行统计和计划信息的视图.以下是一些可以用于此目的的DMVs以及相应的查询示例: sys.dm_exec_query_ ...
- IDEA+carbon.now.sh安装使用
安装 打开IDEA,选择setting-->plugins 搜索carbon.now.sh,点击安装,重启IDEA即可. 使用 选择需要生成的代码,Ctrl+A全选.然后再代码中点击右键,找到o ...
- mongodb单个服务部署
mongodb3.2.8安装步骤: 1.系统准备 (1)redhat或cnetos6.2以上系统 (2)系统开发包完整 (3)ip地址和hosts文件解析正常 (4)iptables防火墙&S ...
- linux curl命令的重要用法:发送GET/POST请求,获取网页内容
curl是一个利用URL规则在命令行下工作的文件传输工具,可以说是一款很强大的http命令行工具.它支持文件的上传和下载,是综合 传输工具,但按传统,习惯称url为下载工具. #使用curl发送GET ...