最近有一个将 mysql 数据导入到 MongoDB 中的需求,打算使用 Kettle 工具实现.本文章记录了数据导入从0到1的过程,最终实现了每秒钟快速导入约 1200 条数据.一起来看吧~ 一.Kettle 连接图 简单说下该转换流程,增量导入数据: 1)根据 source 和 db 字段来获取 MongoDB 集合内 business_time 最大值. 2)设置 mysql 语句 3)对查询的字段进行改名 4)过滤数据:只往 MongoDB 里面导入 person_id,address,…

1.数据库登录: 1.登录本地的MYSQL数据库:mysql -u root -p   2.连接远程主机上的MYSQL数据库:mysql -h 192.168.191.2 -u root -p 123456 密码修改:mysqladmin -u root -p 旧密码  -password 新密码 mysqladmin -u root -p abs123  -password 123456 2.增加新用户并指定用户的权限,命令格式:grant 权限,权限2,... on 数据库名.数据表 to…

创建实验环境 mysql> create database test_db; Query OK, 1 row affected (0.00 sec) mysql> use test_db; Database changed mysql> create table test_table(id int(10),name varchar(20),age int); Query OK, 0 rows affected (0.04 sec) (1).查看表结构 查看表结构有四种方法,如果查找的不是…

一,架构介绍 生产中由于历史原因web后端,mysql集群,kafka集群(或者其它消息队列)会存在一下三种结构. 1,数据先入mysql集群,再入kafka 数据入mysql集群是不可更改的,如何再高效的将数据写入kafka呢? A),在表中存在自增ID的字段,然后根据ID,定期扫描表,然后将数据入kafka. B),有时间字段的,可以按照时间字段定期扫描入kafka集群. C),直接解析binlog日志,然后解析后的数据写入kafka. 2,web后端同时将数据写入kafka和mysql集群…

CREATE TABLE `users` ( `id` int(11) NOT NULL AUTO_INCREMENT, `username` varchar(255) DEFAULT NULL, `PASSWORD` varchar(255) DEFAULT NULL, `name` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=MyISAM AUTO_INCREMENT=11 DEFAULT CHARSET=utf8; 修改字段…

一.使用mysql数据导出进行备份时,会备份整个表的数据,有时候只想备份一部分数据,这个时候可以使用如下方法: 1. 使用insert into 和 select结合: insert into talbe_bak(`id`,`name`) " "; 这样会将满足where限制的数据备份到新的table_bak表中. 如果表结构相同: "; 如果想备份所有数据: insert into talbe_bak select * from table_original; 2. 使用s…

本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC? CDC是(Change Data Capture 变更数据获取)的简称.核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT.更新UPDATE.删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费. 1. 环境准备 mysql Hive flink 1.13.5 on yarn 说明:如果没有安装hadoop,那么可以不用yarn,直接用flink sta…

Mysql最常用的三种备份工具分别是mysqldump.Xtrabackup(innobackupex工具).lvm-snapshot快照.前面分别介绍了:Mysql备份系列(1)--备份方案总结性梳理Mysql备份系列(2)--mysqldump备份(全量+增量)方案操作记录Mysql备份系列(3)--innobackupex备份mysql大数据(全量+增量)操作记录 lvm-snapshot:基于LVM快照的备份1.关于快照:1)事务日志跟数据文件必须在同一个卷上:2)刚刚创立的快照卷,里面…

在日常运维工作中,对mysql数据库的备份是万分重要的,以防在数据库表丢失或损坏情况出现,可以及时恢复数据. 线上数据库备份场景:每周日执行一次全量备份,然后每天下午1点执行MySQLdump增量备份. 下面对这种备份方案详细说明下:1.MySQLdump增量备份配置执行增量备份的前提条件是MySQL打开binlog日志功能,在my.cnf中加入log-bin=/opt/Data/MySQL-bin"log-bin="后的字符串为日志记载目录,一般建议放在不同于MySQL数据目录的磁盘…

物理备份: 直接复制数据库文件,适用于大型数据库环境.但不能恢复到异构系统中如Windows. 逻辑备份: 备份的是建表.建库.插入等操作所执行SQL语句,适用于中小型数据库,效率相对较低. 导出表: 将表导入到文本文件中. 一.使用mysqldump实现逻辑备份 #语法: # mysqldump -h 服务器 -u用户名 -p密码 数据库名 > 备份文件.sql #示例: #单库备份 mysqldump -uroot -p123 db1 > db1.sql mysqldump -uroot…