ETL工具--DataX3.0实战
DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换，由淘宝数据平台部门完成。
DataX插件分为Reader和Writer两类。Reader负责从数据源端读取数据到Storage（交换空间），Writer负责将Storage中的数据写入到数据目的端。Storage可以适配不同种类的Reader和Writer，从而实现数据同步.
目前DataX版本已经提供的Reader插件如下：
1、 hdfsreader : 支持从hdfs文件系统获取数据。
2、mysqlreader: 支持从mysql数据库获取数据。
3、 sqlserverreader: 支持从sqlserver数据库获取数据。
4、 oraclereader : 支持从oracle数据库获取数据。
5、 streamreader: 支持从stream流获取数据（常用于测试）
6、httpreader : 支持从http URL获取数据。
提供的Writer插件如下：
1、 hdfswriter ：支持向hdbf写入数据。
2、 mysqlwriter ：支持向mysql写入数据。
3、 sqlserverwriter：支持向sqlserver写入数据。
4、 oraclewriter ：支持向oracle写入数据。
5、 streamwriter ：支持向stream流写入数据。（常用于测试）
DataX 3.0每一种读插件都有一种或多种切分策略，都能将作业合理切分成多个Task并行执行，单机多线程执行模型可以让DataX速度随并发成线性增长。 在源端和目的端性能都足够的情况下，单个作业一定可以打满网卡。
环境准备：
centos 7.2
python 2.7.5
工具包：datax.tar.gz (3.0)
SQL SERVER JDBC驱动:sqljdbc_6.0
JAVA环境准备:
# yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel #安装openjdk
标准方式配置环境变量：
# vim /etc/profile
将下面的三行粘贴到 /etc/profile中：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
下载datax，解压缩，赋权限，及运行样例同步作业命令
# wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
# tar -zxvf datax.tar.gz -C /usr/local/
# chmod -R 755 /usr/local/datax/*
# cd /usr/local/datax
# python datax.py ../job/job.json
2017-03-02 18:15:10.864 [main] INFO Engine - the machine info =>
osInfo:Oracle Corporation 1.8 25.121-b13
jvmInfo:Linux amd64 3.10.0-327.el7.x86_64
cpu num:2
totalPhysicalMemory:-0.00G
freePhysicalMemory:-0.00G
maxFileDescriptorCount:-1
currentOpenFileDescriptorCount:-1
GC Names[Copy, MarkSweepCompact]
MEMORY_NAME | allocation_size | init_size
Eden Space | 273.06MB | 273.06MB
Code Cache | 240.00MB | 2.44MB
Survivor Space | 34.13MB | 34.13MB
Compressed Class Space | 1,024.00MB | 0.00MB
Metaspace | -0.00MB | 0.00MB
Tenured Gen | 682.69MB | 682.69MB
2017-03-02 18:15:21.095 [job-0] INFO JobContainer -
任务启动时刻 : 2017-03-02 18:15:10
任务结束时刻 : 2017-03-02 18:15:21
任务总计耗时 : 10s
任务平均流量 : 253.91KB/s
记录写入速度 : 10000rec/s
读出记录总数 : 100000
读写失败总数 : 0
下载sqljdbc_6.0.8112.100_enu.tar.gz驱动:wget https://download.microsoft.com/download/0/2/A/02AAE597-3865-456C-AE7F-613F99F850A8/enu/sqljdbc_6.0.8112.100_enu.tar.gz
解压并把sqljdbc42.jar文件移至/usr/local/datax/lib目录下，并授权
#tar -xf sqljdbc_6.0.8112.100_enu.tar.gz
#mv /sqljdbc_6.0/enu/jre8/sqljdbc42.jar /usr/local/datax/lib/
#chmod 755 /usr/local/datax/lib/sqljdbc42.jar
配置文件部分
只要执行一个python脚本，传入一个json配置文件。在bin目录下已经给出了样例配置，不同的数据源配置文件不一样。
可以通过命令查看配置模板如下:
# python datax.py -r {YOUR_READER} -w {YOUR_WRITER}
# python datax.py -r sqlservereader -w mysqlwriter
以下示例从SQL SERVER 2008 读入，写入mysql:
测试数据库(sql server 2008数据库服务器为192.168.2.214)为test01；表为name
CREATE TABLE name(
id tinyint NULL,
name nchar(20) NULL
);
###########插入记录##############
INSERT INTO name VALUES (1,‘test‘),(2,‘test0‘)
json配置文件如下：
{
"job": {
"setting": {
"speed": {
//设置传输速度，单位为byte/s，DataX运行会尽可能达到该速度但是不超过它
"byte": 1048576,
"channel":"5",
}
},
"content": [
{
"reader": {
"name": "sqlserverreader",
"parameter": {
// 数据库连接用户名
"username": "sa",
// 数据库连接密码
"password": "123456",
"column": ["*"],
//"splitPk": "db_id",如果指定splitPk，表示用户希望使用splitPk代表的字段进行数据分片
"connection": [
{
"table": ["name"],
"jdbcUrl": ["jdbc:sqlserver://192.168.2.214:1433;DatabaseName=test01"]
}
]
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"writeMode": "insert",
"username": "root",
"password": "111111",
"column":["*"],
"connection": [
{
"table": ["name"],
"jdbcUrl": "jdbc:mysql://192.168.2.5:3306/test01?useUnicode=true&characterEncoding=utf8"
}
]
}
}
}
]
}
}
job.setting.speed(流量控制)
Job支持用户对速度的自定义控制，channel的值可以控制同步时的并发数，byte的值可以控制同步时的速度
job.setting.errorLimit(脏数据控制)
Job支持用户对于脏数据的自定义监控和告警，包括对脏数据最大记录数阈值（record值）或者脏数据占比阈值（percentage值），当Job传输过程出现的脏数据大于用户指定的数量/百分比，DataX Job报错退出。
*******************SqlServerReader 插件文档****************************
1 快速介绍
SqlServerReader插件实现了从SqlServer读取数据。在底层实现上，SqlServerReader通过JDBC连接远程SqlServer数据库，并执行相应的sql语句将数据从SqlServer库中SELECT出来。
2 实现原理
简而言之，SqlServerReader通过JDBC连接器连接到远程的SqlServer数据库，并根据用户配置的信息生成查询SELECT SQL语句并发送到远程SqlServer数据库，并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集，并传递给下游Writer处理。
对于用户配置Table、Column、Where的信息，SqlServerReader将其拼接为SQL语句发送到SqlServer数据库；对于用户配置querySql信息，SqlServer直接将其发送到SqlServer数据库。
3 参数说明
jdbcUrl
描述：描述的是到对端数据库的JDBC连接信息，使用JSON的数组描述，并支持一个库填写多个连接地址。之所以使用JSON数组描述连接信息，是因为阿里集团内部支持多个IP探测，如果配置了多个，SqlServerReader可以依次探测ip的可连接性，直到选择一个合法的IP。如果全部连接失败，SqlServerReader报错。 注意，jdbcUrl必须包含在connection配置单元中。对于阿里集团外部使用情况，JSON数组填写一个JDBC连接即可。
jdbcUrl按照SqlServer官方规范，并可以填写连接附件控制信息。具体请参看SqlServer官方文档。
必选：是
默认值：无
username
描述：数据源的用户名
必选：是
默认值：无
password
描述：数据源指定用户名的密码
必选：是
默认值：无
table
描述：所选取的需要同步的表。使用JSON的数组描述，因此支持多张表同时抽取。当配置为多张表时，用户自己需保证多张表是同一schema结构，SqlServerReader不予检查表是否同一逻辑表。注意，table必须包含在connection配置单元中。
必选：是
默认值：无
column
描述：所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。用户使用*代表默认使用所有列配置，例如["*"]。
支持列裁剪，即列可以挑选部分列进行导出。
支持列换序，即列可以不按照表schema信息进行导出。
支持常量配置，用户需要按照JSON格式: ["id", "[table]", "1", "‘bazhen.csy‘", "null", "COUNT(*)", "2.3" , "true"] id为普通列名，[table]为包含保留在的列名，1为整形数字常量，‘bazhen.csy‘为字符串常量，null为空指针，to_char(a + 1)为表达式，2.3为浮点数，true为布尔值。
column必须用户显示指定同步的列集合，不允许为空！
必选：是
默认值：无
splitPk
描述：SqlServerReader进行数据抽取时，如果指定splitPk，表示用户希望使用splitPk代表的字段进行数据分片，DataX因此会启动并发任务进行数据同步，这样可以大大提供数据同步的效能。
推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。
目前splitPk仅支持整形型数据切分，不支持浮点、字符串、日期等其他类型。如果用户指定其他非支持类型，SqlServerReader将报错！
splitPk设置为空，底层将视作用户不允许对单表进行切分，因此使用单通道进行抽取。
必选：否
默认值：无
where
描述：筛选条件，SqlServerReader根据指定的column、table、where条件拼接SQL，并根据这个SQL进行数据抽取。例如在做测试时，可以将where条件指定为limit 10；在实际业务场景中，往往会选择当天的数据进行同步，可以将where条件指定为gmt_create > $bizdate 。
where条件可以有效地进行业务增量同步。如果该值为空，代表同步全表所有的信息。
必选：否
默认值：无
querySql
描述：在有些业务场景下，where这一配置项不足以描述所筛选的条件，用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后，DataX系统就会忽略table，column这些配置型，直接使用这个配置项的内容对数据进行筛选，例如需要进行多表join后同步数据，使用select a,b from table_a join table_b on table_a.id = table_b.id
当用户配置querySql时，SqlServerReader直接忽略table、column、where条件的配置。
必选：否
默认值：无
fetchSize
描述：该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了DataX和服务器端的网络交互次数，能够较大的提升数据抽取性能。
注意，该值过大(>2048)可能造成DataX进程OOM。。
必选：否
默认值：1024
3.3 类型转换
目前SqlServerReader支持大部分SqlServer类型，但也存在部分个别类型没有支持的情况，请注意检查你的类型。
下面列出SqlServerReader针对SqlServer类型转换列表:
DataX内部类型SqlServer数据类型
Long bigint, int, smallint, tinyint
Double float, decimal, real, numeric
String char,nchar,ntext,nvarchar,text,varchar,nvarchar(MAX),varchar(MAX)
Date date, datetime, time
Boolean bit
Bytes binary,varbinary,varbinary(MAX),timestamp
请注意:
除上述罗列字段类型外，其他类型均不支持。
timestamp类型作为二进制类型。
4 约束限制
4.1 主备同步数据恢复问题
主备同步问题指SqlServer使用主从灾备，备库从主库不间断通过binlog恢复数据。由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，导致从备库同步的数据不是一份当前时间的完整镜像。
针对这个问题，我们提供了preSql功能，该功能待补充。
4.2 一致性约束
SqlServer在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询接口。例如当一次同步任务启动运行过程中，当该库存在其他数据写入方写入数据时，SqlServerReader完全不会获取到写入更新数据，这是由于数据库本身的快照特性决定的。关于数据库快照特性，请参看MVCC Wikipedia
上述是在SqlServerReader单线程模型下数据同步一致性的特性，由于SqlServerReader可以根据用户配置信息使用了并发数据抽取，因此不能严格保证数据一致性：当SqlServerReader根据splitPk进行数据切分后，会先后启动多个并发任务完成数据同步。由于多个并发任务相互之间不属于同一个读事务，同时多个并发任务存在时间间隔。因此这份数据并不是完整的、一致的数据快照信息。
针对多线程的一致性快照需求，在技术上目前无法实现，只能从工程角度解决，工程化的方式存在取舍，我们提供几个解决思路给用户，用户可以自行选择：
使用单线程同步，即不再进行数据切片。缺点是速度比较慢，但是能够很好保证一致性。
关闭其他数据写入方，保证当前数据为静态数据，例如，锁表、关闭备库同步等等。缺点是可能影响在线业务。
4.3 数据库编码问题
SqlServerReader底层使用JDBC进行数据抽取，JDBC天然适配各类编码，并在底层进行了编码转换。因此SqlServerReader不需用户指定编码，可以自动识别编码并转码。
4.4 增量数据同步
SqlServerReader使用JDBC SELECT语句完成数据抽取工作，因此可以使用SELECT...WHERE...进行增量数据抽取，方式有多种：
数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除(逻辑删)。对于这类应用，SqlServerReader只需要WHERE条件跟上一同步阶段时间戳即可。
对于新增流水型数据，SqlServerReader可以WHERE条件后跟上一阶段最大自增ID即可。
对于业务上无字段区分新增、修改数据情况，SqlServerReader也无法进行增量数据同步，只能同步全量数据。
4.5 Sql安全性
SqlServerReader提供querySql语句交给用户自己实现SELECT抽取语句，SqlServerReader本身对querySql不做任何安全性校验。这块交由DataX用户方自己保证。
*****************************DataX MysqlWriter 插件文档********************************
1 快速介绍
MysqlWriter 插件实现了写入数据到 Mysql 主库的目的表的功能。在底层实现上， MysqlWriter 通过 JDBC 连接远程 Mysql 数据库，并执行相应的 insert into ... 或者 ( replace into ...) 的 sql 语句将数据写入 Mysql，内部会分批次提交入库，需要数据库本身采用 innodb 引擎。
MysqlWriter 面向ETL开发工程师，他们使用 MysqlWriter 从数仓导入数据到 Mysql。同时 MysqlWriter 亦可以作为数据迁移工具为DBA等用户提供服务。
2 实现原理
MysqlWriter 通过 DataX 框架获取 Reader 生成的协议数据，根据你配置的 writeMode 生成
insert into...(当主键/唯一性索引冲突时会写不进去冲突的行)
或者
replace into...(没有遇到主键/唯一性索引冲突时，与 insert into 行为一致，冲突时会用新行替换原有行所有字段) 的语句写入数据到 Mysql。出于性能考虑，采用了 PreparedStatement + Batch，并且设置了：rewriteBatchedStatements=true，将数据缓冲到线程上下文 Buffer 中，当 Buffer 累计到预定阈值时，才发起写入请求。
注意：目的表所在数据库必须是主库才能写入数据；整个任务至少需要具备 insert/replace into...的权限，是否需要其他权限，取决于你任务配置中在 preSql 和 postSql 中指定的语句。
3 参数说明
jdbcUrl
描述：目的数据库的 JDBC 连接信息。作业运行时，DataX 会在你提供的 jdbcUrl 后面追加如下属性：yearIsDateType=false&zeroDateTimeBehavior=convertToNull&rewriteBatchedStatements=true
注意：1、在一个数据库上只能配置一个 jdbcUrl 值。这与 MysqlReader 支持多个备库探测不同，因为此处不支持同一个数据库存在多个主库的情况(双主导入数据情况)
2、jdbcUrl按照Mysql官方规范，并可以填写连接附加控制信息，比如想指定连接编码为 gbk ，则在 jdbcUrl 后面追加属性 useUnicode=true&characterEncoding=gbk。具体请参看 Mysql官方文档或者咨询对应 DBA。
必选：是
默认值：无
username
描述：目的数据库的用户名
必选：是
默认值：无
password
描述：目的数据库的密码
必选：是
默认值：无
table
描述：目的表的表名称。支持写入一个或者多个表。当配置为多张表时，必须确保所有表结构保持一致。
注意：table 和 jdbcUrl 必须包含在 connection 配置单元中
必选：是
默认值：无
column
描述：目的表需要写入数据的字段,字段之间用英文逗号分隔。例如: "column": ["id","name","age"]。如果要依次写入全部列，使用表示, 例如: "column": [""]。
**column配置项必须指定，不能留空！**
注意：1、我们强烈不推荐你这样配置，因为当你目的表字段个数、类型等有改动时，你的任务可能运行不正确或者失败
2、 column 不能配置任何常量值
必选：是
默认值：否
session
描述: DataX在获取Mysql连接时，执行session指定的SQL语句，修改当前connection session属性
必须: 否
默认值: 空
preSql
描述：写入数据到目的表前，会先执行这里的标准语句。如果 Sql 中有你需要操作到的表名称，请使用 @table 表示，这样在实际执行 Sql 语句时，会对变量按照实际表名称进行替换。比如你的任务是要写入到目的端的100个同构分表(表名称为:datax_00,datax01, ... datax_98,datax_99)，并且你希望导入数据前，先对表中数据进行删除操作，那么你可以这样配置："preSql":["delete from 表名"]，效果是：在执行到每个表写入数据前，会先执行对应的 delete from 对应表名称
必选：否
默认值：无
postSql
描述：写入数据到目的表后，会执行这里的标准语句。（原理同 preSql ）
必选：否
默认值：无
writeMode
描述：控制写入数据到目标表采用 insert into 或者 replace into 或者 ON DUPLICATE KEY UPDATE 语句
必选：是
所有选项：insert/replace/update
默认值：insert
batchSize
描述：一次性批量提交的记录数大小，该值可以极大减少DataX与Mysql的网络交互次数，并提升整体吞吐量。但是该值设置过大可能会造成DataX运行进程OOM情况。
必选：否
默认值：1024
3.3 类型转换
类似 MysqlReader ，目前 MysqlWriter 支持大部分 Mysql 类型，但也存在部分个别类型没有支持的情况，请注意检查你的类型。
下面列出 MysqlWriter 针对 Mysql 类型转换列表:
DataX内部类型 Mysql数据类型
Long int, tinyint, smallint, mediumint, int, bigint, year
Double float, double, decimal
String varchar, char, tinytext, text, mediumtext, longtext
Date date, datetime, timestamp, time
Boolean bit, bool
Bytes tinyblob, mediumblob, blob, longblob, varbinary
bit类型目前是未定义类型转换
更详细的配置参考官方wiki：
https://github.com/alibaba/DataX/wiki/DataX-all-data-channels
Transformer的使用见下：
https://github.com/alibaba/DataX/blob/master/transformer/doc/transformer.md
把上面的json配置文件保存至/usr/local/datax/job/目录下并命名为sqltomysql.json
进入/usr/local/datax/bin目录，执行
# python datax.py /usr/local/datax/job/sqltomysql.json
DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2016, Alibaba Group. All Rights Reserved.
2017-03-03 17:22:24.477 [main] INFO VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
2017-03-03 17:22:24.499 [main] INFO Engine - the machine info =>
osInfo:Oracle Corporation 1.8 25.121-b13
jvmInfo:Linux amd64 3.10.0-327.el7.x86_64
cpu num:2
totalPhysicalMemory:-0.00G
freePhysicalMemory:-0.00G
maxFileDescriptorCount:-1
currentOpenFileDescriptorCount:-1
GC Names[Copy, MarkSweepCompact]
MEMORY_NAME | allocation_size | init_size
Eden Space | 273.06MB | 273.06MB
Code Cache | 240.00MB | 2.44MB
Survivor Space | 34.13MB | 34.13MB
Compressed Class Space | 1,024.00MB | 0.00MB
Metaspace | -0.00MB | 0.00MB
Tenured Gen | 682.69MB | 682.69MB
2017-03-03 17:22:24.535 [main] INFO Engine -
{
"content":[
{
"reader":{
"name":"sqlserverreader",
"parameter":{
"column":[
"*"
],
"connection":[
{
"jdbcUrl":[
"jdbc:sqlserver://192.168.2.214:1433;DatabaseName=test01"
],
"table":[
"name"
]
}
],
"password":"******",
"username":"sa"
}
},
"writer":{
"name":"mysqlwriter",
"parameter":{
"column":[
"*"
],
"connection":[
{
"jdbcUrl":"jdbc:mysql://192.168.2.5:3306/test01?useUnicode=true&characterEncoding=utf8",
"table":[
"name"
]
}
],
"password":"******",
"username":"root",
"writeMode":"insert"
}
}
}
],
"setting":{
"speed":{
"byte":1048576,
"channel":"5"
}
}
}
2017-03-03 17:22:24.562 [main] WARN Engine - prioriy set to 0, because NumberFormatException, the value is: null
2017-03-03 17:22:24.565 [main] INFO PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2017-03-03 17:22:24.565 [main] INFO JobContainer - DataX jobContainer starts job.
2017-03-03 17:22:24.568 [main] INFO JobContainer - Set jobId = 0
2017-03-03 17:22:25.212 [job-0] INFO OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:sqlserver://192.168.2.214:1433;DatabaseName=test01.
2017-03-03 17:22:25.213 [job-0] WARN OriginalConfPretreatmentUtil - 您的配置文件中的列配置存在一定的风险. 因为您未配置读取数据库表的列，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.
2017-03-03 17:22:25.742 [job-0] INFO OriginalConfPretreatmentUtil - table:[name] all columns:[
id,name
].
2017-03-03 17:22:25.743 [job-0] WARN OriginalConfPretreatmentUtil - 您的配置文件中的列配置信息存在风险. 因为您配置的写入数据库表的列为*，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.
2017-03-03 17:22:25.746 [job-0] INFO OriginalConfPretreatmentUtil - Write data [
insert INTO %s (id,name) VALUES(?,?)
], which jdbcUrl like:[jdbc:mysql://192.168.2.5:3306/test01?useUnicode=true&characterEncoding=utf8&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true]
2017-03-03 17:22:25.747 [job-0] INFO JobContainer - jobContainer starts to do prepare ...
2017-03-03 17:22:25.747 [job-0] INFO JobContainer - DataX Reader.Job [sqlserverreader] do prepare work .
2017-03-03 17:22:25.748 [job-0] INFO JobContainer - DataX Writer.Job [mysqlwriter] do prepare work .
2017-03-03 17:22:25.749 [job-0] INFO JobContainer - jobContainer starts to do split ...
2017-03-03 17:22:25.750 [job-0] INFO JobContainer - Job set Max-Byte-Speed to 1048576 bytes.
2017-03-03 17:22:25.755 [job-0] INFO JobContainer - DataX Reader.Job [sqlserverreader] splits to [1] tasks.
2017-03-03 17:22:25.757 [job-0] INFO JobContainer - DataX Writer.Job [mysqlwriter] splits to [1] tasks.
2017-03-03 17:22:25.779 [job-0] INFO JobContainer - jobContainer starts to do schedule ...
2017-03-03 17:22:25.785 [job-0] INFO JobContainer - Scheduler starts [1] taskGroups.
2017-03-03 17:22:25.788 [job-0] INFO JobContainer - Running by standalone Mode.
2017-03-03 17:22:25.797 [taskGroup-0] INFO TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
2017-03-03 17:22:25.803 [taskGroup-0] INFO Channel - Channel set byte_speed_limit to -1, No bps activated.
2017-03-03 17:22:25.804 [taskGroup-0] INFO Channel - Channel set record_speed_limit to -1, No tps activated.
2017-03-03 17:22:25.825 [taskGroup-0] INFO TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
2017-03-03 17:22:25.831 [0-0-0-reader] INFO CommonRdbmsReader$Task - Begin to read record by Sql: [select * from name
] jdbcUrl:[jdbc:sqlserver://192.168.2.214:1433;DatabaseName=test01].
2017-03-03 17:22:26.027 [0-0-0-reader] INFO CommonRdbmsReader$Task - Finished read record by Sql: [select * from name
] jdbcUrl:[jdbc:sqlserver://192.168.2.214:1433;DatabaseName=test01].
2017-03-03 17:22:26.128 [taskGroup-0] INFO TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[311]ms
2017-03-03 17:22:26.130 [taskGroup-0] INFO TaskGroupContainer - taskGroup[0] completed it‘s tasks.
2017-03-03 17:22:35.815 [job-0] INFO StandAloneJobContainerCommunicator - Total 2 records, 42 bytes | Speed 4B/s, 0 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 0.000s | All Task WaitReaderTime 0.000s | Percentage 100.00%
2017-03-03 17:22:35.816 [job-0] INFO AbstractScheduler - Scheduler accomplished all tasks.
2017-03-03 17:22:35.817 [job-0] INFO JobContainer - DataX Writer.Job [mysqlwriter] do post work.
2017-03-03 17:22:35.818 [job-0] INFO JobContainer - DataX Reader.Job [sqlserverreader] do post work.
2017-03-03 17:22:35.819 [job-0] INFO JobContainer - DataX jobId [0] completed successfully.
2017-03-03 17:22:35.821 [job-0] INFO HookInvoker - No hook invoked, because base dir not exists or is a file: /usr/local/datax/hook
2017-03-03 17:22:35.825 [job-0] INFO JobContainer -
[total cpu info] =>
averageCpu | maxDeltaCpu | minDeltaCpu
-1.00% | -1.00% | -1.00%
[total gc info] =>
NAME | totalGCCount | maxDeltaGCCount | minDeltaGCCount | totalGCTime | maxDeltaGCTime | minDeltaGCTime
Copy | 0 | 0 | 0 | 0.000s | 0.000s | 0.000s
MarkSweepCompact | 0 | 0 | 0 | 0.000s | 0.000s | 0.000s
2017-03-03 17:22:35.825 [job-0] INFO JobContainer - PerfTrace not enable!
2017-03-03 17:22:35.826 [job-0] INFO StandAloneJobContainerCommunicator - Total 2 records, 42 bytes | Speed 4B/s, 0 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 0.000s | All Task WaitReaderTime 0.000s | Percentage 100.00%
2017-03-03 17:22:35.828 [job-0] INFO JobContainer -
任务启动时刻 : 2017-03-03 17:22:24
任务结束时刻 : 2017-03-03 17:22:35
任务总计耗时 : 11s
任务平均流量 : 4B/s
记录写入速度 : 0rec/s
读出记录总数 : 2
读写失败总数 : 0
检查验证mysql数据库，查询test01数据库name表
mysql> SELECT id,name FROM table name;
+------+-------+
| id | name |
+------+-------+
| 1 | test |
| 2 | test0 |
+------+-------+
2 rows in set (0.00 sec)
更多实际应用结合DataX Transformer在数据同步、传输过程中，存在用户对于数据传输进行特殊定制化的需求场景，包括裁剪列、转换列等工作，可以借助ETL的T过程实现(Transformer)。DataX包含了完成的E(Extract)、T(Transformer)、L(Load)支持。
本文出自 “一万小时定律” 博客，请务必保留此出处http://daisywei.blog.51cto.com/7837970/1903085
标签：json etl datax sqlserverreader mysqlwriter
原文：http://daisywei.blog.51cto.com/7837970/1903085
DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换，由淘宝数据平台部门完成。
DataX插件分为Reader和Writer两类。Reader负责从数据源端读取数据到Storage（交换空间），Writer负责将Storage中的数据写入到数据目的端。Storage可以适配不同种类的Reader和Writer，从而实现数据同步.
目前DataX版本已经提供的Reader插件如下：
1、 hdfsreader : 支持从hdfs文件系统获取数据。
2、mysqlreader: 支持从mysql数据库获取数据。
3、 sqlserverreader: 支持从sqlserver数据库获取数据。
4、 oraclereader : 支持从oracle数据库获取数据。
5、 streamreader: 支持从stream流获取数据（常用于测试）
6、httpreader : 支持从http URL获取数据。
提供的Writer插件如下：
1、 hdfswriter ：支持向hdbf写入数据。
2、 mysqlwriter ：支持向mysql写入数据。
3、 sqlserverwriter：支持向sqlserver写入数据。
4、 oraclewriter ：支持向oracle写入数据。
5、 streamwriter ：支持向stream流写入数据。（常用于测试）
DataX 3.0每一种读插件都有一种或多种切分策略，都能将作业合理切分成多个Task并行执行，单机多线程执行模型可以让DataX速度随并发成线性增长。 在源端和目的端性能都足够的情况下，单个作业一定可以打满网卡。
环境准备：
centos 7.2
python 2.7.5
工具包：datax.tar.gz (3.0)
SQL SERVER JDBC驱动:sqljdbc_6.0
JAVA环境准备:
# yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel #安装openjdk
标准方式配置环境变量：
# vim /etc/profile
将下面的三行粘贴到 /etc/profile中：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
下载datax，解压缩，赋权限，及运行样例同步作业命令
# wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
# tar -zxvf datax.tar.gz -C /usr/local/
# chmod -R 755 /usr/local/datax/*
# cd /usr/local/datax
# python datax.py ../job/job.json
2017-03-02 18:15:10.864 [main] INFO Engine - the machine info =>
osInfo:Oracle Corporation 1.8 25.121-b13
jvmInfo:Linux amd64 3.10.0-327.el7.x86_64
cpu num:2
totalPhysicalMemory:-0.00G
freePhysicalMemory:-0.00G
maxFileDescriptorCount:-1
currentOpenFileDescriptorCount:-1
GC Names[Copy, MarkSweepCompact]
MEMORY_NAME | allocation_size | init_size
Eden Space | 273.06MB | 273.06MB
Code Cache | 240.00MB | 2.44MB
Survivor Space | 34.13MB | 34.13MB
Compressed Class Space | 1,024.00MB | 0.00MB
Metaspace | -0.00MB | 0.00MB
Tenured Gen | 682.69MB | 682.69MB
2017-03-02 18:15:21.095 [job-0] INFO JobContainer -
任务启动时刻 : 2017-03-02 18:15:10
任务结束时刻 : 2017-03-02 18:15:21
任务总计耗时 : 10s
任务平均流量 : 253.91KB/s
记录写入速度 : 10000rec/s
读出记录总数 : 100000
读写失败总数 : 0
下载sqljdbc_6.0.8112.100_enu.tar.gz驱动:wget https://download.microsoft.com/download/0/2/A/02AAE597-3865-456C-AE7F-613F99F850A8/enu/sqljdbc_6.0.8112.100_enu.tar.gz
解压并把sqljdbc42.jar文件移至/usr/local/datax/lib目录下，并授权
#tar -xf sqljdbc_6.0.8112.100_enu.tar.gz
#mv /sqljdbc_6.0/enu/jre8/sqljdbc42.jar /usr/local/datax/lib/
#chmod 755 /usr/local/datax/lib/sqljdbc42.jar
配置文件部分
只要执行一个python脚本，传入一个json配置文件。在bin目录下已经给出了样例配置，不同的数据源配置文件不一样。
可以通过命令查看配置模板如下:
# python datax.py -r {YOUR_READER} -w {YOUR_WRITER}
# python datax.py -r sqlservereader -w mysqlwriter
以下示例从SQL SERVER 2008 读入，写入mysql:
测试数据库(sql server 2008数据库服务器为192.168.2.214)为test01；表为name
CREATE TABLE name(
id tinyint NULL,
name nchar(20) NULL
);
###########插入记录##############
INSERT INTO name VALUES (1,‘test‘),(2,‘test0‘)
json配置文件如下：
{
"job": {
"setting": {
"speed": {
//设置传输速度，单位为byte/s，DataX运行会尽可能达到该速度但是不超过它
"byte": 1048576,
"channel":"5",
}
},
"content": [
{
"reader": {
"name": "sqlserverreader",
"parameter": {
// 数据库连接用户名
"username": "sa",
// 数据库连接密码
"password": "123456",
"column": ["*"],
//"splitPk": "db_id",如果指定splitPk，表示用户希望使用splitPk代表的字段进行数据分片
"connection": [
{
"table": ["name"],
"jdbcUrl": ["jdbc:sqlserver://192.168.2.214:1433;DatabaseName=test01"]
}
]
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"writeMode": "insert",
"username": "root",
"password": "111111",
"column":["*"],
"connection": [
{
"table": ["name"],
"jdbcUrl": "jdbc:mysql://192.168.2.5:3306/test01?useUnicode=true&characterEncoding=utf8"
}
]
}
}
}
]
}
}
job.setting.speed(流量控制)
Job支持用户对速度的自定义控制，channel的值可以控制同步时的并发数，byte的值可以控制同步时的速度
job.setting.errorLimit(脏数据控制)
Job支持用户对于脏数据的自定义监控和告警，包括对脏数据最大记录数阈值（record值）或者脏数据占比阈值（percentage值），当Job传输过程出现的脏数据大于用户指定的数量/百分比，DataX Job报错退出。
*******************SqlServerReader 插件文档****************************
1 快速介绍
SqlServerReader插件实现了从SqlServer读取数据。在底层实现上，SqlServerReader通过JDBC连接远程SqlServer数据库，并执行相应的sql语句将数据从SqlServer库中SELECT出来。
2 实现原理
简而言之，SqlServerReader通过JDBC连接器连接到远程的SqlServer数据库，并根据用户配置的信息生成查询SELECT SQL语句并发送到远程SqlServer数据库，并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集，并传递给下游Writer处理。
对于用户配置Table、Column、Where的信息，SqlServerReader将其拼接为SQL语句发送到SqlServer数据库；对于用户配置querySql信息，SqlServer直接将其发送到SqlServer数据库。
3 参数说明
jdbcUrl
描述：描述的是到对端数据库的JDBC连接信息，使用JSON的数组描述，并支持一个库填写多个连接地址。之所以使用JSON数组描述连接信息，是因为阿里集团内部支持多个IP探测，如果配置了多个，SqlServerReader可以依次探测ip的可连接性，直到选择一个合法的IP。如果全部连接失败，SqlServerReader报错。 注意，jdbcUrl必须包含在connection配置单元中。对于阿里集团外部使用情况，JSON数组填写一个JDBC连接即可。
jdbcUrl按照SqlServer官方规范，并可以填写连接附件控制信息。具体请参看SqlServer官方文档。
必选：是
默认值：无
username
描述：数据源的用户名
必选：是
默认值：无
password
描述：数据源指定用户名的密码
必选：是
默认值：无
table
描述：所选取的需要同步的表。使用JSON的数组描述，因此支持多张表同时抽取。当配置为多张表时，用户自己需保证多张表是同一schema结构，SqlServerReader不予检查表是否同一逻辑表。注意，table必须包含在connection配置单元中。
必选：是
默认值：无
column
描述：所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。用户使用*代表默认使用所有列配置，例如["*"]。
支持列裁剪，即列可以挑选部分列进行导出。
支持列换序，即列可以不按照表schema信息进行导出。
支持常量配置，用户需要按照JSON格式: ["id", "[table]", "1", "‘bazhen.csy‘", "null", "COUNT(*)", "2.3" , "true"] id为普通列名，[table]为包含保留在的列名，1为整形数字常量，‘bazhen.csy‘为字符串常量，null为空指针，to_char(a + 1)为表达式，2.3为浮点数，true为布尔值。
column必须用户显示指定同步的列集合，不允许为空！
必选：是
默认值：无
splitPk
描述：SqlServerReader进行数据抽取时，如果指定splitPk，表示用户希望使用splitPk代表的字段进行数据分片，DataX因此会启动并发任务进行数据同步，这样可以大大提供数据同步的效能。
推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。
目前splitPk仅支持整形型数据切分，不支持浮点、字符串、日期等其他类型。如果用户指定其他非支持类型，SqlServerReader将报错！
splitPk设置为空，底层将视作用户不允许对单表进行切分，因此使用单通道进行抽取。
必选：否
默认值：无
where
描述：筛选条件，SqlServerReader根据指定的column、table、where条件拼接SQL，并根据这个SQL进行数据抽取。例如在做测试时，可以将where条件指定为limit 10；在实际业务场景中，往往会选择当天的数据进行同步，可以将where条件指定为gmt_create > $bizdate 。
where条件可以有效地进行业务增量同步。如果该值为空，代表同步全表所有的信息。
必选：否
默认值：无
querySql
描述：在有些业务场景下，where这一配置项不足以描述所筛选的条件，用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后，DataX系统就会忽略table，column这些配置型，直接使用这个配置项的内容对数据进行筛选，例如需要进行多表join后同步数据，使用select a,b from table_a join table_b on table_a.id = table_b.id
当用户配置querySql时，SqlServerReader直接忽略table、column、where条件的配置。
必选：否
默认值：无
fetchSize
描述：该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了DataX和服务器端的网络交互次数，能够较大的提升数据抽取性能。
注意，该值过大(>2048)可能造成DataX进程OOM。。
必选：否
默认值：1024
3.3 类型转换
目前SqlServerReader支持大部分SqlServer类型，但也存在部分个别类型没有支持的情况，请注意检查你的类型。
下面列出SqlServerReader针对SqlServer类型转换列表:
DataX内部类型SqlServer数据类型
Long bigint, int, smallint, tinyint
Double float, decimal, real, numeric
String char,nchar,ntext,nvarchar,text,varchar,nvarchar(MAX),varchar(MAX)
Date date, datetime, time
Boolean bit
Bytes binary,varbinary,varbinary(MAX),timestamp
请注意:
除上述罗列字段类型外，其他类型均不支持。
timestamp类型作为二进制类型。
4 约束限制
4.1 主备同步数据恢复问题
主备同步问题指SqlServer使用主从灾备，备库从主库不间断通过binlog恢复数据。由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，导致从备库同步的数据不是一份当前时间的完整镜像。
针对这个问题，我们提供了preSql功能，该功能待补充。
4.2 一致性约束
SqlServer在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询接口。例如当一次同步任务启动运行过程中，当该库存在其他数据写入方写入数据时，SqlServerReader完全不会获取到写入更新数据，这是由于数据库本身的快照特性决定的。关于数据库快照特性，请参看MVCC Wikipedia
上述是在SqlServerReader单线程模型下数据同步一致性的特性，由于SqlServerReader可以根据用户配置信息使用了并发数据抽取，因此不能严格保证数据一致性：当SqlServerReader根据splitPk进行数据切分后，会先后启动多个并发任务完成数据同步。由于多个并发任务相互之间不属于同一个读事务，同时多个并发任务存在时间间隔。因此这份数据并不是完整的、一致的数据快照信息。
针对多线程的一致性快照需求，在技术上目前无法实现，只能从工程角度解决，工程化的方式存在取舍，我们提供几个解决思路给用户，用户可以自行选择：
使用单线程同步，即不再进行数据切片。缺点是速度比较慢，但是能够很好保证一致性。
关闭其他数据写入方，保证当前数据为静态数据，例如，锁表、关闭备库同步等等。缺点是可能影响在线业务。
4.3 数据库编码问题
SqlServerReader底层使用JDBC进行数据抽取，JDBC天然适配各类编码，并在底层进行了编码转换。因此SqlServerReader不需用户指定编码，可以自动识别编码并转码。
4.4 增量数据同步
SqlServerReader使用JDBC SELECT语句完成数据抽取工作，因此可以使用SELECT...WHERE...进行增量数据抽取，方式有多种：
数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除(逻辑删)。对于这类应用，SqlServerReader只需要WHERE条件跟上一同步阶段时间戳即可。
对于新增流水型数据，SqlServerReader可以WHERE条件后跟上一阶段最大自增ID即可。
对于业务上无字段区分新增、修改数据情况，SqlServerReader也无法进行增量数据同步，只能同步全量数据。
4.5 Sql安全性
SqlServerReader提供querySql语句交给用户自己实现SELECT抽取语句，SqlServerReader本身对querySql不做任何安全性校验。这块交由DataX用户方自己保证。
*****************************DataX MysqlWriter 插件文档********************************
1 快速介绍
MysqlWriter 插件实现了写入数据到 Mysql 主库的目的表的功能。在底层实现上， MysqlWriter 通过 JDBC 连接远程 Mysql 数据库，并执行相应的 insert into ... 或者 ( replace into ...) 的 sql 语句将数据写入 Mysql，内部会分批次提交入库，需要数据库本身采用 innodb 引擎。
MysqlWriter 面向ETL开发工程师，他们使用 MysqlWriter 从数仓导入数据到 Mysql。同时 MysqlWriter 亦可以作为数据迁移工具为DBA等用户提供服务。
2 实现原理
MysqlWriter 通过 DataX 框架获取 Reader 生成的协议数据，根据你配置的 writeMode 生成
insert into...(当主键/唯一性索引冲突时会写不进去冲突的行)
或者
replace into...(没有遇到主键/唯一性索引冲突时，与 insert into 行为一致，冲突时会用新行替换原有行所有字段) 的语句写入数据到 Mysql。出于性能考虑，采用了 PreparedStatement + Batch，并且设置了：rewriteBatchedStatements=true，将数据缓冲到线程上下文 Buffer 中，当 Buffer 累计到预定阈值时，才发起写入请求。
注意：目的表所在数据库必须是主库才能写入数据；整个任务至少需要具备 insert/replace into...的权限，是否需要其他权限，取决于你任务配置中在 preSql 和 postSql 中指定的语句。
3 参数说明
jdbcUrl
描述：目的数据库的 JDBC 连接信息。作业运行时，DataX 会在你提供的 jdbcUrl 后面追加如下属性：yearIsDateType=false&zeroDateTimeBehavior=convertToNull&rewriteBatchedStatements=true
注意：1、在一个数据库上只能配置一个 jdbcUrl 值。这与 MysqlReader 支持多个备库探测不同，因为此处不支持同一个数据库存在多个主库的情况(双主导入数据情况)
2、jdbcUrl按照Mysql官方规范，并可以填写连接附加控制信息，比如想指定连接编码为 gbk ，则在 jdbcUrl 后面追加属性 useUnicode=true&characterEncoding=gbk。具体请参看 Mysql官方文档或者咨询对应 DBA。
必选：是
默认值：无
username
描述：目的数据库的用户名
必选：是
默认值：无
password
描述：目的数据库的密码
必选：是
默认值：无
table
描述：目的表的表名称。支持写入一个或者多个表。当配置为多张表时，必须确保所有表结构保持一致。
注意：table 和 jdbcUrl 必须包含在 connection 配置单元中
必选：是
默认值：无
column
描述：目的表需要写入数据的字段,字段之间用英文逗号分隔。例如: "column": ["id","name","age"]。如果要依次写入全部列，使用表示, 例如: "column": [""]。
**column配置项必须指定，不能留空！**
注意：1、我们强烈不推荐你这样配置，因为当你目的表字段个数、类型等有改动时，你的任务可能运行不正确或者失败
2、 column 不能配置任何常量值
必选：是
默认值：否
session
描述: DataX在获取Mysql连接时，执行session指定的SQL语句，修改当前connection session属性
必须: 否
默认值: 空
preSql
描述：写入数据到目的表前，会先执行这里的标准语句。如果 Sql 中有你需要操作到的表名称，请使用 @table 表示，这样在实际执行 Sql 语句时，会对变量按照实际表名称进行替换。比如你的任务是要写入到目的端的100个同构分表(表名称为:datax_00,datax01, ... datax_98,datax_99)，并且你希望导入数据前，先对表中数据进行删除操作，那么你可以这样配置："preSql":["delete from 表名"]，效果是：在执行到每个表写入数据前，会先执行对应的 delete from 对应表名称
必选：否
默认值：无
postSql
描述：写入数据到目的表后，会执行这里的标准语句。（原理同 preSql ）
必选：否
默认值：无
writeMode
描述：控制写入数据到目标表采用 insert into 或者 replace into 或者 ON DUPLICATE KEY UPDATE 语句
必选：是
所有选项：insert/replace/update
默认值：insert
batchSize
描述：一次性批量提交的记录数大小，该值可以极大减少DataX与Mysql的网络交互次数，并提升整体吞吐量。但是该值设置过大可能会造成DataX运行进程OOM情况。
必选：否
默认值：1024
3.3 类型转换
类似 MysqlReader ，目前 MysqlWriter 支持大部分 Mysql 类型，但也存在部分个别类型没有支持的情况，请注意检查你的类型。
下面列出 MysqlWriter 针对 Mysql 类型转换列表:
DataX内部类型 Mysql数据类型
Long int, tinyint, smallint, mediumint, int, bigint, year
Double float, double, decimal
String varchar, char, tinytext, text, mediumtext, longtext
Date date, datetime, timestamp, time
Boolean bit, bool
Bytes tinyblob, mediumblob, blob, longblob, varbinary
bit类型目前是未定义类型转换
更详细的配置参考官方wiki：
https://github.com/alibaba/DataX/wiki/DataX-all-data-channels
Transformer的使用见下：
https://github.com/alibaba/DataX/blob/master/transformer/doc/transformer.md
把上面的json配置文件保存至/usr/local/datax/job/目录下并命名为sqltomysql.json
进入/usr/local/datax/bin目录，执行
# python datax.py /usr/local/datax/job/sqltomysql.json
DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2016, Alibaba Group. All Rights Reserved.
2017-03-03 17:22:24.477 [main] INFO VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
2017-03-03 17:22:24.499 [main] INFO Engine - the machine info =>
osInfo:Oracle Corporation 1.8 25.121-b13
jvmInfo:Linux amd64 3.10.0-327.el7.x86_64
cpu num:2
totalPhysicalMemory:-0.00G
freePhysicalMemory:-0.00G
maxFileDescriptorCount:-1
currentOpenFileDescriptorCount:-1
GC Names[Copy, MarkSweepCompact]
MEMORY_NAME | allocation_size | init_size
Eden Space | 273.06MB | 273.06MB
Code Cache | 240.00MB | 2.44MB
Survivor Space | 34.13MB | 34.13MB
Compressed Class Space | 1,024.00MB | 0.00MB
Metaspace | -0.00MB | 0.00MB
Tenured Gen | 682.69MB | 682.69MB
2017-03-03 17:22:24.535 [main] INFO Engine -
{
"content":[
{
"reader":{
"name":"sqlserverreader",
"parameter":{
"column":[
"*"
],
"connection":[
{
"jdbcUrl":[
"jdbc:sqlserver://192.168.2.214:1433;DatabaseName=test01"
],
"table":[
"name"
]
}
],
"password":"******",
"username":"sa"
}
},
"writer":{
"name":"mysqlwriter",
"parameter":{
"column":[
"*"
],
"connection":[
{
"jdbcUrl":"jdbc:mysql://192.168.2.5:3306/test01?useUnicode=true&characterEncoding=utf8",
"table":[
"name"
]
}
],
"password":"******",
"username":"root",
"writeMode":"insert"
}
}
}
],
"setting":{
"speed":{
"byte":1048576,
"channel":"5"
}
}
}
2017-03-03 17:22:24.562 [main] WARN Engine - prioriy set to 0, because NumberFormatException, the value is: null
2017-03-03 17:22:24.565 [main] INFO PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2017-03-03 17:22:24.565 [main] INFO JobContainer - DataX jobContainer starts job.
2017-03-03 17:22:24.568 [main] INFO JobContainer - Set jobId = 0
2017-03-03 17:22:25.212 [job-0] INFO OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:sqlserver://192.168.2.214:1433;DatabaseName=test01.
2017-03-03 17:22:25.213 [job-0] WARN OriginalConfPretreatmentUtil - 您的配置文件中的列配置存在一定的风险. 因为您未配置读取数据库表的列，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.
2017-03-03 17:22:25.742 [job-0] INFO OriginalConfPretreatmentUtil - table:[name] all columns:[
id,name
].
2017-03-03 17:22:25.743 [job-0] WARN OriginalConfPretreatmentUtil - 您的配置文件中的列配置信息存在风险. 因为您配置的写入数据库表的列为*，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.
2017-03-03 17:22:25.746 [job-0] INFO OriginalConfPretreatmentUtil - Write data [
insert INTO %s (id,name) VALUES(?,?)
], which jdbcUrl like:[jdbc:mysql://192.168.2.5:3306/test01?useUnicode=true&characterEncoding=utf8&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true]
2017-03-03 17:22:25.747 [job-0] INFO JobContainer - jobContainer starts to do prepare ...
2017-03-03 17:22:25.747 [job-0] INFO JobContainer - DataX Reader.Job [sqlserverreader] do prepare work .
2017-03-03 17:22:25.748 [job-0] INFO JobContainer - DataX Writer.Job [mysqlwriter] do prepare work .
2017-03-03 17:22:25.749 [job-0] INFO JobContainer - jobContainer starts to do split ...
2017-03-03 17:22:25.750 [job-0] INFO JobContainer - Job set Max-Byte-Speed to 1048576 bytes.
2017-03-03 17:22:25.755 [job-0] INFO JobContainer - DataX Reader.Job [sqlserverreader] splits to [1] tasks.
2017-03-03 17:22:25.757 [job-0] INFO JobContainer - DataX Writer.Job [mysqlwriter] splits to [1] tasks.
2017-03-03 17:22:25.779 [job-0] INFO JobContainer - jobContainer starts to do schedule ...
2017-03-03 17:22:25.785 [job-0] INFO JobContainer - Scheduler starts [1] taskGroups.
2017-03-03 17:22:25.788 [job-0] INFO JobContainer - Running by standalone Mode.
2017-03-03 17:22:25.797 [taskGroup-0] INFO TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
2017-03-03 17:22:25.803 [taskGroup-0] INFO Channel - Channel set byte_speed_limit to -1, No bps activated.
2017-03-03 17:22:25.804 [taskGroup-0] INFO Channel - Channel set record_speed_limit to -1, No tps activated.
2017-03-03 17:22:25.825 [taskGroup-0] INFO TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
2017-03-03 17:22:25.831 [0-0-0-reader] INFO CommonRdbmsReader$Task - Begin to read record by Sql: [select * from name
] jdbcUrl:[jdbc:sqlserver://192.168.2.214:1433;DatabaseName=test01].
2017-03-03 17:22:26.027 [0-0-0-reader] INFO CommonRdbmsReader$Task - Finished read record by Sql: [select * from name
] jdbcUrl:[jdbc:sqlserver://192.168.2.214:1433;DatabaseName=test01].
2017-03-03 17:22:26.128 [taskGroup-0] INFO TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[311]ms
2017-03-03 17:22:26.130 [taskGroup-0] INFO TaskGroupContainer - taskGroup[0] completed it‘s tasks.
2017-03-03 17:22:35.815 [job-0] INFO StandAloneJobContainerCommunicator - Total 2 records, 42 bytes | Speed 4B/s, 0 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 0.000s | All Task WaitReaderTime 0.000s | Percentage 100.00%
2017-03-03 17:22:35.816 [job-0] INFO AbstractScheduler - Scheduler accomplished all tasks.
2017-03-03 17:22:35.817 [job-0] INFO JobContainer - DataX Writer.Job [mysqlwriter] do post work.
2017-03-03 17:22:35.818 [job-0] INFO JobContainer - DataX Reader.Job [sqlserverreader] do post work.
2017-03-03 17:22:35.819 [job-0] INFO JobContainer - DataX jobId [0] completed successfully.
2017-03-03 17:22:35.821 [job-0] INFO HookInvoker - No hook invoked, because base dir not exists or is a file: /usr/local/datax/hook
2017-03-03 17:22:35.825 [job-0] INFO JobContainer -
[total cpu info] =>
averageCpu | maxDeltaCpu | minDeltaCpu
-1.00% | -1.00% | -1.00%
[total gc info] =>
NAME | totalGCCount | maxDeltaGCCount | minDeltaGCCount | totalGCTime | maxDeltaGCTime | minDeltaGCTime
Copy | 0 | 0 | 0 | 0.000s | 0.000s | 0.000s
MarkSweepCompact | 0 | 0 | 0 | 0.000s | 0.000s | 0.000s
2017-03-03 17:22:35.825 [job-0] INFO JobContainer - PerfTrace not enable!
2017-03-03 17:22:35.826 [job-0] INFO StandAloneJobContainerCommunicator - Total 2 records, 42 bytes | Speed 4B/s, 0 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 0.000s | All Task WaitReaderTime 0.000s | Percentage 100.00%
2017-03-03 17:22:35.828 [job-0] INFO JobContainer -
任务启动时刻 : 2017-03-03 17:22:24
任务结束时刻 : 2017-03-03 17:22:35
任务总计耗时 : 11s
任务平均流量 : 4B/s
记录写入速度 : 0rec/s
读出记录总数 : 2
读写失败总数 : 0
检查验证mysql数据库，查询test01数据库name表
mysql> SELECT id,name FROM table name;
+------+-------+
| id | name |
+------+-------+
| 1 | test |
| 2 | test0 |
+------+-------+
2 rows in set (0.00 sec)
更多实际应用结合DataX Transformer在数据同步、传输过程中，存在用户对于数据传输进行特殊定制化的需求场景，包括裁剪列、转换列等工作，可以借助ETL的T过程实现(Transformer)。DataX包含了完成的E(Extract)、T(Transformer)、L(Load)支持。
本文出自 “一万小时定律” 博客，请务必保留此出处http://daisywei.blog.51cto.com/7837970/1903085
标签：json etl datax sqlserverreader mysqlwriter
原文：http://daisywei.blog.51cto.com/7837970/1903085
ETL工具--DataX3.0实战的更多相关文章
- 阿里ETL工具datax学习（一）
阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL.Oracle等).HDFS.Hive.Ma ...
- 三大主流ETL工具选型 分类： H2_ORACLE 2013-08-23 11:17 426人阅读 评论(0) 收藏
ETL(extract, transform and load)产品乍看起来似乎并不起眼,单就此项技术本身而言,几乎也没什么特别深奥之处,但是在实际项目中,却常常在这个环节耗费太多的人力,而在后续的维 ...
- 开源ETL工具kettle--数据迁移
背景 因为项目的需求,须要将数据从Oracle迁移到MSSQL,不是简单的数据复制,而是表结构和字段名都不一样.甚至须要处理编码规范不一致的情况,例如以下图所看到的 watermark/2/text/ ...
- 六种 主流ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldengate)
六种 主流ETL 工具的比较(DataPipeline,Kettle,Talend,Informatica,Datax ,Oracle Goldengate) 比较维度\产品 DataPipeline ...
- etl工具
ETL 工具下载全集 包括 Informatica Datastage Cognos( 持续更新) Datastage 8.0 BT种子下载:http://files.cnblogs.com/ta ...
- 开源作业调度工具实现开源的Datax、Sqoop、Kettle等ETL工具的作业批量自动化调度
1.阿里开源软件:DataX DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL.Oracle等).HDFS.Hive.ODPS.HBase.FTP等各种异构数据源之间稳 ...
- ETL工具--kettle篇（17.10.09更新）
ETL是EXTRACT(抽取).TRANSFORM(转换).LOAD(加载)的简称,实现数据从多个异构数据源加载到数据库或其他目标地址,是数据仓库建设和维护中的重要一环也是工作量较大的一块.当前知道的 ...
- 单元测试系列：Mock工具之Mockito实战
更多原创测试技术文章同步更新到微信公众号 :三国测,敬请扫码关注个人的微信号,感谢! 原文链接:http://www.cnblogs.com/zishi/p/6780719.html 在实际项目中写单 ...
- 单元测试系列之五：Mock工具之Mockito实战
更多原创测试技术文章同步更新到微信公众号 :三国测,敬请扫码关注个人的微信号,感谢! 原文链接:http://www.cnblogs.com/zishi/p/6780719.html 在实际项目中写单 ...
随机推荐
- redis安全配置
禁用或者重命名危险命令 FLUSHDB, FLUSHALL, KEYS, PEXPIRE, DEL, CONFIG, SHUTDOWN, BGREWRITEAOF, BGSAVE, SAVE, SPO ...
- CMD当前代码页修改
python3.x在程序开发中统一的编码是 UTF-8,但是进行交互式编程的时候会经常遇到乱码问题,这是因为Window cmd的默认编码是GBK.与程序采用的 UTF-8 不一致造成的中文及特殊字符 ...
- CentOS 7 iptables 开放8080端口
# 安装iptables-services [root@localhost bin]# yum install iptables-services [root@localhost bin]# /bin ...
- VMWare复制虚拟机系统后，模块“Disk”无法启动【转】
1.找到虚拟机所在的目录 将 .vmx文件打开 将文件vmci0.present = "TRUE" 改为 vmci0.present = "FALSE" 2.删 ...
- Java匹马行天下之JavaWeb核心技术——JSP
JSP动态网页技术 一.JavaWeb简介 一.什么是JavaWeb? JavaWeb是用Java技术来解决相关web互联网领域的技术总称. 需要在特定的web服务器上运行,分为web服务器和web客 ...
- SpringBoot项目实现文件上传和邮件发送
前言 本篇文章主要介绍的是SpringBoot项目实现文件上传和邮件发送的功能. SpringBoot 文件上传 说明:如果想直接获取工程那么可以直接跳到底部,通过链接下载工程代码. 开发准备 环境要 ...
- 《从0到1学习Flink》—— Flink 写入数据到 Kafka
前言 之前文章 <从0到1学习Flink>-- Flink 写入数据到 ElasticSearch 写了如何将 Kafka 中的数据存储到 ElasticSearch 中,里面其实就已经用 ...
- AnyCAD在医疗中的应用
void addPoint(List<float> buffer, Vector3 pt) { buffer.Add((float)pt.X); buffer.Add((float)pt. ...
- flask --db-Column属性
db.Column 中其余的参数指定属性的配置选项. 选项名 说 明 primary_key 如果设为 True,这列就是表的主键 unique 如果设为 True,这列不允许出现重复的值 index ...
- Error和Exception的区别？
Error和Exception都继承自Throwable类 二者不同之处在于: Exception: 1.可以是可控制的(checked)或是不可控制的(unchecked) 2.表示一个有程序员编写 ...