配置仅限于跨不同网情况,网络互通情况方案和配置会更简单一点

内网A:MySql数据转换成Csv

  1. {
  2. "job": {
  3. "setting": {
  4. "speed": {
  5. "channel":1
  6. }
  7. },
  8. "content": [
  9. {
  10. "reader": {
  11. "name": "mysqlreader",
  12. "parameter": {
  13. "username": "root",
  14. "password": "",
  15. "connection": [
  16. {
  17. "querySql": [
  18. "select id,name from table;"
  19. ],
  20. "jdbcUrl": [
  21. "jdbc:mysql://127.0.0.1/database"
  22. ]
  23. }
  24. ]
  25. }
  26. },
  27. "writer": {
  28. "name": "txtfilewriter",
  29. "parameter": {
  30. "print": true,
  31. "encoding": "UTF-8",
  32. "path": "/result",
  33. "fileName": "result.csv",
  34. "writeMode": "truncate",
  35. "dateFormat": "YYYY-MM-dd hh:mm:ss",
  36. "header":["id", "name"]
  37. }
  38. }
  39. }
  40. ]
  41. }
  42. }

  

内网B:CSV导入到内网B配置:

  1. {
  2. "job": {
  3. "setting": {
  4. "speed": {
  5. "channel": 2
  6. }
  7. },
  8. "content": [
  9. {
  10. "reader": {
  11. "name": "txtfilereader",
  12. "parameter": {
  13. "path":["D:/result/result.csv"],
  14. "encoding": "UTF-8",
  15. "column": [
  16. {
  17. "index": 0,
  18. "name":"id",
  19. "type": "long"
  20. },
  21. {
  22. "index": 1,
  23. "name":"name",
  24. "type": "string"
  25. }
  26. ],
  27. "skipHeader": "true"
  28. }
  29. },
  30. "writer": {
  31. "name": "mysqlwriter",
  32. "parameter": {
  33. "writeMode": "insert",
  34. "username": "root",
  35. "password": "",
  36. "column": [
  37. "id", "name"
  38. ],
  39. "preSql": [
  40. "truncate table table;"
  41. ],
  42. "connection": [
  43. {
  44. "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/table?characterEncoding=utf-8",
  45. "table": [
  46. "table"
  47. ]
  48. }
  49. ]
  50. }
  51. }
  52. }
  53. ]
  54. }
  55. }

  

注意编码和字段支持的类型,详细可查看DataX官方文档。

DataX 离线跨网场景的实施配置的更多相关文章

  1. 极路由设置共享磁盘密码、跨网访问samba服务

    极路由插上移动硬盘后会自动建立samba服务器,但我们没法去配置哪些盘符需要密码,这样只要在同一个wifi下的电脑都能去访问这些东西了,比较弱智.另外我还想再公司中去读写这个移动硬盘. 设置密码 首先 ...

  2. ArcGIS API For Javascript :如何解决跨网不能正常获取依赖项的问题?

    一.前言 政企项目通常会在自组网以及保密网运行,有些单位甚至会有两个物理隔绝的网络存在.通常情况下我们会在两个网络中部署相同的地图服务和依赖项.但是也有其中一个网络密级很高没有服务器资源,不能单独部署 ...

  3. Python离线断网情况下安装numpy、pandas和matplotlib等常用第三方包

    联网情况下在命令终端CMD中输入“pip install numpy”即可自动安装,pandas和matplotlib同理一样方法进行自动安装. 工作的电脑不能上外网,所以不能通过直接输入pip命令来 ...

  4. ASP.NET Core搭建多层网站架构【6-注册跨域、网站核心配置】

    2020/01/29, ASP.NET Core 3.1, VS2019, NLog.Web.AspNetCore 4.9.0 摘要:基于ASP.NET Core 3.1 WebApi搭建后端多层网站 ...

  5. jquery ajax跨域请求webservice webconfig配置

    <configuration> <system.web> <compilation debug="true" targetFramework=&quo ...

  6. Linux 单网卡多 IP 的配置方法

     Linux 单网卡多 IP 的配置方法 1 .永久配置的方法: 知道在 Linux 下网卡被称为 eth0,eth1,eth2..... ,所有网卡的配置文件都存储在 /etc/sysconfi ...

  7. PyCharm 2017 官网 下载 安装 设置 配置 (主题 字体 字号) 使用 入门 教程

    一.安装 Python 3.6 首先,要安装好 Python 3.6.如果你还没有安装,可以参考咪博士之前的教程 Python 3.6.3 官网 下载 安装 测试 入门教程 (windows) 二.官 ...

  8. CORS(跨域资源共享) 的配置

    http://blog.csdn.net/ohyoyo2014/article/details/24863197 兼容情况: 各种新版本的ie10,firefox,opera,safari,chrom ...

  9. ajax跨域请求webservice webconfig配置

    <configuration> <system.web> <compilation debug="true" targetFramework=&quo ...

  10. 跨站点脚本编制 - SpringBoot配置XSS过滤器(基于mica-xss)

    1. 简介   XSS,即跨站脚本编制,英文为Cross Site Scripting.为了和CSS区分,命名为XSS.   XSS是最普遍的Web应用安全漏洞.这类漏洞能够使得攻击者嵌入恶意脚本代码 ...

随机推荐

  1. Ant Design Vue中Table的选中详解

    <template> <a-table :columns="columns" :data-source="data" :row-selecti ...

  2. 配置elementuI菜单

    :unique-opened="true" 只保留一个菜单 :router="true"开启路由标识 index="users" 是标识 它 ...

  3. 手写promise自定义封装异步任务回调的执行

    自定义封装异步任务回调的执行 <script type="text/javascript"> let p = new Promise((resolve, reject) ...

  4. jenkins 安装与构建过程中的系列问题

    一.插件安装遇到的依赖问题 插件安装分为在线安装和离线安装 1.在线安装 搜索要安装的插件,然后进行安装即可 2.离线安装hpi文件 使用该方法安装插件每次只能安装一个插件,且如果插件之间存在依赖性则 ...

  5. RabbitMQ集成系统文章01---ABP VNext 分布式事务Event Bus 集成RabbitMQ

    1.在两个应用中都配置好要连接的RabbitMQ "RabbitMQ": { "Connections": { "Default": { & ...

  6. 关于Curl命令的使用

    最常用的curl命令 1.发送GET请求 curl URL 例: curl URL?a=1&b=nihao 2.发送POST请求 curl -X POST -d 'a=1&b=niha ...

  7. windbg-windows调试工具来抓端游crash dump

    windbg下载有两种方式: Install WinDbg - Windows drivers | Microsoft Learn 从微软应用商店下载 dump上的windows的局部变量解析部分进行 ...

  8. 4G5G和上网带宽与下载速度的换算方法

    前言 2020年5G越来越火热,而且运营商多次推出免费宽带升级,免费升级到100M,20M升级50M等等.很多人疑惑我们平时 的下载速度也就几百K或者有时候能上1M,但是就算升级到10M的宽带,也从来 ...

  9. 小白学k8s(5)k8s中的service

    k8s中的service service存在的意义 Pod与Service的关系 Port port targetPort nodePort IP Node IP Pod IP Cluster IP ...

  10. 找工作、备考、面试刷题网站推荐(牛客网、力扣、计蒜客、hihocoder、七月在线)以及acm竞赛oj

    不管是找工作笔试面试白板试进大厂,还是研究生参加初试复试,数据结构和算法都是都是重中之重,刷题就很必要,来拿走自己的offer 吧! 一.offer刷题推荐 1.牛客网 链接:牛客网 - 找工作神器| ...