Datax是一个在异构的数据库/文件系统之间高速交换数据的工具,本次搭建Datax环境,需要说明以下,我的jdk版本是1.7的,所以需要对jdk继续升级。


一、环境准备

  软件环境:CentOS 6

  系统环境:linux

  jdk环境:1.8及以上

  启动环境:python


二、升级jdk

  需要先使用命令进行查看自己的jdk版本,命令: java -version   如果是1.8的请自行忽略此步骤。

  windows系统在官网上进行下载相应版本的jdk:https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.html

  使用filezill进行上传到linux,我的上传到了桌面(或者直接在linux进行下载也可以)。

   进入终端,不进入管理员模式,使用命令 rpm -qa | grep java  进行当前jdk安装包的查看,如我的是1.7的版本。

    使用命令rpm -e --nodeps 你的jdk版本  强制删除软件包,如我的是  rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64   (注意这里有多少软件包就删除多少软件包)

  然后使用命令 tar -zxvf jdk-8u231-linux-x64.tar.gz 对压缩包进行解压。

  解压后如下所示

  将解压后的文件使用命令 sudo mv jdk1.8.0_231/ /opt/   移动到/opt文件夹下,然后进入到该文件夹下进行查看。

  然后使用命令  sudo vim /etc/profile  进行环境的配置,在末尾添加如下代码。

export JAVA_HOME=/opt/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

  保存退出后使用命令 source /etc/profile 启用配置文件。

  然后使用命令  java -version  进行当前版本的查看,出现的信息与你现在安装的版本相同则升级成功。


三、安装python

  python的安装详情请参考这个博客:https://www.cnblogs.com/MWCloud/p/11354591.html

  在安装过程中,可能会出现一些问题,可以参考下面的办法进行解决。

  (1)显示无法建立 SSL 连接。如图所示:

  解决方法:

  将https改为http.因为https会默认认证ssl

  (2)下载速度过慢问题

  wget下载有时候会比较慢,而python相对我们的下载速度来说显得比较大,所以,我们可以下载mwget(或者使用镜像源)进行加速,具体方法参见这篇博客:https://blog.csdn.net/luhengchang/article/details/81365484


四、安装DataX

  从官网上下载DataX:https://github.com/alibaba/DataX/blob/master/userGuid.md  直接下载工具包

  使用filezill上传到 指定目录。解压到指定目录,我的是上传到了 /usr/local

  使用命令  tar -zxvf datax.tar.gz  进行解压,解压之后使用命令   cd datax/bin   进入到并目录下,再使用命令 python datax.py ../job/job.json  执行python脚本,如果出现以下内容则安装成功。


Datax环境搭建的更多相关文章

  1. DataX安装环境搭建

    DataX环境搭建 环境搭建 Java安装(java>=1.6) JDK下载地址: http://www.oracle.com/technetwork/java/javase/downloads ...

  2. .NET Core系列 : 1、.NET Core 环境搭建和命令行CLI入门

    2016年6月27日.NET Core & ASP.NET Core 1.0在Redhat峰会上正式发布,社区里涌现了很多文章,我也计划写个系列文章,原因是.NET Core的入门门槛相当高, ...

  3. Azure Service Fabric 开发环境搭建

    微服务体系结构是一种将服务器应用程序构建为一组小型服务的方法,每个服务都按自己的进程运行,并通过 HTTP 和 WebSocket 等协议相互通信.每个微服务都在特定的界定上下文(每服务)中实现特定的 ...

  4. rnandroid环境搭建

    react-native 环境搭建具体步骤这个大家已经玩烂了,这个主要是记录下来自己做win7系统遇到的坑 1.com.android.ddmlib.installexception 遇到这个问题,在 ...

  5. python开发环境搭建

    虽然网上有很多python开发环境搭建的文章,不过重复造轮子还是要的,记录一下过程,方便自己以后配置,也方便正在学习中的同事配置他们的环境. 1.准备好安装包 1)上python官网下载python运 ...

  6. springMVC初探--环境搭建和第一个HelloWorld简单项目

    注:此篇为学习springMVC时,做的笔记整理. MVC框架要做哪些事情? a,将url映射到java类,或者java类的方法上 b,封装用户提交的数据 c,处理请求->调用相关的业务处理—& ...

  7. 【定有惊喜】android程序员如何做自己的API接口?php与android的良好交互(附环境搭建),让前端数据动起来~

    一.写在前面 web开发有前端和后端之分,其实android还是有前端和后端之分.android开发就相当于手机app的前端,一般都是php+android或者jsp+android开发.androi ...

  8. Nexus(一)环境搭建

    昨天,成功搭建了自己的 Maven 环境(详见:Maven(一)环境搭建),今天就来研究和探讨下 Nexus 的搭建! 使用背景: 安装环境:Windows 10 -64位 JDK版本:1.7 Mav ...

  9. 「译」JUnit 5 系列:环境搭建

    原文地址:http://blog.codefx.org/libraries/junit-5-setup/ 原文日期:15, Feb, 2016 译文首发:Linesh 的博客:环境搭建 我的 Gith ...

随机推荐

  1. C# 强行锁定 第三方 外部 应用程序窗体窗口的分辨率尺寸大小 禁止鼠标拖拽改变窗口大小

    我们也许会有一些奇怪的需求,比如说禁止一个外部程序的窗口大小更改. 如果我们没法修改外部程序的代码,那要怎么做呢? 当然,我们可以通过DLL注入目标程序的方式去Hook或registry一个事件来检测 ...

  2. NCF WebApi中 Controller的全解析

    简介 上一篇我们说了如何实现一个WebApi,并运行起来 这次我们来说说WebApi的内在,我们到底做了哪些事情 仓库地址:https://github.com/NeuCharFramework/NC ...

  3. C#搞跨平台桌面UI,分别实现Windows,Mac,Linux屏幕截图

    搞跨平台IM,截图功能少不了. Windows 创建GDI的兼容位图,把桌面的图像通过BitBlt拷贝到兼容位图里,通过兼容位图的数据指针创建Bitmap对象,由于兼容位图的内存是非托管的,Bitma ...

  4. android小技巧之点击两次退出活动

    通常在主活动中可以设置连击退出程序,下面通过代码来实现这一功能: @Override//按两次back键退出public boolean onKeyDown(int keyCode, KeyEvent ...

  5. Spring Cloud Gateway简单入门,强大的微服务网关

    我最新最全的文章都在南瓜慢说 www.pkslow.com,欢迎大家来喝茶! 1 简介 见名知义,Spring Cloud Gateway是用于微服务场景的网关组件,它是基于Spring WebFlu ...

  6. 题解 P3232 [HNOI2013]游走

    洛谷P3232[NOI2013]游走 题目描述 给定一个 n 个点 m 条边的无向连通图,顶点从 1 编号到 n,边从 1 编号到 m. 小 Z 在该图上进行随机游走,初始时小 Z 在 1 号顶点,每 ...

  7. FTP下载文件时拒绝登陆申请怎么办?

    1.有时候用网页登陆FTP无法下载文件,如下图 2.这时候就需要用文件夹登陆FTP,(打开我的电脑,然后输入ftp://10.2.41.31.如下图 然后就可以下载文件了

  8. Mysql优化(出自官方文档) - 第二篇

    Mysql优化(出自官方文档) - 第二篇 目录 Mysql优化(出自官方文档) - 第二篇 1 关于Nested Loop Join的相关知识 1.1 相关概念和算法 1.2 一些优化 1 关于Ne ...

  9. Java实现适配器模式

    适配器模式(Adapter) 适配器模式涉及到3个角色:要被适配的接口,适配器,目标接口 适配器的工作就是将被适配的接口转换为目标接口 "鸭子类型"就是一个典型的适配器模式:如果它 ...

  10. excel替换函数substitute

    1.substitute(需要执行替换操作的单元格区域,旧文本,新文本,第N个旧内容) 例:substitute(A1,"a","b",2)    A1=aab ...