Datax是一个在异构的数据库/文件系统之间高速交换数据的工具,本次搭建Datax环境,需要说明以下,我的jdk版本是1.7的,所以需要对jdk继续升级。


一、环境准备

  软件环境:CentOS 6

  系统环境:linux

  jdk环境:1.8及以上

  启动环境:python


二、升级jdk

  需要先使用命令进行查看自己的jdk版本,命令: java -version   如果是1.8的请自行忽略此步骤。

  windows系统在官网上进行下载相应版本的jdk:https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.html

  使用filezill进行上传到linux,我的上传到了桌面(或者直接在linux进行下载也可以)。

   进入终端,不进入管理员模式,使用命令 rpm -qa | grep java  进行当前jdk安装包的查看,如我的是1.7的版本。

    使用命令rpm -e --nodeps 你的jdk版本  强制删除软件包,如我的是  rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64   (注意这里有多少软件包就删除多少软件包)

  然后使用命令 tar -zxvf jdk-8u231-linux-x64.tar.gz 对压缩包进行解压。

  解压后如下所示

  将解压后的文件使用命令 sudo mv jdk1.8.0_231/ /opt/   移动到/opt文件夹下,然后进入到该文件夹下进行查看。

  然后使用命令  sudo vim /etc/profile  进行环境的配置,在末尾添加如下代码。

export JAVA_HOME=/opt/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

  保存退出后使用命令 source /etc/profile 启用配置文件。

  然后使用命令  java -version  进行当前版本的查看,出现的信息与你现在安装的版本相同则升级成功。


三、安装python

  python的安装详情请参考这个博客:https://www.cnblogs.com/MWCloud/p/11354591.html

  在安装过程中,可能会出现一些问题,可以参考下面的办法进行解决。

  (1)显示无法建立 SSL 连接。如图所示:

  解决方法:

  将https改为http.因为https会默认认证ssl

  (2)下载速度过慢问题

  wget下载有时候会比较慢,而python相对我们的下载速度来说显得比较大,所以,我们可以下载mwget(或者使用镜像源)进行加速,具体方法参见这篇博客:https://blog.csdn.net/luhengchang/article/details/81365484


四、安装DataX

  从官网上下载DataX:https://github.com/alibaba/DataX/blob/master/userGuid.md  直接下载工具包

  使用filezill上传到 指定目录。解压到指定目录,我的是上传到了 /usr/local

  使用命令  tar -zxvf datax.tar.gz  进行解压,解压之后使用命令   cd datax/bin   进入到并目录下,再使用命令 python datax.py ../job/job.json  执行python脚本,如果出现以下内容则安装成功。


Datax环境搭建的更多相关文章

  1. DataX安装环境搭建

    DataX环境搭建 环境搭建 Java安装(java>=1.6) JDK下载地址: http://www.oracle.com/technetwork/java/javase/downloads ...

  2. .NET Core系列 : 1、.NET Core 环境搭建和命令行CLI入门

    2016年6月27日.NET Core & ASP.NET Core 1.0在Redhat峰会上正式发布,社区里涌现了很多文章,我也计划写个系列文章,原因是.NET Core的入门门槛相当高, ...

  3. Azure Service Fabric 开发环境搭建

    微服务体系结构是一种将服务器应用程序构建为一组小型服务的方法,每个服务都按自己的进程运行,并通过 HTTP 和 WebSocket 等协议相互通信.每个微服务都在特定的界定上下文(每服务)中实现特定的 ...

  4. rnandroid环境搭建

    react-native 环境搭建具体步骤这个大家已经玩烂了,这个主要是记录下来自己做win7系统遇到的坑 1.com.android.ddmlib.installexception 遇到这个问题,在 ...

  5. python开发环境搭建

    虽然网上有很多python开发环境搭建的文章,不过重复造轮子还是要的,记录一下过程,方便自己以后配置,也方便正在学习中的同事配置他们的环境. 1.准备好安装包 1)上python官网下载python运 ...

  6. springMVC初探--环境搭建和第一个HelloWorld简单项目

    注:此篇为学习springMVC时,做的笔记整理. MVC框架要做哪些事情? a,将url映射到java类,或者java类的方法上 b,封装用户提交的数据 c,处理请求->调用相关的业务处理—& ...

  7. 【定有惊喜】android程序员如何做自己的API接口?php与android的良好交互(附环境搭建),让前端数据动起来~

    一.写在前面 web开发有前端和后端之分,其实android还是有前端和后端之分.android开发就相当于手机app的前端,一般都是php+android或者jsp+android开发.androi ...

  8. Nexus(一)环境搭建

    昨天,成功搭建了自己的 Maven 环境(详见:Maven(一)环境搭建),今天就来研究和探讨下 Nexus 的搭建! 使用背景: 安装环境:Windows 10 -64位 JDK版本:1.7 Mav ...

  9. 「译」JUnit 5 系列:环境搭建

    原文地址:http://blog.codefx.org/libraries/junit-5-setup/ 原文日期:15, Feb, 2016 译文首发:Linesh 的博客:环境搭建 我的 Gith ...

随机推荐

  1. nologin用户执行命令

    使用su su -s 是指定shell,这里www用户是nologin用户,是没有默认的shell的,这里指定使用/bin/bash, -c 后面接需要运行的命令, 后面www是用www用户来运行 s ...

  2. Vue&Element 前端应用开发之菜单和路由的关系

    我们一般的应用系统,菜单是很多功能界面的入口,菜单为了更好体现功能点的设置,一般都是动态从数据库生成的,而且还需要根据用户角色的不同,过滤掉部分没有权限的菜单:在Vue&Element的纯前端 ...

  3. JUC 并发编程--03, 深刻理解锁, 8 锁现象,

    如何判断锁的是谁? 永远知道是什么锁, 线程8锁:就是关于锁的8个问题 问题1: public class LockDemo01 { public static void main(String[] ...

  4. VLAN与三层交换机

    VLAN概述与优势 ①分割广播域 物理分割 逻辑分割 ②VLAN的优势 控制广播 增强网络安全性 简化网络管理 VLAN的范围 VlAN  ID范围 范围 用途 0,4095 保留 仅限系统使用,用户 ...

  5. NX二次开发-创建(临时)坐标系

    函数:UF_CSYS_create_csys() . UF_CSYS_create_temp_csys() 函数说明:创建坐标系 .创建临时坐标系 用法: #include <uf.h> ...

  6. vue项目使用Echarts制作项目工期甘特图

    目录 1,前言 2,布局和数据部分 3,制作甘特图 1,前言 项目迭代过程中,碰上一个需求,要求用甘特图的方式显示项目的工期进度,开完会我赶紧搜索一下甘特图是啥东东,大概了解之后,做出了如下样式 Ec ...

  7. c#创建windows服务(创建,安装,删除)

    一.在vs中创建一个window服务 二.进入Service1.cs页面后 右击----创建安装程序,安装程序创建成功后---会出现ProjectInstaller.cs文件 三.进入ProjectI ...

  8. 玩转STM32MP157- 使用fbtft驱动 lcd st7735r

    什么是fbtft fbtft 在 github 中的介绍是" Linux Framebuffer drivers for small TFT LCD display modules,翻译过来 ...

  9. 腾讯云TKE-基于 Cilium 统一混合云容器网络(下)

    前言 在 腾讯云TKE - 基于 Cilium 统一混合云容器网络(上) 中,我们介绍 TKE 混合云的跨平面网络互通方案和 TKE 混合云 Overlay 网络方案.公有云 TKE 集群添加第三方 ...

  10. Docker入门与进阶(下)

    Docker入门与进阶(下) 作者 刘畅 时间 2020-11-12 实验主机配置 系统centos7.5 主机名 ip 配置 应用 harbor-master 172.16.1.71 2核4G/60 ...