参考http://sqoop.apache.org/docs/1.99.4/Installation.html

1.简介
sqoop2分为server和client两部分。server作为maprde的客户端,必须安装在hadoop集群上。client无需安装在hadoop集群上,任何机器均可。

2.安装server

    server必须安装在hadoop结点上,namenode和datanode均可。测试是否安装交配置hadoop:
  1. [root@node2 ~]# $HADOOP_PREFIX/bin/hdfs dfs -ls /
  2. Found 4 items
  3. drwxr-xr-x - root supergroup 0 2016-02-25 18:44 /hbase
  4. drwxr-xr-x - root supergroup 0 2015-12-31 12:22 /test
  5. drwxrwxr-x - root supergroup 0 2015-12-31 21:30 /tmp
  6. drwxr-xr-x - root supergroup 0 2015-12-31 20:50 /user
实际上server需要读取namenode和resourcemanager的配置信息,并不依赖这些服务。

1)修改
server/conf/catalina.properties 中hadoop的lib路径:
common.loader中加入
  1. ,/usr/local/hadoop-2.6.3/share/hadoop/common/*.jar,/usr/local/hadoop-2.6.3/share/hadoop/common/lib/*.jar,/usr/local/hadoop-2.6.3/share/hadoop/hdfs/*.jar,/usr/local/hadoop-2.6.3/share/hadoop/hdfs/lib/*.jar,/usr/local/hadoop-2.6.3/share/hadoop/mapreduce/*.jar,/usr/local/hadoop-2.6.3/share/hadoop/mapreduce/lib/*.jar,/usr/local/hadoop-2.6.3/share/hadoop/tools/lib/*.jar,/usr/local/hadoop-2.6.3/share/hadoop/yarn/*.jar,/usr/local/hadoop-2.6.3/share/hadoop/yarn/lib/*.jar,/usr/local/hadoop-2.6.3/share/hadoop/httpfs/tomcat/lib/*.jar
2)启动server
官网的文档已经过时,无法执行bin/sqoop2-server start这样的命令。执行:
bin/sqoop.sh server start
查看日志:
Caused by: org.apache.sqoop.common.SqoopException: MAPREDUCE_0002:Failure on submission engine initialization - Invalid Hadoop configuration 
directory (not a directory or permission issues): /etc/hadoop/conf/
不知道哪个地方配置了/etc/hadoop/conf,根本没有这目录。百度一下:http://www.myexception.cn/database/1600202.html
修改为/usr/local/hadoop-2.6.3/etc/hadoop/


3.client
    clinet无需要配置。把server所在机器的sqoop-1.99.3复制到其它机器上即可,然后执行
#bin/sqoop.sh client
sqoop:000> set server --host node1 --port 12000 --webApp sqoop即可连接server执行命令















































安装sqoop 1.99.4的更多相关文章

  1. Sqoop 1.99.4 安装

    1.安装准备工作:已经装好的 hadoop 环境是 hadoop-2.5.1 64位下载的sqoop安装包(注意是hadoop200)http://www.us.apache.org/dist/sqo ...

  2. Sqoop 1.99.6 安装和使用

        安装   1.安装准备工作:   下载的sqoop安装包 http://mirrors.hust.edu.cn/apache/sqoop/1.99.6/sqoop-1.99.6.tar.gz ...

  3. sqoop 1.99.7 安装及配置

    一  下载sqoop 1.99.7 http://mirror.bit.edu.cn/apache/sqoop/1.99.7/ 二 解压安装文件 三 配置Sqoop 环境变量 最后把mysql的驱动j ...

  4. 安装sqoop

    安装sqoop 1.默认已经安装好java+hadoop 2.下载对应hadoop版本的sqoop版本 3.解压安装包 tar zxvf sqoop-1.4.6.bin__hadoop-2.0.4-a ...

  5. 安装 sqoop

    简介 Sqoop是一个用来将Hadoop(Hive.HBase)和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL ,Oracle ,Postgres等)中的数据导入到Ha ...

  6. 虚拟机里面安装Openfiler 2.99

    简介 Openfiler 由rPath Linux驱动,它是一个基于浏览器的免费网络存储管理实用程序,可以在单一框架中提供基于文件的网络连接存储 (NAS) 和基于块的存储区域网 (SAN).Open ...

  7. 简易安装sqoop

    版本 :hive-0.13.1-cdh5.3.6.tar.gz 1:解压 然后 进到 conf 目录 修改 sqoop-env.sh   2:如果使用mysql 数据库 要将 mysql驱动包拷贝到 ...

  8. centos6.5系统hadoop2.7安装sqoop

    一.sqoop简介 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ...

  9. ubuntu - 安装sqoop

    解析过程 参考:https://www.cnblogs.com/qingyunzong/p/8807252.html#_label4 一.下载 二.解压到指定目录 三.配置sqoop环境变量并生效 四 ...

随机推荐

  1. scroll(),scrollTop(),scrollBy()无效问题的总结

    · 使用的浏览器:Chrome(67.0.3396.87)/火狐(60.0.2)/IE(ie7和ie8),均为PC端. · 代码如下 表现结果: Chrome:只有第一次打开标签页面是有效的(在当前标 ...

  2. ABAP术语-qRFC-Monitor

    qRFC-Monitor 原文:http://www.cnblogs.com/qiangsheng/archive/2008/03/10/1098543.html Central monitoring ...

  3. Ubuntu18.04安装完应该做的一些事 显卡驱动安装和cuda8.0

    博主装Ubuntu18.04主要是为了用于跑深度学习,所以我们先来搞搞gcc环境 第一步:安装多版本gcc.g++可切换 sudo apt-get install gcc-4.8 gcc-4.8-mu ...

  4. 随机返回经典语句接口API

    api接口:https://www.liutianyou.com/api/?type=js&charset=utf-8 可以单独将上面链接,在浏览器中查看效果 ​ 这是get请求,参数:typ ...

  5. 支付宝PC端的支付(PHP)

    现在的一个项目支付宝PC支付还是用的以前网关:https://mapi.alipay.com/gateway.do  (是支付宝 2012年7月13日的3.3版本) 所以现在要做下支付宝PC支付的升级 ...

  6. Python学习笔记:第3天 字符串的操作

    目录 1. python的数据类型 2. int类型的操作 3. bool类型 4. 字符串的操作 5. for循环 1. python的数据类型 int 整数 str 字符串.一般不会用字符串保存大 ...

  7. aes并发加密Cipher not initialized 异常

    javax.crypto.Cipher 每次都要实例化,大量的实例化导致 Cipher 实例化失败. 解决办法:将已经实例化的Cipher对象,放在hashmap中,每次实例化的时候从MAP 获取,不 ...

  8. java语言描述 猴子吃桃问题(递归和循环写法)

    //题目:猴子吃桃问题:猴子第一天摘下若干个桃子,当即吃了一半,还不瘾,又多吃了一个//第二天早上又将剩下的桃子吃掉一半,又多吃了一个//以后每天早上都吃了前一天剩下 的一半零一个.到第10天早上想再 ...

  9. Java中的File.separator用法

    在Windows下的路径分隔符和Linux下的路径分隔符是不一样的,当直接使用绝对路径时,跨平台会暴出“No such file or diretory”的异常. 比如说要在temp目录下建立一个te ...

  10. Excelファイルを扱う方法

    概要 データをローカルに落としたいという要件がある場合.ユーザーはExcelを希望するケースが多いだろう.そんな時は以下の汎用モジュールを使用して簡単に作る事ができます.使用方法は.GUI_UPLOA ...