sqoop-1.4.4安装配置
环境:redhat6.5 hadoop2.4.1
感谢: http://wenku.baidu.com/view/a9083da8dd3383c4bb4cd274.html注释hbase检查
感谢: http://xubo8118.blog.163.com/blog/static/1855523322013720105924372/
step1 下载sqoop-1.4.4压缩包 http://mirror.bit.edu.cn/apache/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
step2 解压到/opt/sqoop/目录
tar -zxvf sqoop-1.4..bin__hadoop-2.0.-alpha.tar.gz -C /opt/sqoop/
为了简化配置过程中涉及到的路径名称,建立一个链接到刚刚解压的路径的软链接,然后进入到/opt/sqoop-1.4.4中
ln -s /opt/sqoop/sqoop-1.4..bin__hadoop-2.0.-alpha /opt/sqoop-1.4.4
cd /opt/sqoop-1.4.4
step3 配置环境变量 :编辑/etc/profile文件,在结尾加入如下代码
export SQOOP_HOME=/opt/sqoop-1.4.
export HADOOP_COMMON_HOME=/opt/hadoop-2.4.1
export HADOOP_MAPRED_HOME=/opt/hadoop-2.4.1
step4. 复制lib包:
a. 复制/opt/sqoop-1.4.4/sqoop-1.4.4.jar 包至 hadoop的lib路径下,否则报错: Error: Could not find or load main class org.apache.sqoop.Sqoop
b. 复制连接mysql的java驱动包(如果用的是其他数据库,下载对应的java包即可),至/opt/sqooop-1.4.4/lib 和 hadoop 的l ib 下,否则报错: ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver (驱动包在mysql官网可以下载)
step5 修改/opt/sqoop-1.4.4/bin/configure_sqoop文件,将有关hbase的判断或export全部注释
step6. 测试sqoop,执行如下命令,结果大概如下,内容太长,就不敲了
root@cup bin# cd /opt/sqoop-1.4./bin
root@cup bin# ./sqoop help
usage: sqoop COMMAND [ARGS]
Avaliable commands:
codegen .....
create-hive-table: ......
... ... ..
... ... ..
root@cup bin#
sqoop-1.4.4安装配置的更多相关文章
- Sqoop 1.4.6 安装配置
配置环境变量 # SQOOP SQOOP_HOME=/home/hadoop/development/src/sqoop-1.4.6-cdh5.6.0 PATH=$PATH:$SQOOP_HOME/b ...
- sqoop 1.4.7 安装配置/连接测试
环境: hadoop2.7.7 mysql 8 zk 3.4.10 hive 3 1.上传并解压tar包后进入conf目录 拷贝sqoop-env-template.sh并重命名为sqoop-env. ...
- Sqoop安装配置及数据导入导出
前置条件 已经成功安装配置Hadoop和Mysql数据库服务器,如果将数据导入或从Hbase导出,还应该已经成功安装配置Hbase. 下载sqoop和Mysql的JDBC驱动 sqoop-1.2.0- ...
- Sqoop的安装配置及使用
一.Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据移植过去并不容易.Apache Sqoop正在加 ...
- [sqoop1.99.7] sqoop入门-下载、安装、运行和常用命令
一.简介 Apache Sqoop is a tool designed for efficiently transferring data betweeen structured, semi-str ...
- Sqoop 1.99.4 安装
1.安装准备工作:已经装好的 hadoop 环境是 hadoop-2.5.1 64位下载的sqoop安装包(注意是hadoop200)http://www.us.apache.org/dist/sqo ...
- 指导手册 07 安装配置HIVE
指导手册 07 安装配置HIVE 安装环境及所需安装包: 1.操作系统:centos6.8 2.四台虚拟机:master :10.0.2.4, slave1:10.0.2.5,slave2:10. ...
- Hive安装配置指北(含Hive Metastore详解)
个人主页: http://www.linbingdong.com 本文介绍Hive安装配置的整个过程,包括MySQL.Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区 ...
- Hive on Spark安装配置详解(都是坑啊)
个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Sp ...
- ADFS3.0与SharePoint2013安装配置(原创)
现在越来越多的企业使用ADFS作为单点登录,我希望今天的内容能帮助大家了解如何配置ADFS和SharePoint 2013.安装配置SharePoint2013这块就不做具体描述了,今天主要讲一下怎么 ...
随机推荐
- linux 逻辑卷管理 调整分区大小
测试机各种报错,创建个目录都报错,df看了一下,发现VolGroup-lv_root 100%,虚拟磁盘满了,怎么办呢 1,解决过程 # df -h //查看分区 # umount /home //取 ...
- Ueditor .net版安装配置打开项目的源码傻瓜版教程 亲測~
环境要求: 没有 .NET Framework 4.0的要先安装 安装完 .NET Framework 4.0 后.还须要向 IIS 注冊应用程序池,注冊的方法是,使用管理员权限打开命令提示符(CMD ...
- crontab 写入文件目录
一.crontab 目录 [root@next-cloud-server etc]# cd /var/spool/cron/ [root@next-cloud-server cron]# ls roo ...
- javascript快速入门11--正则表达式
正则表达式可以: 测试字符串的某个模式.例如,可以对一个输入字符串进行测试,看在该字符串是否存在一个电话号码模式或一个信用卡号码模式.这称为数据有效性验证 替换文本.可以在文档中使用一个正则表达式来标 ...
- http://zhidao.baidu.com/link?url=fX6C1xFLsqiuTY88cjwJYal2x52rOwlJstmz7KWyMc6l9j3FHw2yhvp83timZ86pwhqQ8rONj2xkgo2wbU2tLK
http://zhidao.baidu.com/link?url=fX6C1xFLsqiuTY88cjwJYal2x52rOwlJstmz7KWyMc6l9j3FHw2yhvp83timZ86pwhq ...
- Solr-5.3.1 dataimport 导入mysql数据
最近需要计算制造业领域大词表每个词的idf,词表里一共九十多万个词,语料一共三百七十多万篇分词后文献.最开始尝试用程序词表循环套语料循环得到每个词的idf,后来又尝试把语料存入mysql然后建立全文索 ...
- 大话JS神器之Promise
前段时间的工作中,由于项目要在前端实现存储,于是便使用了websql,而websql的API涉及到了很多的异步问题,如果采取回调函数的方式处理,代码不够优雅,而且不利于理解,于是便找到了Promise ...
- [Functional Programming Monad] Map And Evaluate State With A Stateful Monad
We explore our first stateful transaction, by devising a means to echo our state value into the resu ...
- Oracle Database 11.2.0.4.0 已在 中标麒麟Linux x86-64 NeoKylin Linux Advanced Server 6 上通过认证
啥都不说了,上截图:
- xunsearch使用namespace后bug修复
xunsearch在使用了namespace后会出现不能正常使用 错误例如以下: Fatal error: Uncaught [vendors\xunsearch\lib\XSException] . ...