Sqoop:
    1、sqoop从数据库中导入数据到HDFS
    2、SQOOP从数据库导入数据到hive
    3、sqoop从hive中将数据导出到数据库
 
sqoop底层还是执行的mapreduce程序,,但是特殊的地方只有map TASK
    可以实现:企业级数据仓库、文档型系统、关系型数据库<-->
 
sqoop安装:
    1、tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz
    2、将mysql的驱动包mysql-connector-java-5.1.43.jar拷贝到sqoop home/lib下面
        cp mysql-connector-java-5.1.43.jar sqoop-1.4.6-cdh5.5.2/lib/
    3、配置环境变量
        export SQOOP_HOME=/yang/sqoop-1.4.6-cdh5.5.2
        export PATH=$PATH:$SQOOP_HOME/bin
    4、配置SQOOP ,cd sqoop-1.4.6-cdh5.5.2/conf/
        mv sqoop-env-template.sh sqoop-env.sh
        
        export HADOOP_COMMON_HOME=/yang/hadoop-2.6.5
        export HADOOP_MAPRED_HOME=/yang/hadoop-2.6.5
        export HBASE_HOME=/yang/hbase-1.2.5
        export HIVE_HOME=/yang/apache-hive-2.1.1-bin
 
    5、source /etc/profile
    6、sqoop version
 
 开始使用:
        前提:mysql可以正常使用
        hdfs服务开启start-dfs.sh start-yarn.sh
        hive服务开启 nohup hive --service metastore &
 查看数据库有哪些表
            sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root -P
            或者(上面大写P会让你在控制台输入密码)
            sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root --password 1234
            sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root -P
 
 #使用 sqoop将数据库的数据导入到 Hdfs(地址使用默认地址/user/$user/tabname)
斜杠后面不能有空格 而且需要启动yarn,因为要sqoop底层要执行mapreduce
当执行报错;classwrite的时候加入:--driver com.mysql.jdbc.Driver \
sqoop import \
--driver com.mysql.jdbc.Driver \
--username root \
--password 1234 \
--table t_area 需要放入那张表
            
             #使用指定的输出目录 --target-dir /tmp \
            #使用指定的并发数量 -m 2
sqoop import \
--driver com.mysql.jdbc.Driver \
--username root \
--password 1234 \
--table t_area \
--target-dir /sqoop \
-m 2
#使用sqoop将HDFS文件导出到 MYSQL 表中,默认MAP为 4个 ,先将空表建好t_area_copy1
sqoop export \
--driver com.mysql.jdbc.Driver \
--table t_area_copy1 \
--username root \
--password 1234 \
 
mysql导入到hive:
    注意需要启动服务:hive服务开启 nohup hive --service metastore &
                    再来启动hive
     #使用自定义的条件,并且过滤字段,并发数为1
#切分的字段可以更改为另外一个字段  
sqoop import \
--hive-import \
--hive-table t_area \
--username root \
--password 1234 \
--query "SELECT * from t_area where \$CONDITIONS"  \ //将mysql中的表导入到hive表t_area
--fields-terminated-by "," \ //按,分割,首先在hive中将表建好(z字段对应),并按,分割
--lines-terminated-by "\n" \
--target-dir /tmp/aa \ //临时存放的目录
-m 1
异常:org.apache.hadoop.hive.conf.HiveConf
    Make sure HIVE_CONF_DIR is set correctly
    解决:
    在/etc/profile下面加上:
        HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
        分布发送到其他主机上 source 一下
    
sqoop export \
将hive的数据导出到mysql:是通过hdfs中的路径导入到mysql中
如果需要通过导入指定行的话,需要建立中间表
--driver com.mysql.jdbc.Driver \
--table t_area1 \    //导入到mysql表t_area1
--username root \
--password 1234 \    
--export-dir /user/hive/warehose/t_area \          这个文件路径从hdfs上知道
--input-fields-terminated-by ',' 是以,分割的  

Sqoop(一)安装及基本使用的更多相关文章

  1. Hadoop 2.6.0-cdh5.4.0集群环境搭建和Apache-Hive、Sqoop的安装

    搭建此环境主要用来hadoop的学习,因此我们的操作直接在root用户下,不涉及HA. Software: Hadoop 2.6.0-cdh5.4.0 Apache-hive-2.1.0-bin Sq ...

  2. sqoop的安装

    Sqoop是一个用来完成Hadoop和关系型数据库中的数据相互转移的工具, 他可以将关系型数据库(MySql,Oracle,Postgres等)中的数据导入Hadoop的HDFS中, 也可以将HDFS ...

  3. Hive/Hbase/Sqoop的安装教程

    Hive/Hbase/Sqoop的安装教程 HIVE INSTALL 1.下载安装包:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3 ...

  4. Sqoop的安装及简单使用

    SQOOP是用于对数据进行导入导出的. (1)把MySQL.Oracle等数据库中的数据导入到HDFS.Hive.HBase中   (2)把HDFS.Hive.HBase中的数据导出到MySQL.Or ...

  5. Sqoop的安装配置及使用

    一.Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据移植过去并不容易.Apache Sqoop正在加 ...

  6. Sqoop环境安装

    环境下载 首先将下载的 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz放到 /usr/hadoop/目录下(该目录可以自定义,一般为Hadoop集群安装目录),然 ...

  7. Sqoop的安装和验证

    Sqoop是一个用来完成Hadoop和关系型数据库中的数据相互转移的工具,它可以将关系型数据库中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中. Kafka是一个开源 ...

  8. 【sqoop】安装配置测试sqoop1

    3.1.1 下载sqoop1:sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 3.1.2 解压并查看目录: [hadoop@hadoop01 ~]$ tar -zxvf sq ...

  9. 大数据之路week07--day06 (Sqoop 的安装及配置)

    Sqoop 的安装配置比较简单. 提供安装需要的安装包和连接mysql的驱动的百度云链接: 链接:https://pan.baidu.com/s/1pdFj0u2lZVFasgoSyhz-yQ 提取码 ...

  10. Sqoop 之 安装

    Sqoop 之 安装 前言 安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境. 一.下载并解压 1) 下载地址:http://mirrors.hust.edu.cn/apache ...

随机推荐

  1. PyQt(Python+Qt)学习随笔:QTreeWidgetItem项获取项的父项或子项

    老猿Python博文目录 专栏:使用PyQt开发图形界面Python应用 老猿Python博客地址 树型部件QTreeWidget中的QTreeWidgetItem项,可以通过child(int in ...

  2. 第11.26节 Python正则表达式运算符优先级

    正则表达式从左到右进行计算,并遵循优先级顺序,相关运算符的优先级顺序按下表从高到低排列. 例如:字符具有高于替换运算符的优先级,使得"m|food"匹配"m"或 ...

  3. B站自动爬取器并制作词云

    效果 词云展示 弹幕展示 爬取弹幕过程 基本步骤 1.寻找视频url 2.构造请求头 3.寻找弹幕地址 4.根据弹幕地址运用正则或xpath爬取 寻找B站视频的url 制作请求头 headers = ...

  4. 搭建伪分布式 hadoop3.1.3 + zookeeper 3.5.7 + hbase 2.2.2

    安装包 Hadoop 3.1.3 Zookeeper 3.5.7 Hbase 2.2.2 所需工具链接: 链接:https://pan.baidu.com/s/1jcenv7SeGX1gjPT9RnB ...

  5. 凌乱的与ctf无关的小知识点

    (1)在网页中一般不要用记住密码.否则想要知道你的密码很简单. 例子:看样子很安全,别人无法通过这些来获得你的其他密码(尤其是想我这样密码强度不高的人),但是知道要修改前端的选项,你的密码就会被暴露. ...

  6. mysql游标cursor与for循环

    delimiter // create procedure p2() begin declare row_id int DEFAULT 0; declare row_num int DEFAULT 0 ...

  7. Scrum冲刺_Day02

    一.团队展示: 1.项目:light_note备忘录 2.队名:删库跑路队 3.团队成员 队员(不分先后) 项目角色 黄敦鸿 后端工程师.测试 黄华 后端工程师.测试 黄骏鹏 后端工程师.测试 黄源钦 ...

  8. sql server的bcp指令

    有时需要允许bcp指令 -- 允许配置高级选项EXEC sp_configure 'show advanced options', 1GO-- 重新配置RECONFIGUREGO-- 启用xp_cmd ...

  9. 将命令行提示符里的执行结果导出到text文件中

    为便于查看和保存命令行提示符里的执行结果, 可以使用 ">" 将执行结果导入到指定.txt文件中. 例如: 在命令行提示符里查看C盘文件,并将结果导入到E盘dir-c-out ...

  10. 日期格式化:推荐使用SimpleDateFormat

    一.主题 日期格式化成字符串:SimpleDateFormat > DateFormatUtils 二.code public void DateFormat(){ SimpleDateForm ...