Sqoop 安装部署
1. 上传并解压 Sqoop 安装文件
将 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 安装包上传到 node-01 的 /root/ 目录下并将其解压
[root@node-01 ~]# tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C apps/
[root@node-01 ~]# rm -rf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
[root@node-01 ~]# cd /root/apps/
[root@node-01 apps]# mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7
2. 修改配置文件
- 进入到 conf 目录,重命名配置文件
[root@node-01 ~]# cd /root/apps/sqoop-1.4.7/conf
[root@node-01 conf]# mv sqoop-env-template.sh sqoop-env.sh
[root@hdp-01 conf]# vim sqoop-env.sh
#取消23行注释
export HADOOP_COMMON_HOME=/root/apps/hadoop-3.2.1/
#取消26行注释
export HADOOP_MAPRED_HOME=/root/apps/hadoop-3.2.1/
#取消29行注释
export HBASE_HOME=/root/apps/hbase-1.4.13
#取消32行注释
export HIVE_HOME=/root/apps/hive-3.1.2
#取消35行注释
export ZOOCFGDIR=/root/apps/zookeeper-3.4.6
3. 将 mysql 的驱动包放入 Sqoop 的 lib 中
上传 mysql-connector-java-8.0.21.jar 到 node-01 的 /root 目录下
[root@node-01 ~]# cd /root
[root@node-01 ~]# mv /root/mysql-connector-java-8.0.21.jar /root/apps/sqoop-1.4.7/lib/
[root@node-01 ~]# mv /root/commons-lang-2.6.jar /root/apps/sqoop-1.4.7/lib/
[root@node-01 ~]# cp /root/apps/hive-3.1.2/lib/hive-common-3.1.2.jar /root/apps/sqoop-1.4.7/lib/
[root@node-01 ~]# vim /etc/profile
#行尾添加
export SQOOP_HOME=/root/apps/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin
[root@node-01 ~]# source /etc/profile
4. 验证 Sqoop 可用性
- 查看 Sqoop 帮助(help 命令)
[root@node-01 conf]# sqoop help
2020-12-03 17:25:57,421 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
usage: sqoop COMMAND [ARGS] # Sqoop 命令的用法
# 以下就是 Sqoop 工具支持的所有命令
Available commands:
codegen Generate code to interact with database records
create-hive-table Import a table definition into Hive
eval Evaluate a SQL statement and display the results
export Export an HDFS directory to a database table
help List available commands
import Import a table from a database to HDFS
import-all-tables Import tables from a database to HDFS
import-mainframe Import datasets from a mainframe server to HDFS
job Work with saved jobs
list-databases List available databases on a server
list-tables List available tables in a database
merge Merge results of incremental imports
metastore Run a standalone Sqoop metastore
version Display version information
See 'sqoop help COMMAND' for information on a specific command.
- 查看 Sqoop 安装版本(version 命令)
[root@node-01 ~]# sqoop version
2020-12-03 01:38:43,879 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7 # 版本号
git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8
Compiled by maugli on Thu Dec 21 15:59:58 STD 2017
- 使用 Sqoop 远程连接查看 MySQL 所有数据库列表(list-databases 命令)
[root@node-01 ~]# sqoop list-databases --connect jdbc:mysql://192.168.137.1:3306?serverTimezone=UTC --username hive --password hive
mysql
information_schema
performance_schema
sys
shopcar
db
sgs
hive_remote
- 使用 Sqoop 远程连接查看 MySQL 某个数据库的所有表(list-tables 命令)
[root@node-01 ~]# sqoop list-tables --connect jdbc:mysql://192.168.137.1:3306/db?serverTimezone=UTC --username hive --password hive
2020-12-03 17:49:14,368 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
2020-12-03 17:49:14,493 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
2020-12-03 17:49:14,632 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
t_class
t_emp
t_student
t_subject
至此,Sqoop 安装成功。
Sqoop 安装部署的更多相关文章
- sqoop安装部署(笔记)
sqoop是一个把关系型数据库数据抽向hadoop的工具.同时,也支持将hive.pig等查询的结果导入关系型数据库中存储.由于,笔者部署的hadoop版本是2.2.0,所以sqoop的版本是:sqo ...
- SQOOP安装部署
1.环境准备 1.1软件版本 sqoop-1.4.5 下载地址 2.配置 sqoop的配置比较简单,下面给出需要配置的文件 2.1环境变量 sudo vi /etc/profile SQOOP_HOM ...
- Sqoop安装与使用(sqoop-1.4.5 on hadoop 1.0.4)
1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输,发展至今 ...
- 如何将mysql数据导入Hadoop之Sqoop安装
Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle , ...
- PRESTO安装部署和参数说明(一)
PRESTO部署和参数说明(一) 一,概要 在部署和使用presto的过程中,在此记录一下部署记录和使用记录以及需要注意的事项.本人使用的presto版本是0.214,3台redhat虚拟机.使用背景 ...
- Flume的概述和安装部署
一.Flume概述 Flume是一种分布式.可靠且可用的服务,用于有效的收集.聚合和移动大量日志文件数据.Flume具有基于流数据流的简单灵活的框架,具有可靠的可靠性机制和许多故障转移和恢复机制,具有 ...
- Azkaban介绍+安装部署+实战案例
Azkaban介绍 什么是azkaban?1.工作流的作业调度系统2.通过k.v指令写法描述工作流节点3.可以通过web界面去管理工作流 Azkaban安装部署 2.3.1 准备工作 Azkaban ...
- Sqoop-1.4.6安装部署及详细使用介绍
之所以选择Sqoop1是因为Sqoop2目前问题太多.无法正常使用,综合比较后选择Sqoop1. Sqoop1安装配置比较简单 一.安装部署 (1).下载安装包 下载地址:http://archive ...
- Hbase-0.96.2全然分布式安装部署
Hbase-0.96.2全然分布式安装部署 环境: Hadoop-2.2.0 Zookeeper-3.4.6 hbase-0.96.2 1.下载hbase-0.96.2-hadoop2-bin.tar ...
随机推荐
- elasticsearch之Java调用本地代码
虽然Java虚拟机为开发人员屏蔽了底层的实现细节,使得开发人员不用考虑底层操作系统的差异性.不过在某些应用程序中,还是免不了要直接与底层操作系统上的原生代码进行交互.今天我们就来看一下Java对本地调 ...
- 原生对象写法,dom调用方法
1 var App = (function () { 2 var App = function () { 3 //全局变量 4 this.init(); 5 this.a = ...
- 记一次phpwind的漏洞测试学习
实验:phpwind的文件目录遍历 工具:windows2003,Windows10,phpstudy2018,phpwind8.7 在Windows2003中,安装phpstudy并且部署phpwi ...
- HMS Toolkit自动化环境配置,助您高效集成HMS Core
HMS Toolkit是一个IDE插件,提供包括应用创建.编码和转换.调测和测试.提交上架等多个端到端开发工具,借助HMS Toolkit可提升3倍以上集成开发效率,可以帮助开发者以更高的开发效率.更 ...
- 通过Dapr实现一个简单的基于.net的微服务电商系统(六)——一步一步教你如何撸Dapr之Actor服务
我个人认为Actor应该是Dapr里比较重头的部分也是Dapr一直在讲的所谓"stateful applications"真正具体的一个实现(个人认为),上一章讲到有状态服务可能很 ...
- kafka配置内外网访问
使用docker简单部署测试 zookeeper mkdir data conf chmod 777 data 启动命令 docker run -itd -p 2181:2181 -e ALLOW_A ...
- 【Java基础】ConcurrentHashMap为什么不能存null键和null值
代码如下 /** * 测试ConcurrentHashMap null键和null值的问题 * @return */ @RequestMapping(value = "/get_nacos& ...
- hdu1305 字典树水题
题意: 给你一些字符串,然后问你他们中有没有一个串是另一个串的前缀. 思路: 字典树水题,(这种水题如果数据不大(这个题目不知道大不大,题目没说估计不大),hash下也行,把每个 ...
- hdu4888 最大流(构造矩阵)
题意: 让你构造一个矩阵,满足每一行的和,和每一列的和都等于他给的,还要判断答案是否唯一,还有一点就是矩阵内所有的数字都是[0,k]范围的. 思路: 这个题目看完就让我想起了h ...
- 3.PHP条件语句及其字符串相关函数
PHP条件语句 <?php $number = rand(1,100); if($number % 2 == 0){ echo "%2"; } ...