sqoop job从创建到执行
在学习sqoop job之前,最好先学习一下sqoop命令的导入导出
sqoop 使用 import 将 mysql 中数据导入到 hive
sqoop 使用 import 将 mysql 中数据导入到 hdfs
sqoop 使用 export 将 hive 中数据导出到 mysql
sqoop job
sqoop job 可将一些参数配置以及命令语句保存起来,方便调用。
接下来实现一个从mysql导入到hive的任务
- mysql建表,表名为 sqoop_job
CREATE TABLE `sqoop_job` (
`id` int() DEFAULT NULL,
`name` varchar() DEFAULT NULL,
`jobname` varchar() DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1 - 给sqoop_job插入测试数据
insert into sqoop_job values(,"name1","jobname1");
insert into sqoop_job values(,"name2","jobname2");
insert into sqoop_job values(,"name3","jobname3"); - 将mysql表结构同步到hive
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/sqooptest --username root --password 123qwe --table sqoop_job
--hive-table sqoop_job --fields-terminated-by , - 创建一个导入任务的sqoop job
sqoop job --create sqoopimport1 -- import --connect jdbc:mysql://localhost:3306/sqooptest --username root -password 123qwe --table sqoop_job
--hive-import --hive-table sqoop_job --fields-terminated-by ',' -m 1创建成功后可使用命令查看当前job列表
sqoop job -list
sqoop还支持查看已创建任务的参数配置
使用命令 sqoop job --show jobnameEFdeMacBook-Pro:sbin FengZhen$ sqoop job --show sqoopimport1
Job: sqoopimport1
Tool: import
Options:
----------------------------
verbose = false
db.connect.string = jdbc:mysql://localhost:3306/sqooptest
codegen.output.delimiters.escape =
codegen.output.delimiters.enclose.required = false
codegen.input.delimiters.field =
hbase.create.table = false
db.require.password = true
hdfs.append.dir = false
db.table = sqoop_job
codegen.input.delimiters.escape =
import.fetch.size = null
accumulo.create.table = false
codegen.input.delimiters.enclose.required = false
db.username = root
reset.onemapper = false
codegen.output.delimiters.record =
import.max.inline.lob.size =
hbase.bulk.load.enabled = false
hcatalog.create.table = false
db.clear.staging.table = false
codegen.input.delimiters.record =
enable.compression = false
hive.overwrite.table = false
hive.import = true
codegen.input.delimiters.enclose =
hive.table.name = sqoop_job
accumulo.batch.size =
hive.drop.delims = false
codegen.output.delimiters.enclose =
hdfs.delete-target.dir = false
codegen.output.dir = .
codegen.auto.compile.dir = true
relaxed.isolation = false
mapreduce.num.mappers =
accumulo.max.latency =
import.direct.split.size =
codegen.output.delimiters.field =
export.new.update = UpdateOnly
incremental.mode = None
hdfs.file.format = TextFile
codegen.compile.dir = /tmp/sqoop-FengZhen/compile/546e29b092f451585b5c8547b3e9985e
direct.import = false
hive.fail.table.exists = false
db.batch = false - 执行job
sqoop job --exec sqoopimport1
执行成功后可查看hive中表的数据hive> select * from sqoop_job;
OK
name1 jobname1
name2 jobname2
name3 jobname3
Time taken: 1.618 seconds, Fetched: row(s)Done.
sqoop job从创建到执行的更多相关文章
- ASP.NET Web API 过滤器创建、执行过程(二)
ASP.NET Web API 过滤器创建.执行过程(二) 前言 前面一篇中讲解了过滤器执行之前的创建,通过实现IFilterProvider注册到当前的HttpConfiguration里的服务容器 ...
- ASP.NET Web API 过滤器创建、执行过程(一)
ASP.NET Web API 过滤器创建.执行过程(一) 前言 在上一篇中我们讲到控制器的执行过程系列,这个系列要搁置一段时间了,因为在控制器执行的过程中包含的信息都是要单独的用一个系列来描述的,就 ...
- linux进程编程:子进程创建及执行函数简介
linux进程编程:子进程创建及执行函数简介 子进程创建及执行函数有三个: (1)fork();(2)exec();(3)system(); 下面分别做详细介绍.(1)fork() 函数定 ...
- (转)ASP.NET Mvc 2.0 - 1. Areas的创建与执行
转自:http://www.cnblogs.com/terrysun/archive/2010/04/13/1711218.html ASP.NET Mvc 2.0 - 1. Areas的创建与执行 ...
- JBPM4入门——6.流程实例的创建和执行
本博文只是简要对JBPM4进行介绍,如需更详细内容请自行google 链接: JBPM入门系列文章: JBPM4入门——1.jbpm简要介绍 JBPM4入门——2.在eclipse中安装绘制jbpm流 ...
- 创建可执行的JAR包
创建可执行的JAR文件包,需要使用带cvfm参数的jar命令,命令如下:JAR cvfm test.jar manifest.mf testtest.jar和manifest.mf为两个文件,分别对应 ...
- SpringBoot 创建可执行Jar
创建可执行JAR 我们也可以通过插件创建一个在生产环境中运行的可执行jar文件来完成我们的示例. 首先引入依赖: <build> <plugins> <plugin> ...
- 使用jar命令打jar/war包、创建可执行jar包、运行jar包、及批处理脚本编写
jar 命令 jar 是一个jar.exe可执行命令,即可以生成jar文件,也可以生成war文件 使用示例:jar -cvf ../xxx.jar * -c create,创建新的归档文档 ...
- 《linux下进程的创建,执行,监控和终止》
<linux下进程的创建,执行,监控和终止> http://blog.csdn.net/miss_acha/article/details/43671047 http://blog.csd ...
随机推荐
- Heterogeneity Wins
 Heterogeneity Wins Edward Garson THE nATuRAl EvoluTion oF CoMpuTER TECHnology has brought about im ...
- linux内核中mtd架构分析
一. 引言 MTD(memory technology device内存技术设备)是用于访问memory设备(RAM.ROM.flash)的Linux的子系统.MTD的主要目的是为了使新的memory ...
- myeclipse配置问题
一,配置相关 1,myeclipse配置jdk Window --> Preferences --> Java --> Installed JREs 2.myeclipse配置tom ...
- Android 你可能忽略的提高敲代码效率的方式 (转)
每日推荐 Eyepetizer-in-Kotlin:一款简约的小视频app,带你走进kotlin 作为学习kotlin的一款app,在撸代码的过程中学习kotlin的语法及特性. Eyepetizer ...
- unity一些知识
有一个问题就是在Inspector面板修改 WheelNumber的数值后,运行项目,当项目停止的时候,WheelNumber 的数据又回到以前的数据,(数据未保存成功,数据丢失) 解决办法需要在 修 ...
- JQuery+Json 省市区三级联动
一.画面以及JS <!DOCTYPE html> <head> <meta http-equiv="Content-Type" content=&qu ...
- 批量删除redis某个键值
/usr/local/redis/src/redis-cli -h 172.28.6.23 -p 6383 keys "virtual*" |xargs /usr/local/r ...
- thinkphp自动验证无效的问题
新手入门thinkphp,试用自动验证表单输入数据功能,却发现怎么都不能调用自动验证,自动验证无效,原因竟是一个小细节的疏忽,学习一定要细心啊! Action方法: IndexAction下的adds ...
- java拾遗3----XML解析(三) StAX PULL解析
使用PULL方式解析XML: Pull是STAX的一个实现 StAX是The Streaming API for XML的缩写,一种利用拉模式解析(pull-parsing)XML文档的API StA ...
- POJ 1113 Wall【凸包周长】
题目: http://poj.org/problem?id=1113 http://acm.hust.edu.cn/vjudge/contest/view.action?cid=22013#probl ...