用kattle将数据从SQLserver中导入到vertica中
今天简单的学习了一下ETL工具kattle了,只是简单的上手,不过这也已经够我去做POC了。
首先大体介绍一下kattle,Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。因为有客户在使用这个,为了跟客户交流时不至于不懂,所有今天就稍微弄了一下,还行,基本能完成我的工作。
首先在kattle官网下载kattle,然后解压文件,打开里面的spoon.bat就可以运行它了,很简单。
现在我是有这样的需求的,需要将SQLserver的数据在不用导出的情况下直接导入到vertica中,以前也一直有这样的需求,今天刚好,稍微学习一下,以后弄起来就方便了。因为需要跟vertica和SQLserver连接,所以同时需要下载vertica的jdbc和SQLserver的jdbc,这个需要准备好,还有可能需要jtds.jar包,如果没有的话,会在使用的时候报错的。所以提前将其下载下来。具体的下载地址我就不附上了,随便搜搜就能找到。那就将今天我所整理的简单说一下。
在进行数据库连接的时候遇到一些问题,现在是解决方法:
1、sqlserver数据库
首先安装好sqlserver服务器:
为了能远程连接,在sqlserver配置管理器中需要将SQL Server browser设置为启动状态
如果无法设定,那就在服务中先将该服务设置为手动启动,再在配置管理器中启动该服务。
然后将配置管理器中将TCP/IP协议启动。
并将端口输入,重启服务。
由于kattle需要sqlserver的驱动,在网上下载sqlserver的驱动程序:
需要对应java版本的驱动:
将其放入到kattle的lib目录下。
有时候发生无法找到jtds.jar包,这时候就需要下载该jar放到lib目录下。
在kattle中新建一个转换,在转换中新建一个DB连接。
输入连接名称,主机名称,数据库名称(输入一下的数据库名称才正确),实例名称,用户名和密码,测试。
再新建一个vertica连接,下载对应的vertica驱动程序并放在lib目录下:
输入主机名,数据库名称,用户名,密码,测试连接
在核心对象中找到输入和输出
打开输入:
添加表输入
打开输出:添加插入和更新
添加到右边的空白处。
按shift键将两者连起来。
双击表输入:
选择数据库,点击获取SQL查询语句,选择某张表。可以先预览看看是否有数据。点击确定。
双击插入/更新
选择数据库连接,目标表,获取字典,获取和更新字段,点击SQL ,执行创建表语句,确定。
启动程序:
查看结果:
用kattle将数据从SQLserver中导入到vertica中的更多相关文章
- 微软BI 之SSIS 系列 - 在 SSIS 中导入 ACCESS 数据库中的数据
开篇介绍 来自 天善学院 一个学员的问题,如何在 SSIS 中导入 ACCESS 数据表中的数据. 在 SSIS 中导入 ACCESS 数据库数据 ACCESS 实际上是一个轻量级的桌面数据库,直接使 ...
- oracle数据库中导入Excel表格中的数据
1.点击[工具]-->[ODBC 导入器],如图: 2.在导入器里选择第一个[来自ODBC的数据],用户名/系统DSN-->填写[Excel Files],输入用户名和密码,点击 [连接] ...
- Hive中导入Amazon S3中的分区表数据的操作
Hive中创建S3的外部表 数据在S3存放的数据是按时间纬度存放的,每天的数据存放在各自的目录下,目录结构如下截图: 每个目录下面的数据是CSV文件,现在将其导入到Hive中进行查询,通过创建对应的表 ...
- eclipse中导入项目后中文成乱码解决办法
转自:http://blog.163.com/lang_zi_ming/blog/static/1140161762010412112650774/ 编程时在往eclipse中导入项目后 项目中的中文 ...
- 网易UI自动化测试工具Airtest中导入air文件中的方法
最近看了一下网易的Airtest ,UI测试工具,写了一些后在导入其他air文件中的.py文件,卡了一下,现在博客中纪录一下导入其他air文件的方式: 在Airtest 测试工具中,导入其他air文件 ...
- 使用Talend Open Studio将数据分步从oracle导入到hive中
先使用Tos建立模型,将Oracle中的数据导入到本地: build job后,形成独立可以运行的程序: 将生成的zip文件,上传到hadoop集群上,有hive环境的机器上: [hive@h1 wo ...
- MySQL中导入Excel表格中的数据
在数据库中建立好响应的数据库.表(参考excel表格中列中的名字和内容): 将excel表格另存为txt文件,选择“文本文件(制表符分割)”: 打开相应的txt文件,只留下要导入的数据(windows ...
- 基于ASP.NET几十万数据几秒钟就可以导入到数据库中
/// <summary> /// 一.构建模拟数据存放于DataTable /// </summary> /// <returns>DataTable</r ...
- sqlserver 中数据导入到mysql中的方法以及注意事项
数据导入从sql server 到mysql (将数据以文本格式从sqlserver中导出,注意编码格式,再将文本文件导入mysql中): 1.若从slqserver中导出的表中不包含中文采用: bc ...
随机推荐
- SQL报错盲注
嗯哼,这几天篮球比赛,天天训练,学习都耽搁了,DDCTF做了一会心态就爆炸了,蓝瘦,明天再打一场,希望能赢呢,打完就疯狂继续学习了.今天抽空又做了一些基本的SQL注入题目,墨者学院的一道报错注入的题目 ...
- 20175204 张湲祯 2018-2019-2《Java程序设计》2
20175204 张湲祯 2018-2019-2<Java程序设计>2 必做课下作业MyCP 要求 编写MyCP.java 实现类似Linux下cp XXX1 XXX2的功能,要求MyCP ...
- Shell学习笔记(二)
if 语句 最简单的用法就是只使用 if 语句,它的语法格式为: if condition then statement(s) fi condition是判断条件,如果 condition 成立(返回 ...
- 《Linux就该这么学》 - 必读的红帽系统与红帽linux认证自学手册
<Linux就该这么学> 本书作者刘遄从事于linux运维技术行业,较早时因兴趣的驱使接触到了Linux系统并开始学习. 已在2012年考下红帽工程师RHCE_6,今年又分别考下RHC ...
- linux部署dns内网服务器
安装: yum -y install bind* 编辑named.conf vim /etc/named.conf options { listen-on port { any; }; listen- ...
- The Apache Tomcat installation at this directory is version 8.5.40. A Tomcat 8.0 installation is expected.
问题描述 Eclipse 配置 Apache Tomcat 8.5.40(8.0.x 以上版本),会报如下错误信息: 解决方法 1)在 Apache Tomcat 的安装目录中找到 lib 目录下的 ...
- appium 与 selenium python解决python 'WebElement' object does not support indexing 报错问题问题
再用selenium编写测试脚本时,发现出现python 'WebElement' object does not support indexing 报错问题问题,再找一些解决方法时,发现Appium ...
- trie上记忆化搜索,括号匹配——cf1152D好题!
一开始以为是卡特兰数的性质,,后来发现其实是dp,但是用记忆化搜索感觉更方便一点先来考虑字典树上的问题 设要求的序列长度是2n,我们用二元组(a,b)来表示前面长为a的序列中出现的 '(' - ')' ...
- Spring MVC基本概念
MVC工作原理: 模型-视图-控制器(MVC)是一个以设计界面应用程序为基础的设计模式.它主要通过分离模型.视图及控制器在应用程序中的角色将业务逻辑从界面中解耦.通常,模型负责封装应用程序数据在视图层 ...
- 实现定时备份mysql数据库并把备份数据库邮件发送
一.先来看备份mysql数据库的命令 1 mysqldump -u root --password=root --database abcDataBase > c:/abc_backup.sql ...