Hive记录-Impala jdbc连接hive和kudu参考
1.配置环境Eclipse和JDK
2.加载hive jar包或者impala jar包

备注:从CDH集群里面拷贝出来
下载地址:https://www.cloudera.com/downloads/connectors/impala/jdbc/2-5-5.html
3.源代码参考
/*
* 1.配置好hive+sentry+impala
* 2.hive配置sentry-site.xml加入属性/值:sentry.hive.testing.mode/true
* 3.部署客户端配置,重启组件
* 4.新建linux用户和组:test,test,并加入组test,设置密码为test
* 5.beeline hive用户登录,创建角色test_role
* 6.授权查询库给角色test_role,将角色授权给test
* 7.beeline hive连接登录测试
* 8.impala-shell连接登录测试
* 9.show current roles、show grant role test_role、show create table test
* 10.测试代码,返回查询结果
*/ package com.impala; import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException; public class ImpalaJdbcTest {
public static Connection getConnection() throws ClassNotFoundException, SQLException{
String driver = "org.apache.hive.jdbc.HiveDriver";
//String driver = "com.cloudera.impala.jdbc41.Driver";
//auth=noSasl不使用Kerberos身份验证的群集执行此操作
//impala Daemon HiveServer2 端口-21050
//String url = "jdbc:hive2://10.0.4.142:21050/default;auth=noSasl";
String url = "jdbc:hive2://10.0.4.142:21050/touna_finance;auth=noSasl";
//jdbc:impala://localhost:21050;AuthMech=3;UID=UserName;PWD=Password
//AuthMech:0-不需要密码,1-krb验证,2-用户名验证,3-用户名和密码验证
//SSL:0-不连接SSL协议,1-连接SSL协议 UseSasl=0
//String url = "jdbc:impala://10.0.4.142:21050/touna_finance;AuthMech=2;SSL=0;UID=test;PWD=test";
//String url = "jdbc:impala://10.0.4.142:21050/default";
//String url = "jdbc:hive2://10.0.4.142:21050/default";
String username = "test";
String password = "test";
Connection conn = null;
Class.forName(driver);
//conn = (Connection) DriverManager.getConnection(url);
conn = (Connection) DriverManager.getConnection(url,username,password);
return conn;
}
public void select() throws ClassNotFoundException, SQLException{
Connection conn = getConnection();
String sql = "select * from tn_fms_task_record limit 2";
PreparedStatement ps = conn.prepareStatement(sql);
ResultSet rs = ps.executeQuery();
int col = rs.getMetaData().getColumnCount();
System.out.println("=====================================");
while (rs.next()){
for(int i=1;i<=col;i++){
System.out.print(rs.getString(i)+"\t");
}
System.out.print("\n");
}
System.out.println("=====================================");
}
public static void main(String[] args) throws SQLException, ClassNotFoundException {
ImpalaJdbcTest hiveJdbcClient = new ImpalaJdbcTest();
hiveJdbcClient.select();
}
}
Hive记录-Impala jdbc连接hive和kudu参考的更多相关文章
- 大数据学习day28-----hive03------1. null值处理,子串,拼接,类型转换 2.行转列,列转行 3. 窗口函数(over,lead,lag等函数) 4.rank(行号函数)5. json解析函数 6.jdbc连接hive,企业级调优
1. null值处理,子串,拼接,类型转换 (1) 空字段赋值(null值处理) 当表中的某个字段为null时,比如奖金,当你要统计一个人的总工资时,字段为null的值就无法处理,这个时候就可以使用N ...
- 通过JDBC连接hive
hive是大数据技术簇中进行数据仓库应用的基础组件,是其它类似数据仓库应用的对比基准.基础的数据操作我们可以通过脚本方式以hive-client进行处理.若需要开发应用程序,则需要使用hive的jdb ...
- Hive(3)-meta store和hdfs详解,以及JDBC连接Hive
一. Meta Store 使用mysql客户端登录hadoop100的mysql,可以看到库中多了一个metastore 现在尤其要关注这三个表 DBS表,存储的是Hive的数据库 TBLS表,存储 ...
- java使用JDBC连接hive(使用beeline与hiveserver2)
首先虚拟机上已经安装好hive. 下面是连接hive需要的操作. 一.配置. 1.查找虚拟机的ip 输入 ifconfig 2.配置文件 (1)配置hadoop目录下的core-site.xml和hd ...
- Hive记录-配置远程连接(JAVA/beeline)
1.修改配置hive-site.xml hadoop core-site.xml限制---参考Hive记录-部署Hive环境 2.启动hadoop #sh /usr/app/hadoop/sbi ...
- Hive记录-impala常用命令
1.impala是什么 Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据.已有的Hive系统虽然也提供了SQL ...
- Kettle jdbc连接hive出现问题
jdbc连接时报如下错误: Error connecting to database [k] : org.pentaho.di.core.exception.KettleDatabaseExcepti ...
- Java使用JDBC连接Hive
最近一段时间,处理过一个问题,那就是hive jdbc的连接问题,其实也不是大问题,就是url写的不对,导致无法连接.问题在于HiveServer2增加了别的安全验证,导致正常的情况下,传递的参数无法 ...
- JDBC连接Hive数据库
一.依赖 pom <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncodi ...
随机推荐
- POJ1015-Jury Compromise-dp
略复杂的dp题. 有n个人,每个人有两个分数di,pi.从中选出m个人,要求|sigma(di)-sigma(pi)|最小,相同时则输出sigma(di)+sigma(pi)最大的情况. 答案完整输出 ...
- 【XSY2693】景中人 区间DP
题目描述 平面上有\(n\)个点,你要用一些矩形覆盖这些点,要求: 每个矩形的下边界为\(y=0\) 每个矩形的大小不大于\(s\) 问你最少要用几个矩形. \(n\leq 100,1\leq y\l ...
- Java归并排序的递归与非递归实现
该命题已有无数解释,备份修改后的代码 平均时间复杂度: O(NLogN) 以2为底 最好情况时间复杂度: O(NLogN) 最差情况时间复杂度: O(NLogN) 所需要额外空间: 递归:O(N + ...
- phpcms 手机门户配置注意事项
设置域名解析后,服务器apache,iis,nginx等,设置虚拟服务器时, 如下,只设置index.php为默认入口文件: 默认pc站为index.html为默认访问文件! pc与wap站,绑定目录 ...
- Vue组件之间数据交互与通信
Vue 的组件作用域都是孤立的,不允许在子组件的模板内直接引用父组件的数据.必须使用特定的方法才能实现组件之间的数据传递. 一.父组件向子组件传递数据 在 Vue 中,可以使用 props 向子组件传 ...
- linux/mac下一键删除下载失败的maven jar包
echo 正在搜索... find . -name "*lastUpdated" | xargs rm -fr echo 搜索完毕
- maven插件运行过程中自动执行sql文件
配置pom.propertis即可 <plugin> <groupId>org.codehaus.mojo</groupId> <artifactId> ...
- java 遍历方法 及 数组,ArrayList,HashMap,HashSet的遍历
一,遍历方法的实现原理 1.传统的for循环遍历,基于计数器的: 遍历者自己在集合外部维护一个计数器,然后依次读取每一个位置的元素,当读取到最后一个元素后,停止.主要就是需要按元素的位置来读取元素. ...
- A1119. Pre- and Post-order Traversals
Suppose that all the keys in a binary tree are distinct positive integers. A unique binary tree can ...
- A1043. Is It a Binary Search Tree
A Binary Search Tree (BST) is recursively defined as a binary tree which has the following propertie ...
