Hive：JDBC示例

Hive和Jdbc示例

重要:在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口.使用下面命令进行开启:hive -service hiveserver & 1). 测试数据 userinfo.txt文件内容(每行数据之间用tab键隔开): 1 xiapi2 xiaoxue3 qingqing 2). 程序代码 packagecom.ljq.hive;import java.sql.Connection; import java.sql.DriverManager;imp…

1)本地目录/home/hadoop/test下的test4.txt文件内容(每行数据之间用tab键隔开)如下所示: [hadoop@master test]$ sudo vim test4.txt dajiangtai hadoop hive hbase spark 2)启动hiveserver2 [hadoop@master test]$ cd ${HIVE_HOME}/bin [hadoop@master bin]$ ll total -rwxr-xr-x hadoop hadoop Ja…

三、hive JavaAPI示例

在上文中https://www.cnblogs.com/lay2017/p/9973370.html 我们通过hive shell去操作hive,本文我们以Java代码的示例去对hive执行加载数据和查询数据来演示JavaAPI如何通过JDBC来操作hive的 hive client的更多内容可以参考:https://cwiki.apache.org/confluence/display/Hive/HiveClient 一.依赖由于hive的服务端基于1.2.2版本,所以这里采用jdbc1.2…

Hive JDBC——深入浅出学Hive

第一部分:搭建Hive JDBC开发环境搭建:Steps •新建工程hiveTest •导入Hive依赖的包 •Hive 命令行启动Thrift服务 •hive --service hiveserver & 第二部分:基本操作对象的介绍 Connection •说明:与Hive连接的Connection对象 •Hive 的连接 •jdbc:hive://IP:10000/default“ •获取Connection的方法 •DriverManager.getConnecti…

Hive学习之六《Hive进阶— —hive jdbc》详解

接Hive学习五 http://www.cnblogs.com/invban/p/5331159.html 一.配置环境变量 hive jdbc的开发,在开发环境中,配置Java环境变量修改/etc/profile vi /etc/profile PATH=$PATH:/usr/java/jdk1..0_31/bin:/opt/litong/bin source /etc/profile 立即起效二.配置文件开发 Hive_sql Mysql_table=rpt_sale_daily mys…

Hive 8、Hive2 beeline 和 Hive jdbc

1.Hive2 beeline Beeline 要与HiveServer2配合使用,支持嵌入模式和远程模式启动beeline 打开两个Shell窗口,一个启动Hive2 一个beeline连接hive2 #启动HiverServer2 , ./bin/hiveserver2 [root@node5 ~]# hiveserver2 16/02/23 22:55:25 WARN conf.HiveConf: HiveConf of name hive.metastore.local does…

Hive JDBC:java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: root is not allowed to impersonate anonymous

今天使用JDBC来操作Hive时,首先启动了hive远程服务模式:hiveserver2 &(表示后台运行),然后到eclipse中运行程序时出现错误: java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.182.11:10000/default: Failed to open new session: java.lang.RuntimeException: org.…

使用Spring Boot操作Hive JDBC时，启动时报出错误：NoSuchMethodError: org.eclipse.jetty.servlet.ServletMapping.setDef

使用Spring Boot操作Hive JDBC时,启动时报出错误:NoSuchMethodError: org.eclipse.jetty.servlet.ServletMapping.setDef 原创 2017年10月30日 16:51:47 标签: spring / hive / spring boot 57 使用Spring Boot操作Hive JDBC时,启动时报出错误:NoSuchMethodError: org.eclipse.jetty.servlet.ServletMapp…

hive JDBC异常到多租户

hive jdbc执行select count(*) from test报错. return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask google网调(百度毛也没有搜到,还是国内大牛都不屑于回答问题),终于发现原来是因为jdbc需要在代码中指定用户(可以不指定密码),代表可以使用哪个用户来调用该语句. 这个问题解决了大数据的多租户问题:在代码中只要通过jdbc链接字符串指定了用户名(id都不需要指定)即可指定执行用户的名称…

Hive jdbc连接出现java.sql.SQLException: enabling autocommit is not supported

1.代码如下 String url = "jdbc:hive2://master135:10000/default"; String user = "root"; String pwd = "root"; String driverName = "org.apache.hive.jdbc.HiveDriver"; Class.forName(driverName); Connection conn = DriverManage…

java.sql.SQLException: Could not establish connection to 192.168.8.111:10000/default: java.net.ConnectException: Connection refused: connect at org.apache.hadoop.hive.jdbc.HiveConnection.<init>(HiveC

java.sql.SQLException: Could not establish connection to 192.168.8.111:10000/default: java.net.ConnectException: Connection refused: connect at org.apache.hadoop.hive.jdbc.HiveConnection.<init>(HiveConnection.java:117) 需要启动:hive --service hiveserver…

spark SQL （五）数据源 Data Source----json hive jdbc等数据的的读取与加载

1,JSON数据集 Spark SQL可以自动推断JSON数据集的模式,并将其作为一个Dataset[Row].这个转换可以SparkSession.read.json()在一个Dataset[String]或者一个JSON文件上完成. 请注意,作为json文件提供的文件不是典型的JSON文件.每行必须包含一个单独的,独立的有效JSON对象.有关更多信息,请参阅 JSON行文本格式,也称为换行符分隔的JSON. 对于常规的多行JSON文件,请将该multiLine选项设置为true.例如下面的例…

Spring JDBC 示例

在使用普通的 JDBC 数据库时,就会很麻烦的写不必要的代码来处理异常,打开和关闭数据库连接等.但 Spring JDBC 框架负责所有的低层细节,从开始打开连接,准备和执行 SQL 语句,处理异常,处理事务,到最后关闭连接. 所以当从数据库中获取数据时,你所做的是定义连接参数,指定要执行的 SQL 语句,每次迭代完成所需的工作. Spring JDBC 提供几种方法和数据库中相应的不同的类与接口.我将给出使用 JdbcTemplate 类框架的经典和最受欢迎的方法.这是管理所有数据库通信和异常…

Hive JDBC：Permission denied: user=anonymous, access=EXECUTE, inode=”/tmp”

今天使用JDBC来操作Hive时,首先启动了hive远程服务模式:hiveserver2 &(表示后台运行),然后到eclipse中运行程序时出现错误: Permission denied: user=anonymous, access=EXECUTE, inode=”/tmp” 解决办法:报错内容提示hive没有/tmp目录的权限,赋予权限即可: hdfs dfs -chmod 777 /tmp…

[转]MySQL的简单使用和JDBC示例

MySql简单操作 //启动mysql net start mysql //登陆 mysql -u root -p //创建建数据库 create database mydb; create database test; //删除数据库 drop database test; //使用数据库 use mydb; //创建表 create table mytable(name varchar(20),sex char); //显示数据库中所有表 show tables; //增加一列 alter…

JDBC示例（增删查改）

前提: 1.项目中引入MySQL的JAR包,POM参考如下配置:   <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId&…

Hive JDBC执行load时无法从本地加载数据

通过hive-jdcv连接hive server,在应用服务端执行以下命令,报错:Hiver Server节点上找不到data.txt load data local inpath '/home/dw_hbkas/przhang/data.txt' overwrite into table ind01acom 原因如下: When using the JDBC driver, the command executes on the HiveServer2 side. The file is ev…

MySQL的简单使用和JDBC示例

MySql是关系型数据库管理系统(RDBMS),所谓的"关系型"可以把它当作是"表格"概念,事实上,一个关系型数据库由一个或数个表格组成. MySQL所使用的SQL语句是访问数据库最常用的标准化语言,SQL语句包含数据操纵语言(DML).数据定义语言(DDL).数据控制语言(DCL) 比如: 数据定义语言创建数据库删除数据库创建表删除表修改表数据操纵语言插入记录更新记录删除记录查询记录数据控制语言授权回滚提交安装MySql 下载MySq…

JDBC示例程序

import java.io.IOException; import java.io.InputStream; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; import java.util.Properties; import org.apache.comm…

hive JDBC客户端启动

JDBC客户端操作步骤…

Hive之示例一：基本操作与案例

1. 创建数据库,切换数据库 create database testdb; use testdb; 2. 创建管理表 create table emp( empno int, empname string, job string, mgr int, hiredate string, salary double, comm double, deptno int) row format delimited fields terminated by '\t'; 加载数据 load data loca…

Druid 0.2.25版本hive jdbc 不支持 conn.getHoldability() 兼容处理问题

背景: 用Druid做Oracle的连接池感觉还不错,近日新项目要用Hive,故而也想使用Duid来做Hive的连接池.试了试果真可以,也没报错.但是,过了一段时间,同样的代码却出问题了.离奇的是我同事,却没有任何问题,依旧可以使用. PS:最新版本已发布1.0.26,该问题直接下载新版本即可.但是,出现新的问题,maven引入包时,jconsole-1.8.jar.tools-1.8.0.jar缺失. <dependency> <groupId>com.alibaba</g…

Spring的JDBC示例

以下内容引用自http://wiki.jikexueyuan.com/project/spring/jdbc-framework-overview/spring-jdbc-example.html: 实现前提: 1.在MySql上新建数据库并导入相关数据,脚本如下: -- -- 数据库: `test` -- -- -------------------------------------------------------- -- -- 表的结构 `student` -- CREATE TABL…

通过JDBC连接hive

hive是大数据技术簇中进行数据仓库应用的基础组件,是其它类似数据仓库应用的对比基准.基础的数据操作我们可以通过脚本方式以hive-client进行处理.若需要开发应用程序,则需要使用hive的jdbc驱动进行连接.本文以hive wiki上示例为基础,详细讲解了如何使用jdbc连接hive数据库.hive wiki原文地址: https://cwiki.apache.org/confluence/display/Hive/HiveClient https://cwiki.apache.org/…

【Hive：JDBC示例】的更多相关文章