hive jdbc执行select count(*) from test报错. return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask google网调(百度毛也没有搜到,还是国内大牛都不屑于回答问题),终于发现原来是因为jdbc需要在代码中指定用户(可以不指定密码),代表可以使用哪个用户来调用该语句. 这个问题解决了大数据的多租户问题:在代码中只要通过jdbc链接字符串指定了用户名(id都不需要指定)即可指定执行用户的名称

error: java.sql.SQLException: No suitable driver found for jdbc:hive://localhost:10000/default at java.sql.DriverManager.getConnection(DriverManager.java:) at java.sql.DriverManager.getConnection(DriverManager.java:) at demo.utils.JDBCUtils.getConnec

hive是大数据技术簇中进行数据仓库应用的基础组件,是其它类似数据仓库应用的对比基准.基础的数据操作我们可以通过脚本方式以hive-client进行处理.若需要开发应用程序,则需要使用hive的jdbc驱动进行连接.本文以hive wiki上示例为基础,详细讲解了如何使用jdbc连接hive数据库.hive wiki原文地址: https://cwiki.apache.org/confluence/display/Hive/HiveClient https://cwiki.apache.org/

Hive 接口介绍(Web UI/JDBC) 实验简介 本次实验学习 Hive 的两种接口:Web UI 以及 JDBC. 一.实验环境说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序: XfceTerminal: Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令: Firefox:浏览器,可以用在需要前端界面的课程里,只需要打开环境里写

重要:在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口.使用下面命令进行开启:hive -service hiveserver & 1). 测试数据 userinfo.txt文件内容(每行数据之间用tab键隔开): 1   xiapi2    xiaoxue3    qingqing 2). 程序代码 packagecom.ljq.hive;import java.sql.Connection; import java.sql.DriverManager;imp

0.概述 使用的都是CLI或者hive –e的方式仅允许使用HiveQL执行查询.更新等操作.然而Hive也提供客户端的实现,通过HiveServer或者HiveServer2,客户端可以在不启动CLI的情况下对Hive中的数据进行操作,两者都允许远程客户端使用多种编程语言如Java.Python向Hive提交请求,取回结果. HiveServer与HiveServer2的异同? HiveServer和HiveServer2都是基于Thrift.既然已经存在HiveServer为什么还需要Hiv

参考https://www.iteblog.com/archives/846.html 1.hive依赖hadoop,将hdfs当作文件存储介质,那是否意味着hive需要知道namenode的地址? 实际上在hive的hive- 2.hive的本地模式和远程模式有什么区别? hive本质上是将sql语法解析为mapreduce的过程,既然如此它就必须提交mapreduce任务到resoucemanager,那么它如何提交?就是通过hadoop提供的命令hadoop jar命令来提交. 本地模式:

http://www.cnblogs.com/netbloomy/p/6688670.html 0.概述 使用的都是CLI或者hive –e的方式仅允许使用HiveQL执行查询.更新等操作.然而Hive也提供客户端的实现,通过HiveServer或者HiveServer2,客户端可以在不启动CLI的情况下对Hive中的数据进行操作,两者都允许远程客户端使用多种编程语言如Java.Python向Hive提交请求,取回结果. HiveServer与HiveServer2的异同? HiveServer

第一部分:搭建Hive JDBC开发环境 搭建:Steps •新建工程hiveTest •导入Hive依赖的包 •Hive  命令行启动Thrift服务 •hive --service hiveserver &          第二部分:基本操作对象的介绍 Connection •说明:与Hive连接的Connection对象 •Hive 的连接 •jdbc:hive://IP:10000/default“ •获取Connection的方法 •DriverManager.getConnecti

<Spark最佳实战  陈欢>写的这本书,关于此知识点,非常好,在94页. hive里的扩展接口,主要包括CLI(控制命令行接口).Beeline和JDBC等方式访问Hive. CLI和Beeline都是交互式用户接口,并且功能相似,但是语法和实现不同. JDBC是一种类似于编程访问关系型数据库的编程接口. 1.CLI 在UNIX shell环境下输入hive命令可以启用Hive CLI.在CLI下,所有的Hive语句都以分号结束. 在CLI下可以对一些属性做出设置,像是设置底层MapRedu

首先虚拟机上已经安装好hive. 下面是连接hive需要的操作. 一.配置. 1.查找虚拟机的ip 输入 ifconfig 2.配置文件 (1)配置hadoop目录下的core-site.xml和hdfs-site.xml 在core-site.xml中添加下面配置: <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> &

一.Hive:一个牛逼的数据仓库 1.1 神马是Hive? Hive 是建立在 Hadoop 基础上的数据仓库基础构架.它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储.查询和分析存储在 Hadoop 中的大规模数据的机制.Hive 定义了简单的类 SQL  查询语言,称为 QL ,它允许熟悉 SQL  的用户查询数据.同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper  和 reducer 来处理内建的 mapper 和 reduce

1. 描述 Hadoop是个很流行的分布式计算解决方案,Hive是基于hadoop的数据分析工具.一般来说我们对Hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,这样的模式用来做一些测试比较合适,并不适合做产品的开发和应用. 因此,就产生了Hive的JDBC连接的方式.本文介绍报表开发工具FineReport中,hadoop.hive数据库连接方法. 2. 步骤 Hive提供了jdbc驱动,使得我们可以连接Hive并进行

创建项目,添加jar包,hive的s上,所以也需要hadoop的一些jar 这个图片是从网上找的,我直接使用的以前hadoop的项目   创建测试类,写测试代码 //获取jdbc链接 private static Connection getConnection(){ Connection conn=null; try { //注册驱动 Class.forName("org.apache.hive.jdbc.HiveDriver"); conn/default"); /def

HIVE JOIN:http://blog.csdn.net/yfkiss/article/details/8073608 HIVE资料: 一条记录map阶段输出KV,shuffle sort,输出KV,最后reduce输出结果 https://skydrive.live.com/?mkt=zh-CN#!/view.aspx?cid=D04547F5707AF6F9&resid=D04547F5707AF6F9%21107&app=PowerPoint RCFILE:http://www.

之前通过命令行的界面可以操作Hive,可是在实际的生产环境中,往往都是需要写API的,因此对Hive的API简单的列举了一下.并对Hive进行了一个简单的封装.具体的封装可以参考github网站主页:https://github.com/ljy2015/HiveUtil 在这个过程中,其本质上跟mysql和oracle之间没有大的差别,仅仅是有些细节方面不一样,但是这些细节不注意可能就会犯错,因此细节很重要.下面有几个问题需要在这边说明一下: 1.连接hive数据仓库的时候,是会区分HiveSe

Hive是一个基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析.在本质上,Hive与Pig一样,都是将相应的查询语句转换为MapReduce程序,简化数据处理过程.不过相比Pig来说,Hive使用的HiveQL语言很接近SQL语言,因此对于开发人员来说更容易上手,使用频率也更高. 一.Hive基础知识 1.基本概念  Hive是一个建立在Hadoop

一.Hive基本概念.安装部署与初步使用 1. 后续课程 Hive 项目:hadoop hive sqoop flume hbase 电商离线数据分析 CDH Storm:分布式实时计算框架 Spark: 2. 如何学习大数据技术 上课时候,认真听,勤做笔记: 遇到难理解的概念,马上记录下来: 课后多动手,操作过程遇到问题,多思考: 不要遇到问题,首先就问别人: 珍惜问问题的机会: 讲究问题的技巧与方式,提出自己的大概思考思路: 多总结: 总结成文档,作为以后的参考: 归档成自己的知识库: 每个

以下两种方法都可以,推荐用方法一! 方法一: 步骤一: yum -y install mysql-server 步骤二:service mysqld start 步骤三:mysql -u root -p Enter password: (默认是空密码,按enter) mysql > CREATE USER 'hive'@'%' IDENTIFIED BY 'hive'; mysql > GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT O

package com.hive.jdbc; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; /** * 开启hive server服务 * * nohup bin/hive --service hiveserver >> hiveserver.log 2&g

原文来自:  http://blog.csdn.net/zhumin726/article/details/8027802 1 HIVE概述 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,HIVE的设计,可以轻松实现数据汇总,ad-hoc查询和分析大量的数据.它提供了一种称为HIVE QL的查询语言,基于sql的语法,使用户熟悉HIVE QL的语法容易做ad-hoc查询,汇总和数据分析,同时,HIVE QL也使传统的map / reduce的程序员能够插