本教程仅仅是使用spark,能在hive用就行。

1.下载Spark;

2.WinSCP上传spark压缩包到虚拟机;

3.tar -zxvf spark-2.3.3-bin-without-hadoop -C /opt/programs/

4.

1)配置Spark环境变量;

2)配置spark-env.sh 命令cp spark-env.sh.template spark-env.shvi spark-env.sh

末尾加上:

 export JAVA_HOME=/usr/java/jdk1.8.0_25
export SPARK_DIST_CLASSPATH=$(/opt/programs/hadoop-2.6.0/bin/hadoop classpath)

// /opt/programs/hadoop-2.6.0/bin/hadoopg改成自己的路径

3)配置slaves

hadoop1

hadoop2

hadoop3

4)将Spark相关文件,连接到$HIVE_HOME/lib中

3个包:

scala-library-2.11.8.jar

spark-core_2.11-2.3.3.jar

spark-network-common_2.11-2.3.3.jar

ln -snf /opt/programs/spark-2.3.3/jars/spark-core_2.11-2.3.3.jar   /opt/programs/hive-2.3.5/lib/spark-core_2.11-2.3.3.jar

配置成功的结果:

[root@hadoop1 conf]# ll /opt/programs/hive-2.3.5/lib/ | grep spark
lrwxrwxrwx. 1 root root 55 Sep 12 22:26 scala-library-2.11.8.jar -> /opt/programs/spark-2.3.3/jars/scala-library-2.11.8.jar
lrwxrwxrwx. 1 root root 56 Sep 12 22:27 spark-core_2.11-2.3.3.jar -> /opt/programs/spark-2.3.3/jars/spark-core_2.11-2.3.3.jar
lrwxrwxrwx. 1 root root 66 Sep 12 22:27 spark-network-common_2.11-2.3.3.jar -> /opt/programs/spark-2.3.3/jars/spark-network-common_2.11-2.3.3.jar

5)配置hive执行引擎

  1. 在配置文件里面配置;
 			<property>
<name>hive.execution.engine</name>
<value>spark</value>
</property>
  1. 在beeline配置,只在当前session有效;
//在beeline里
set hive.execution.engine=spark;

【HIVE & Spark】将hive引擎换成Spark,运行速度快!怎么换?请看本文的更多相关文章

  1. 大数据核心知识点:Hbase、Spark、Hive、MapReduce概念理解,特点及机制

    今天,上海尚学堂大数据培训班毕业的一位学生去参加易普软件公司面试,应聘的职位是大数据开发.面试官问了他10个问题,主要集中在Hbase.Spark.Hive和MapReduce上,基础概念.特点.应用 ...

  2. Hive扩展功能(七)--Hive On Spark

    软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 主机配置: 一共m1, m2, m3这五部机, 每部主机的用户名都为centos ...

  3. SparkSQL & Spark on Hive & Hive on Spark

    刚开始接触Spark被Hive在Spark中的作用搞得云里雾里,这里简要介绍下,备忘. 参考:https://blog.csdn.net/zuochang_liu/article/details/82 ...

  4. Hive架构及Hive On Spark

    Hive的所有数据都存在HDFS中. (1)Table:每个表都对应在HDFS中的目录下,数据是经过序列化后存储在该目录中.同时Hive也支持表中的数据存储在其他类型的文件系统中,如NFS或本地文件系 ...

  5. Spark 操作Hive 流程

    1.ubuntu 装mysql 2.进入mysql: 3.mysql>create database hive (这个将来是存 你在Hive中建的数据库以及表的信息的(也就是元数据))mysql ...

  6. spark sql/hive小文件问题

    针对hive on mapreduce 1:我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并: 参数详细内容可参考官网:https://cwiki.apache.org/conflue ...

  7. 小记---------spark组件与其他组件的比较 spark/mapreduce ;spark sql/hive ; spark streaming/storm

    Spark与Hadoop的对比   Scala是Spark的主要编程语言,但Spark还支持Java.Python.R作为编程语言 Hadoop的编程语言是Java    

  8. Spark链接hive时 “HikariCP” 问题

    IDE本地调试和spark-shell调试报错: Caused by: org.datanucleus.exceptions.NucleusUserException: The connection ...

  9. Hive(十三)【Hive on Spark 部署搭建】

    Hive on Spark 官网详情:https://cwiki.apache.org//confluence/display/Hive/Hive+on+Spark:+Getting+Started ...

随机推荐

  1. spring 事务管理配置

    本篇文章只涉及spring事务的配置,不进行事务的介绍. spring通过PlatformTransactionManager接口作为事务管理器来进行事务的管理,它本身并不进行事务的创建以及相关操作, ...

  2. java基础篇 之 非静态内部类

    什么是非静态内部类: public class Outer { Outer() { System.out.println("我是外部类"); } class Inner { Inn ...

  3. vue-cli3使用全局scss

    在开发项目的时候,经常会出现多个元素样式相同,比如颜色相同.这里就需要我们设置公共样式,方便后期调试 一配置方法 1.在src/assets/styles目录下创建文件variable.scss // ...

  4. [hdu5402 Travelling Salesman Problem]YY

    题意:给一个n*m的矩形,每个格子有一个非负数,求一条从(1,1)到(n,m)的路径(不能经过重复的格子),使得经过的数的和最大,输出具体的方案 思路:对于row为奇数的情况,一行行扫下来即可全部走完 ...

  5. Mockito如何mock一条链式调用

    在写单元测试的时候,不免可能需要mock一些对象出来,并且mock一些方法调用去返回一个自己想要的对象.一般的使用是这样的: FinalPumpkin pumpkin = mock(FinalPump ...

  6. vue element-ui el-form-item 循环渲染,验证表单内容

    data里面如下图:

  7. Colorful String

    Colorful String #include <bits/stdc++.h> using namespace std; typedef long long ll; ; char s[m ...

  8. DRF版本组件

    1.DRF版本组件配置类局部使用 局部配置: 方式一:直接配置versioning_class=QueryParameterVersioning 方式二:直接配置versioning_class=UR ...

  9. 若依微服务版本 Windows下开发环境搭建

    看了若依官网的教程,搭建环境还是踩了坑,简单整理一下 1.下载地址:https://gitee.com/y_project/RuoYi-Cloud 2.本地环境(仅供参考) JDK1.8 Mysql  ...

  10. mysql小白系列_12 sysbench

    压测 1.查看机器负载load top - load average 1m 5m 15m cat /proc/loadavg 与CPU个数有关,1个load表示1个CPUcat /proc/cpuin ...