本教程仅仅是使用spark,能在hive用就行。

1.下载Spark;

2.WinSCP上传spark压缩包到虚拟机;

3.tar -zxvf spark-2.3.3-bin-without-hadoop -C /opt/programs/

4.

1)配置Spark环境变量;

2)配置spark-env.sh 命令cp spark-env.sh.template spark-env.shvi spark-env.sh

末尾加上:

 export JAVA_HOME=/usr/java/jdk1.8.0_25
export SPARK_DIST_CLASSPATH=$(/opt/programs/hadoop-2.6.0/bin/hadoop classpath)

// /opt/programs/hadoop-2.6.0/bin/hadoopg改成自己的路径

3)配置slaves

hadoop1

hadoop2

hadoop3

4)将Spark相关文件,连接到$HIVE_HOME/lib中

3个包:

scala-library-2.11.8.jar

spark-core_2.11-2.3.3.jar

spark-network-common_2.11-2.3.3.jar

ln -snf /opt/programs/spark-2.3.3/jars/spark-core_2.11-2.3.3.jar   /opt/programs/hive-2.3.5/lib/spark-core_2.11-2.3.3.jar

配置成功的结果:

[root@hadoop1 conf]# ll /opt/programs/hive-2.3.5/lib/ | grep spark
lrwxrwxrwx. 1 root root 55 Sep 12 22:26 scala-library-2.11.8.jar -> /opt/programs/spark-2.3.3/jars/scala-library-2.11.8.jar
lrwxrwxrwx. 1 root root 56 Sep 12 22:27 spark-core_2.11-2.3.3.jar -> /opt/programs/spark-2.3.3/jars/spark-core_2.11-2.3.3.jar
lrwxrwxrwx. 1 root root 66 Sep 12 22:27 spark-network-common_2.11-2.3.3.jar -> /opt/programs/spark-2.3.3/jars/spark-network-common_2.11-2.3.3.jar

5)配置hive执行引擎

  1. 在配置文件里面配置;
 			<property>
<name>hive.execution.engine</name>
<value>spark</value>
</property>
  1. 在beeline配置,只在当前session有效;
//在beeline里
set hive.execution.engine=spark;

【HIVE & Spark】将hive引擎换成Spark,运行速度快!怎么换?请看本文的更多相关文章

  1. 大数据核心知识点:Hbase、Spark、Hive、MapReduce概念理解,特点及机制

    今天,上海尚学堂大数据培训班毕业的一位学生去参加易普软件公司面试,应聘的职位是大数据开发.面试官问了他10个问题,主要集中在Hbase.Spark.Hive和MapReduce上,基础概念.特点.应用 ...

  2. Hive扩展功能(七)--Hive On Spark

    软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 主机配置: 一共m1, m2, m3这五部机, 每部主机的用户名都为centos ...

  3. SparkSQL & Spark on Hive & Hive on Spark

    刚开始接触Spark被Hive在Spark中的作用搞得云里雾里,这里简要介绍下,备忘. 参考:https://blog.csdn.net/zuochang_liu/article/details/82 ...

  4. Hive架构及Hive On Spark

    Hive的所有数据都存在HDFS中. (1)Table:每个表都对应在HDFS中的目录下,数据是经过序列化后存储在该目录中.同时Hive也支持表中的数据存储在其他类型的文件系统中,如NFS或本地文件系 ...

  5. Spark 操作Hive 流程

    1.ubuntu 装mysql 2.进入mysql: 3.mysql>create database hive (这个将来是存 你在Hive中建的数据库以及表的信息的(也就是元数据))mysql ...

  6. spark sql/hive小文件问题

    针对hive on mapreduce 1:我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并: 参数详细内容可参考官网:https://cwiki.apache.org/conflue ...

  7. 小记---------spark组件与其他组件的比较 spark/mapreduce ;spark sql/hive ; spark streaming/storm

    Spark与Hadoop的对比   Scala是Spark的主要编程语言,但Spark还支持Java.Python.R作为编程语言 Hadoop的编程语言是Java    

  8. Spark链接hive时 “HikariCP” 问题

    IDE本地调试和spark-shell调试报错: Caused by: org.datanucleus.exceptions.NucleusUserException: The connection ...

  9. Hive(十三)【Hive on Spark 部署搭建】

    Hive on Spark 官网详情:https://cwiki.apache.org//confluence/display/Hive/Hive+on+Spark:+Getting+Started ...

随机推荐

  1. springboot整合mybatis,利用mybatis-genetor自动生成文件

    springboot整合mybatis,利用mybatis-genetor自动生成文件 项目结构: xx 实现思路: 1.添加依赖 <?xml version="1.0" e ...

  2. 设计模式之GOF23责任链模式

    责任链模式chain of responsibility 将能够处理同一类请求的对象连成一条链,所提交的请求依次在链上传递,直到传递至有能力处理该请求的对象,不能则传给链上下一个 场景: -打牌时 - ...

  3. [hdu1085]生成函数

    题意:给a个1.b个2.c个5,求不能构成最小的数 思路: 先求1能构成的所有数,2能构成的所有数,5能构成的所有数,它们的方法数显然都是1,现在考虑把3者结合在一起,由于结果为和的形式,而又是循环加 ...

  4. 线程和Python—Python多线程编程

    线程和Python 本节主要记录如何在 Python 中使用线程,其中包括全局解释器锁对线程的限制和对应的学习脚本. 全局解释器锁 Python 代码的执行是由 Python 虚拟机(又叫解释器主循环 ...

  5. 腾讯面试居然跟我扯了半小时的CountDownLatch

    一个长头发.穿着清爽的小姐姐,拿着一个崭新的Mac笔记本向我走来,看着来势汹汹,我心想着肯定是技术大佬吧!但是我也是一个才华横溢的人,稳住我们能赢. 面试官:看你简历上有写熟悉并发编程,CountDo ...

  6. 【白嫖】IT笔试面试真题讲解系列文章+视频

    视频讲解IT公司面试的高频考题~ 持续更新中,欢迎点赞转发~ 干货|名企高频考点指令篇-查看Linux硬盘空间使用情况 干货 | 名企高频考点指令篇-Linux查看CPU内存和系统版本 干货 | 名企 ...

  7. c++简单string实现

    string.h #pragma once class string { public: string(const char* str = nullptr); string(const string& ...

  8. css概述三

    五.盒子模型 4.box-sizing 定义盒子模型的计算方式 box-sizing:content-box; 默认值,我们定义的width/height是内容区域 元素占地宽度=左外边距+左边框+左 ...

  9. 都说变量有七八种,到底谁是 Java 的亲儿子

    网上罗列了很多关于变量的理解,良莠不齐,不知道哪些是对的,哪些是错的,所以笔者就这些博客和自己的理解写出这篇文章,如果有不对的地方,希望读者能够指正,感谢. 变量是我们经常用到的一种,我在刚学 Jav ...

  10. Fabric进阶(一)—— 修改组织和通道的名称

    组织(Org)和通道(Channel)的名称是fabric网络比较重要的两个配置参数,在fabric提供的示例中都已经设置好了这两个参数,一般组织名为"Org1"和"Or ...