目的是将phoenix做存储,spark做计算层.这样就结合了phoenix查询速度快和spark计算速度快的优点.在这里将Phoenix的表作为spark的RDD或者DataFrames来操作,并且将操作的结果写回phoenix中.这样做也扩大了两者的使用场景. Phoenix 版本 4.4.0Hbase版本 0.98spark版本 spark-1.5.2-bin-hadoop2.6首先配置 SPARK_CLASSPATH要想在spark中操作phoenix,就必须让spark可以找到phoe…

Spark 整合ElasticSearch 因为做资料搜索用到了ElasticSearch,最近又了解一下 Spark ML,先来演示一个Spark 读取/写入 ElasticSearch 简单示例.(spark 读取ElasticSearch中数据) 环境:IDEA2016,JDK8,windows10,安装的 ElasticSearch6.3.2 和 spark-2.3.1-bin-hadoop2.7,使用mvn package 将程序打成jar包,采用spark-submit提交给spar…

spark 读取Phoenix hbase table表到 DataFrame的方式 Demo1: 方式一:spark read读取各数据库的通用方式 方式二:spark.load 方式三:phoenixTableAsDataFrame(需要指定列名,留空就可以不指定列名) 方式四:phoenixTableAsRDD (需要指定列名,留空就可以不指定列名) Demo2: 方式一: 方式二: Demo3: Demo4:(点个赞) 4.1在phoenix中建表 4.2启动spark-shelll 4…

spark-sql 写代码方式 1.idea里面将代码编写好打包上传到集群中运行,上线使用 spark-submit提交 2.spark shell (repl) 里面使用sqlContext 测试使用,简单任务使用 spark-shell --master yarn-client 不能使用yarn-cluster 3.spark-sql spark-sql --master yarn-client 不能使用yarn-cluster 可以整合hive 使用hive的元数据 1.在hive的hiv…

背景: 场景需求1:使用spark直接读取HBASE表 场景需求2:使用spark直接读取HIVE表 场景需求3:使用spark读取HBASE在Hive的外表 摘要: 1.背景 2.提交脚本 内容 场景需求1:使用spark直接读取HBASE表 编写提交脚本: export SPARK2_HOME=/var/lib/hadoop-hdfs/spark--bin-hadoop2. export HBASE_LIB_HOME=/opt/cloudera/parcels/CDH/lib/hbase $…

安装文件准备 CDH 下载地址:http://archive.cloudera.com/cdh5/parcels/latest/ 下载操作系统对应的版本: 1．CDH-5.3.0-1.cdh5.3.0.p0.30-e17.parcel 2．CDH-5.3.0-1.cdh5.3.0.p0.30-e17.parcel.sha1 3．Manifest.json Cloudera Manager 下载地址:http://archive-primary.cloudera.com/cm5/cm/5/ 下载操…

1.环境说明 操作系统 CentOS Linux release 7.4.1708 (Core) Ambari 2.6.x HDP 2.6.3.0 Spark 2.x Phoenix 4.10.0-HBase-1.2 2.条件 HBase 安装完成 Phoenix 已经启用,Ambari界面如下所示: Spark 2安装完成 3.Spark2 与 Phoenix整合 Phoenix 官网整合教程: http://phoenix.apache.org/phoenix_spark.html 步骤:…

前言 在之前的大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建,但是在使用hive进行数据查询的时候会非常的慢,因为hive默认使用的引擎是MapReduce.因此就将spark作为hive的引擎来对hbase进行查询,在成功的整合之后,我将如何整合的过程写成本篇博文.具体如下! 事前准备 在进行整合之前,首先确保Hive.HBase.Spark的环境已经搭建成功!如果没有成功搭建,具体可以看我之前写的大数据学习系…

spark整合hive后,hive启动报错: ls: cannot access /export/servers/spark/lib/spark-assembly-*.jar: No such file or directory 原因:spark版本升级到2.x以后,原有lib目录下的大JAR包被分散成多个小JAR包,原来的spark-assembly-*.jar已经不存在,所以hive没有办法找到这个JAR包. 解决方法:打开hive下面的bin目录,找到hive文件,编辑hive文件,找到如…

原文地址:https://my.oschina.net/tearsky/blog/629201 摘要: 1.Operation category READ is not supported in state standby 2.配置spark.deploy.recoveryMode选项为ZOOKEEPER 3.多Master如何配置 4.No Space Left on the device(Shuffle临时文件过多) 5.java.lang.OutOfMemory, unable to cr…