1.编写目的:由于cdh-5.9.2自带spark版本是spark1.6,现需要测试spark2新特性,需要整合spark2, 且spark1.x和spark2.x可以同时存在于cdh中,无需先删除spark1.x: 2.安装包下载 2.1首先下载csd包,地址: http://archive.cloudera.com/spark2/csd/ 2.2  parcel包下载地址:http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/…

错误信息 19/01/15 19:36:40 WARN consumer.ConsumerConfig: The configuration max.poll.records = 1 was supplied but isn't a known config. 19/01/15 19:36:40 INFO utils.AppInfoParser: Kafka version : 0.9.0-kafka-2.0.2 19/01/15 19:36:40 INFO utils.AppInfoParse…

一,开源软件版本: hadoop版本 : hadoop-2.7.5 hive版本 :apache-hive-2.1.1 spark版本: spark-2.3.0-bin-hadoop2.7 各个版本到官网下载就ok,注意的是版本之间的匹配 机器介绍,三台机器,第一台canal1为主节点+工作节点,另两台为工作节点: 10.40.20.42 canal110.40.20.43 canal210.40.20.44 canal3 二.搭建hadoop集群 1.配置环境变量  vim /etc/prof…

相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 CentOS7安装CDH 第四章:CDH的版本选择和安装方式 CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章:CDH的管理-CDH5.12 CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置 CentOS7安装CDH 第八章:…

1.环境说明 操作系统 CentOS Linux release 7.4.1708 (Core) Ambari 2.6.x HDP 2.6.3.0 Spark 2.x Phoenix 4.10.0-HBase-1.2 2.条件 HBase 安装完成 Phoenix 已经启用,Ambari界面如下所示: Spark 2安装完成 3.Spark2 与 Phoenix整合 Phoenix 官网整合教程: http://phoenix.apache.org/phoenix_spark.html 步骤:…

SparkSQL与Hive的整合 1. 拷贝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到 $SPARK_HOME/conf/ 2. 在$SPARK_HOME/conf/目录中,修改spark-env.sh,添加 export HIVE_HOME=/opt/hive-1.2.1 export SPARK_CLASSPATH=$HIVE_HOME/lib:$SPARK_CLASSPATH 3. 另外也可以设置一下Spark的log4j配置文…

一..hbase与hive的兼容版本: hive0.90与hbase0.92是兼容的,早期的hive版本与hbase0.89/0.90兼容,不需要自己编译. hive1.x与hbase0.98.x或则更低版本是兼容的,不需要自己编译. hive2.x与hbase1.x及比hbase1.x更高版本兼容,不需要自己编译. hive 1.x 与 hbase 1.x整合时,需要自己编译 二..hbase与hive的整合过程: 1.修改 hive 的conf目录下 hive-site.xml文件 <pro…

最近spark2有同事想用anaconda3做开发,原因是上面可以跑机器学习的库(服务器因为没外网pip装whl确实麻烦) 1.先在每台机器安装anaconda3 2.把用户的~/.bashrc配置进Python的环境变量alias python=/opt/python/bin/python 3.把python配置进spark的配置文件在$sparkhome/lib/spark2/conf/spark-env.sh中最后添加python变量 export PYSPARK_PYTHON=/opt/…

SparkStreaming整合flume 在实际开发中push会丢数据,因为push是由flume将数据发给程序,程序出错,丢失数据.所以不会使用不做讲解,这里讲解poll,拉去flume的数据,保证数据不丢失. 1.首先你得有flume 比如你有:[如果没有请走这篇:搭建flume集群(待定)] 这里使用的flume的版本是apache1.6 cdh公司集成 这里需要下载 (1).我这里是将spark-streaming-flume-sink_2.11-2.0.2.jar放入到flume的l…

目录 前言 升级spark到2.0 将geotrellis最新版部署到spark2.0(CDH) 总结 一.前言        事情总是变化这么快,前面刚写了一篇博客介绍如何将geotrellis移植导CDH中(见geotrellis使用(二十四)将Geotrellis移植到CDH中必须要填的若干个坑),刚各种折腾几天,就又跑不起来了,查找一番,发现是由于将geotrellis升级到最新版造成的,所以不得不赶紧再救火.原来是最新版以及以后的版本geotrellis都不再支持spark2.0以下版…