Spark源码编译与环境搭建 Note that you must have a version of Spark which does not include the Hive jars; Spark编译: git clone https://github.com/apache/spark.git spark_src cd spark_src export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512…

Spark涉及的几个概念:RDD:Resilient Distributed Dataset(弹性分布数据集).DAG:Direct Acyclic Graph(有向无环图).SparkContext.Transformations.Actions. 1 Spark简介 1.1 什么是spark Spark:基于内存计算的大数据并行计算框架,用于构建大型的.低延迟的数据分析应用程序. Spark特点: 运行速度快:使用先进的DAG(有向无环图)执行引擎,以支持循环数据流与内存计算,基于内存的执行…

Spark环境搭建 下载包 所需Spark包:我选择的是2.2.0的对应Hadoop2.7版本的,下载地址:https://archive.apache.org/dist/spark/spark-2.2.0/ Spark 集群高可用搭建 对于 Spark Standalone 集群来说, 当 Worker 调度出现问题的时候, 会自动的弹性容错, 将出错的 Task 调度到其它 Worker 执行 但是对于 Master 来说, 是会出现单点失败的, 为了避免可能出现的单点失败问题, Spark…

Hive产生背景 1)MapReduce的编程不便,需通过Java语言等编写程序 2) HDFS上的文缺失Schema(在数据库中的表名列名等),方便开发者通过SQL的方式处理结构化的数据,而不需要Java等编写程序 Hive是什么 1)facebook开源,最初为解决海量的结构化日志数据统计问题 2)构建中Hadoop上的数据仓库 3)Hive定义了一种SQL查询语言:HQL(类似SQl但又不完全相同) 4)通常进行离线处理(采用MapReduce) 5)多种不同的底层执行引擎(Hive on…

引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase,并且测试成功了.在之前的大数据学习系列之一 ----- Hadoop环境搭建(单机) : http://www.panchengming.com/2017/11/26/pancm55/ 中成功的搭建了Hadoop的环境,本文主要讲的是Hadoop+Spark 的环境.虽然搭建的是单机版,…

想要搭建自己的Hadoop和spark集群,尤其是在生产环境中,下载官网提供的安装包远远不够的,必须要自己源码编译spark才行. 环境准备: 1,Maven环境搭建,版本Apache Maven 3.3.9,jar包管理工具: 2,JDK环境搭建,版本1.7.0_51,hadoop由Java编写: 3 ,Scala 环境搭建,版本 2.11.8,spark是scala编写的: 4 ,spark 源码包,从官网选择 编译前准备: 0,Maven ,JDK,Scala解压安装,并加入到环境变量中…

大数据情结 还记得上次跳槽期间,与很多猎头都有聊过,其中有一个猎头告诉我,整个IT跳槽都比较频繁,但是相对来说,做大数据的比较"懒"一些,不太愿意动.后来在一篇文中中也证实了这一观点,分析说大数据领域从业者普遍认为这是一个有前景,有潜力的方向,大多数希望有所积累,所以跳槽意愿不是很强烈. 14年的时候开始接触Hadoop,在Windows下搭了好几次环境,单机版.伪分布式和分布式都搭建过.那时候需要在Windows下装个虚拟机,在虚拟机中再装个Ubuntu,之后在Ubuntu上开始装j…

Spark摘说 Spark的环境搭建涉及三个部分,一是linux系统基础环境搭建,二是Hadoop集群安装,三是Spark集群安装.在这里,主要介绍Spark在Centos系统上的准备工作--linux系统基础环境搭建.这个主要包括: 运行环境说明:硬软件环境.集群网络环境.Linux使用工具(xshell和xftp) 样板机环境搭建:安装操作系统及创建hadoop用户.设置系统环境(机器名,IP地址,Host映射文件,关闭防火墙.SElinux).配置运行环境(更新OpenSSL--可选,修改…

准备条件 我用的Eclipse版本 Eclipse Java EE IDE for Web Developers. Version: Luna Release (4.4.0) 我用的是Eclipse for Java EE, 这个和Eclipse 是一样的 最好是用高版本的Eclipse,版本太低的话不支持Scala-IDE 1.安装Scala-IDE 在Eclipse中开发Scala程序需要有scala插件,我们现在安装scala插件 下面是安装过程截图 Scala IDE用于提供scala语…

1.hive执行引擎 Hive默认使用MapReduce作为执行引擎,即Hive on mr.实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark.由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲Spark比MapReduce快很多. 默认情况下,Hive on Spark 在YARN模式下支持Spark. 2.前提条件:安装JDK-1.8/hadoop-2.7.2等,参考之前的博文 3.下载hi…

写在前面的话 可详细参考,一定得去看 HBase 开发环境搭建(Eclipse\MyEclipse + Maven) Zookeeper项目开发环境搭建(Eclipse\MyEclipse + Maven) 我这里,相信,能看此博客的朋友,想必是有一定基础的了.我前期写了大量的基础性博文.可以去补下基础. 步骤一:File  ->  New  -> Project   ->  Maven Project 步骤二:自行设置,待会创建的myHBase工程,放在哪个目录下. 步骤三: 步骤四:…

一.安装Spark spark和Hadoop可以部署在一起,相互协作,由Hadoop的HDFS.HBase等组件复制数据的存储和管理,由Spark负责数据的计算. Linux:CentOS Linux release 7.6.1810(Core)(cat /etc/centos-release 查看linux版本) Hadoop:2.8.5(hadoop version) JDK:1.8.0_171(java -version) Spark:2.3.0(先在命令行中查找spark-shell所在…

一.环境搭建 1.1.上传spark安装包 创建文件夹用于存放spark安装文件命令:mkdir spark 1.2.解压spark安装包 命令:tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /home/bi/spark 1.3.修改环境变量 命令:vi /etc/profile修改内容:export SPARK_HOME=/home/bi/spark/spark-2.1.0-bin-hadoop2.7export PATH=${JAVA_HOME}/bi…

Hive on Spark 官网详情:https://cwiki.apache.org//confluence/display/Hive/Hive+on+Spark:+Getting+Started 一.安装Hive 具体安装参考:Hive(一)[基本概念.安装] 安装和Spark对应版本一起编译的Hive,当前官网推荐的版本关系如下: HiveVersion SparkVersion 1.1.x 1.2.0 1.2.x 1.3.1 2.0.x 1.5.0 2.1.x 1.6.0 2.2.x 1…

配置好HDFS之后,接下来配置单节点的yarn环境 1,修改配置文件 文件 : /root/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/yarn-site-xml 插入     <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>…

下载的压缩文件放在~/software/    解压安装在~/app/ 一:分布式文件系统搭建HDFS 1,下载Hadoop HDFS环境搭建    使用版本:hadoop-2.6.0-cdh5.7.0 下载:wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz 解压:tar http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.…

一.JDK环境构建 在指定用户的根目录下编辑.bashrc文件,添加如下部分: # .bashrc # Source global definitions if [ -f /etc/bashrc ]; then . /etc/bashrc fi # User specific aliases and functions JAVA_HOME=/data01/java/jdk1.8.0_121 PATH=$JAVA_HOME/bin:$PATHexport PATH JAVA_HOME 运行sour…

环境 spark-1.6 python3.5 一.python开发spark原理使用python api编写pyspark代码提交运行时,为了不破坏spark原有的运行架构,会将写好的代码首先在python解析器中运行(cpython),Spark代码归根结底是运行在JVM中的,这里python借助Py4j实现Python和Java的交互,即通过Py4j将pyspark代码“解析”到JVM中去运行.例如,在pyspark代码中实例化一个SparkContext对象,那么通过py4j最终在JVM中…

1. 下载Spark 1.1 官网下载Spark http://spark.apache.org/downloads.html 打开上述链接,进入到下图,点击红框下载Spark-2.2.0-bin-hadoop2.7.tgz,如下图所示: 2. 安装Spark Spark安装,分为: 准备,包括上传到主节点,解压缩并迁移到/opt/app/目录: Spark配置集群,配置/etc/profile.conf/slaves以及confg/spark-env.sh,共3个文件,配置完成需要向集群其他机…

spark的启动方式有两种,一种单机模式(Local),另一种是多机器的集群模式(Standalone) Standalone 搭建: 准备:hadoop001,hadoop002两台安装spark的机器 1) 在$SPARK_HOME/conf中新建 spark-env.sh,并加入以下内容 SPARK_MASTER_HOST=hadoop001 #设置master的host SPARK_WORKER_CORES=2 #设置core的个数给worker SPARK_WORKER_MEMORY=…

Spark:快速的通用的分布式计算框架 概述和特点: 1) Speed,(开发和执行)速度快.基于内存的计算:DAG(有向无环图)的计算引擎:基于线程模型: 2)Easy of use,易用 . 多语言(Java,python,scala,R); 多种计算API可调用:可在交互式模式下运行: 3)Generality  通用.可以一站式解决多个不同场景的应用业务 Spark Streaming :用来做流处理 MLlib : 用于机器学习 GraphX:用来做图形计算的 4) Runs Ever…

在安装Spark之前,我们需要在自己的系统当中先安装上jdk和scala 可以去相应的官网上下载: JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html scala:http://www.scala-lang.org/download/ 下载完成后可以得到这样两个压缩包  安装JDK 首先我们先来安装jdk, sudo mkdir /usr/lib/jdk 1 用这条语句来创…

spark的新人会有什么坑 spark是一个以java为基础的,以Scala实现的,所以在你在安装指定版本的spark,需要检查你用的是对应spark使用什么版本的scala,可以通过spark-shel --version进行查看,也需要看一下scala使用的什么版本的jdk运行,在scala官方下载页面会有说明jdk版本,然后在编译时使用指定版本的jdk.并且jdk8是jdk1.8,哈哈,讨论很深的. mac的java目录在/Library/Java/JavaVirtualMachines/…

配置这个遇到太多问题了,写下来分享 首先到官网下载openfire+spark 下载地址:http://www.igniterealtime.org/downloads/index.jsp…

一.所需环境 · Java 8 · Python 2.6+ · Scala · Hadoop 2.7+ 二.Spark下载与解压 http://spark.apache.org/downloads.html 按照以下截图提示,点击下载Spark的tgz压缩包. 下载完成后将Spark用7zip工具解压,放到一个不带空格的根目录下,我将起放在C盘的spark文件夹下:C:\spark\spark-2.4.4-bin-hadoop2.7 三.环境变量配置 SCALA_HOME: C:\spark\s…

Spark集群方式搭建结构如图所示,按照主从方式.…

1.始终找不到Hive表的问题 原因:官方编译后的Spark1.2.0+hadoop2.4与hadoop2.4.1不匹配 解决方法有两个: a.将Hadoop2.4.1替换为2.4.0版本 b.重新编译Spark1.2.0…

今天我主要是在折腾这个Hive,早上看了一下书,最开始有点凌乱,后面慢慢地发现,hive其实挺简单的,以我的理解就是和数据库有关的东西,那这样的话对我来说就容易多啦,因为我对sql语法应该是比较熟悉了,而这个是HQL的,其实很多都差不多.先来看一下Hive的基本介绍: 一.Hive基本原理 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL…

配置好HDFS,也学习了点HDFS的简单操作,跟Linux命令相似 1)  配置Hadoop的环境变量,类似Java的配置 在 ~/.bash_profile 中加入 export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0 export PATH=$HADOOP_HOME/bin:$PATH 2)  获取命令帮助: 使用命令  hadoop fs 如图: 3)   shell命令的简单使用    操作    命令 创建文件夹test  hadoop…

http://www.linuxidc.com/Linux/2015-02/113486.htm http://www.cnblogs.com/lijingchn/p/5574476.html http://www.linuxidc.com/Linux/2015-02/113486p2.htm http://www.cnblogs.com/lijingchn/p/5573898.html…