Spark简介 视频教程: 1.优酷 2.YouTube 简介: Spark是加州大学伯克利分校AMP实验室,开发的通用内存并行计算框架.Spark在2013年6月进入Apache成为孵化项目,8个月后成为Apache顶级项目Spark以其先进的设计理念,迅速成为社区的热门项目,围绕着Spark推出了Spark SQL.Spark Streaming.MLLib和GraphX等组件,也就是BDAS(伯克利数据分析栈),这些组件逐渐形成大数据处理一站式解决平台. Spark使用Scala语言实现,…

map,filter,flatMap算子 视频教程: 1.优酷 2.YouTube 1.map map是将源JavaRDD的一个一个元素的传入call方法,并经过算法后一个一个的返回从而生成一个新的JavaRDD. java: package com.bean.spark.trans; import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark…

Spark集群搭建 视频教程 1.优酷 2.YouTube 安装scala环境 下载地址http://www.scala-lang.org/download/ 上传scala-2.10.5.tgz到master和slave机器的hadoop用户installer目录下 两台机器都要做 [hadoop@master installer]$ ls hadoop2  hadoop-2.6.0.tar.gz  scala-2.10.5.tgz 解压 [hadoop@master installer]$…

groupByKey,reduceByKey,sortByKey算子 视频教程: 1.优酷 2. YouTube 1.groupByKey groupByKey是对每个key进行合并操作,但只生成一个sequence,groupByKey本身不能自定义操作函数. java: package com.bean.spark.trans; import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf;…

Transformation和action详解 视频教程: 1.优酷 2.YouTube 什么是算子 算子是RDD中定义的函数,可以对RDD中的数据进行转换和操作. 算子分类: 具体: 1.Value数据类型的Transformation算子,这种变换并不触发提交作业,针对处理的数据项是Value型的数据. 2.Key-Value数据类型的Transfromation算子,这种变换并不触发提交作业,针对处理的数据项是Key-Value型的数据对. 3.Action算子,这类算子会触发SparkC…

Spark-Hadoop集群搭建 视频教程: 1.优酷 2.YouTube 配置java 启动ftp [root@master ~]# /etc/init.d/vsftpd restart 关闭 vsftpd:                                                     [失败] 为 vsftpd 启动 vsftpd:                                               [确定] 默认情况下 root不允许使用f…

Spark-Linux环境准备 视频教程: 1.优酷 2.YouTube 硬软件环境 1.虚拟机:VMware Workstation 12 2.虚拟机操作系统:RedHat5u4,单核,1G内存,2两台 3.虚拟机运行环境: java version "1.7.0_79" 64位 Scala version 2.10.5 hadoop-2.6.0 spark-2.0.0-bin-hadoop2.6 Python 2.7.12 配置IP 192.168.3.100 master 192…

什么是RDD 视频教程: 1.优酷 2.YouTube RDD是个抽象类,全称为Resilient Distributed Datasets,是一个容错的.并行的数据结构,可以让用户显式地将数据存储到磁盘和内存中,并能控制数据的分区.同时,RDD还提供了一组丰富的操作来操作这些数据,诸如map.flatMap.filter等转换操作,除此之外,RDD还提供了诸如join.groupBy.reduceByKey等更为方便的操作,以支持常见的数据运算.但实际上继承RDD的派生类一般只要实现两个方法:…

Spark-Eclipse开发环境WordCount 视频教程: 1.优酷 2.YouTube 安装eclipse 解压eclipse-jee-mars-2-win32-x86_64.zip JavaWordcount 解压spark-2.0.0-bin-hadoop2.6.tgz 创建 Java Project-->Spark 将spark-2.0.0-bin-hadoop2.6下的jars里面的jar全部复制到Spark项目下的lib下 Add Build Path package com.…

周末的任务是更新Learning Spark系列第三篇,以为自己写不完了,但为了改正拖延症,还是得完成给自己定的任务啊 = =.这三章主要讲Spark的运行过程(本地+集群),性能调优以及Spark SQL相关的知识,如果对Spark不熟的同学可以先看看之前总结的两篇文章: [原]Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令 [原]Learning Spark (Python版) 学习笔记(二)----键值对.数据读取与保存.共享特性 #####…