Spark学习笔记1（初始spark

【Spark学习笔记1（初始spark】的更多相关文章

Spark学习笔记2（spark所需环境配置

Spark学习笔记2 配置spark所需环境 1.首先先把本地的maven的压缩包解压到本地文件夹中,安装好本地的maven客户端程序,版本没有什么要求不需要最新版的maven客户端. 解压完成之后在解压好的maven客户端的文件夹内打开conf文件夹,修改里面的settings.xml文件然后只需要修改这一行就可以了 ,把这一行替换成你自己本地的maven仓库的路径最好是自己有一个完整点的maven仓库,然后把这个修改过的xml文件放到maven仓库下到这里,你本地的maven客户端环…

Spark学习笔记--Linux安装Spark集群详解

本文主要讲解如何在Linux环境下安装Spark集群,安装之前我们需要Linux已经安装了JDK和Scala,因为Spark集群依赖这些.下面就如何安装Spark进行讲解说明. 一.安装环境操作系统:Red Hat Enterprise Linux 6 64 位(版本号6.6) JDK版本:1.8 Scala版本:2.12.2 Spark版本:2.2.0 172.18.3.135 主节点 172.18.3.136 从节点 172.18.3.137 从节点之后的操作如果是用普通用户操作的话也必…

Spark学习笔记5：Spark集群架构

Spark的一大好处就是可以通过增加机器数量并使用集群模式运行,来扩展计算能力.Spark可以在各种各样的集群管理器(Hadoop YARN , Apache Mesos , 还有Spark自带的独立集群管理器)上运行,所以Spark应用既能够适应专用集群,又能用于共享的云计算环境. Spark运行时架构 Spark在分布式环境中的架构如下图: 在分布式环境下,Spark集群采用的是主/从结构.在Spark集群,驱动器节点负责中央协调,调度各个分布式工作节点.执行器节点是工作节点,作为独立的Ja…

Spark学习笔记1：Spark概览

Spark是一个用来实现快速而通用的集群计算的平台. Spark项目包含多个紧密集成的组件.Spark的核心是一个对由很多计算任务组成的,运行在多个工作机器或者是一个计算集群上的应用进行调度,分发以及监控的计算引擎.Sark核心引擎有着速度快和通用的特点,因此Spark支持为各种不同应用场景专门设计的高级组件,这些组件关系密切并且可以互相调用. Spark各组件密切结合的设计原理的优点:软件栈中所有的程序库和高级组件都可以从下层改进中获益以及能够构建出无缝整合不同处理模型的应用. Spark各个…

Spark学习笔记——构建基于Spark的推荐引擎

推荐模型推荐模型的种类分为: 1.基于内容的过滤:基于内容的过滤利用物品的内容或是属性信息以及某些相似度定义,来求出与该物品类似的物品. 2.协同过滤:协同过滤是一种借助众包智慧的途径.它利用大量已有的用户偏好来估计用户对其未接触过的物品的喜好程度.其内在思想是相似度的定义. 在基于用户的方法的中,如果两个用户表现出相似的偏好(即对相同物品的偏好大体相同),那就认为他们的兴趣类似. 同样也可以借助基于物品的方法来做推荐.这种方法通常根据现有用户对物品的偏好或是评级情况,来计算物品之间的某种相似…

Spark学习笔记6：Spark调优与调试

1.使用Sparkconf配置Spark 对Spark进行性能调优,通常就是修改Spark应用的运行时配置选项. Spark中最主要的配置机制通过SparkConf类对Spark进行配置,当创建出一个SparkContext时,就需要创建出一个SparkConf实例. Sparkconf实例包含用户要重载的配置选项的键值对.调用set()方法来添加配置项的设置,然后把这个对象传给SparkContext的构造方法. 调用setAppName()和setMaster()来分别设置spark.app…