一. 参考 https://www.cnblogs.com/bovenson/p/5801536.html [root@node- test]# chown hdfs:hdfs /root/test/* [root@node-1 test]# chown hdfs:hdfs /root/test [root@node-1 test]# cd /var/lib/hadoop-hdfs/ [root@node-1 hadoop-hdfs]# ls [root@node-1 hadoop-hdfs]#…

hadoop 是 java 开发的,原生支持 java:spark 是 scala 开发的,原生支持 scala: spark 还支持 java.python.R,本文只介绍 python spark 1.x 和 spark 2.x 用法略有不同,spark 1.x 的用法大部分也适用于 spark 2.x Pyspark 它是 python 的一个库,python + spark,简单来说,想用 python 操作 spark,就必须用 pyspark 模块 编程逻辑 环境 首先需要配置 /e…

1.zybo cluster 架构简述: 1.1 zybo cluster 包含5块zybo 开发板组成一个集群,zybo的boot文件为digilent zybo reference design提供的启动文件,文件系统采用arm ubuntu.ip地址自上而下为192.168.1.1~5,hostname自上而下为spark1~5,另外由于sdka写入速度为2.3Mps,因而每个zybo卡另外配置一个Sandisk Cruzer Blade 32GB 作为usb拓展存储设备,写速度为4Mps…

前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境,我们已经部署好了一个Spark的开发环境. 本文的目标是写一个Spark应用,并可以在集群中测试. 创建一个Scala的工程- SimpleAPP 建一个目录SimpleAPP mkdir SimpleAPP mkdir -p SimpleAPP/src/main/scala 建一个SimpleAPP/src/main/scala/SimpleApp.scala文件 这个程序会进行MapReduc…

Spark菜鸟学习营Day5 分布式程序开发 这一章会和我们前面进行的需求分析进行呼应,完成程序的开发. 开发步骤 分布式系统开发是一个复杂的过程,对于复杂过程,我们需要分解为简单步骤的组合. 针对每个简单步骤,难度会降低,学习成本降低 每个步骤都可以作为里程碑,可以反馈进展,同时,有助树立目标感. Step1:需求分析 1.1 拆分程序,形成步骤 以语句为单位拆分,一般一个语句就是一个步骤 1.2 对步骤进行分类 根据需求分析指南,分入A1.A2.B1等规则小类 1.3 分析每个步骤的输入输出…

随着对spark的业务更深入,对spark的了解也越多,然而目前还处于知道的越多,不知道的更多阶段,当然这也是成长最快的阶段.这篇文章用作总结最近收集及理解的spark相关概念及其关系. 名词 driver driver物理层面是指输入提交spark命令的启动程序,逻辑层面是负责调度spark运行流程包括向master申请资源,拆解任务,代码层面就是sparkcontext. worker worker指可以运行的物理节点. executor executor指执行spark任务的处理程序,对j…

Spark Java API 计算 Levenshtein 距离 在上一篇文章中,完成了Spark开发环境的搭建,最终的目标是对用户昵称信息做聚类分析,找出违规的昵称.聚类分析需要一个距离,用来衡量两个昵称之间的相似度.这里采用levenshtein距离.现在就来开始第一个小目标,用Spark JAVA API 计算字符串之间的Levenshtein距离. 1. 数据准备 样本数据如下: {"name":"Michael", "nick":&qu…

1.关于mapreduce on yarn 来提交job的流程 yarn=resourcemanager(RM)+nodemanager(NM) client向RM提交任务 RM向NM分配applicationMaster(AM),并找到有一个容器,生成一个MR app mstr MR app mstr向RM申请资源 在NM容器中找到MR app mstr,启动开来 MR app mstr监控和调度TASK的运行 MR app mstr向RM提交信息 2.配置 将Hadoop的配置文件添加到Sp…

Spark核心编程 Spark 核心是整个项目的基础.它提供了分布式任务调度,调度和基本的 I/O 功能.Spark 使用一种称为RDD(弹性分布式数据集)一个专门的基础数据结构,是整个机器分区数据的逻辑集合.RDDS可以用两种方法来创建的;一个是在外部存储系统引用的数据集,第二个是通过应用转换(如map, filter, reducer, join)在现有RDDS. RDD抽象通过语言集成API公开.这简化了编程的复杂性,因为应用程序的处理RDDS方式类似于操纵的本地集合数据. Spark S…

相关博文: 大数据系列之并行计算引擎Spark介绍 之前介绍过关于Spark的程序运行模式有三种: 1.Local模式: 2.standalone(独立模式) 3.Yarn/mesos模式 本文将介绍Spark安装及运行模式的第1.3两种模式. 安装包: spark-2.1.0-bin-hadoop2.7.tgz   size:195MB 下载链接: https://pan.baidu.com/s/1bphB3Q3 密码: 9v5h 安装步骤: 1.本地模式: 1.直接将tgz包放置在任一目录:…