Spark进阶之路-Standalone模式搭建 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Spark的集群的准备环境 1>.master节点信息(s101) 2>.worker节点信息(s102) 3>.worker节点信息(s103) 4>.worker节点信息(s104) 二.Spark的Standalone模式搭建 1>.下载Spark安装包 Spark下载地址:https://archive.apache.org/dist/spark/ …

Spark进阶之路-Spark HA配置 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 集群部署完了,但是有一个很大的问题,那就是Master节点存在单点故障,要解决此问题,就要借助zookeeper,并且启动至少两个Master节点来实现高可靠,配置方式比较简单.本篇博客的搭建环境是基于Standalone模式进行的(https://www.cnblogs.com/yinzhengjie/p/9458161.html) 1>.编辑spark-env.sh文件,去掉之前的ma…

Spark进阶之路-日志服务器的配置 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 如果你还在纠结如果配置Spark独立模式(Standalone)集群,可以参考我之前分享的笔记:https://www.cnblogs.com/yinzhengjie/p/9379045.html .然而本篇博客的重点是如何配置日志服务器,并将日志落地在hdfs上. 一.准备实验环境 1>.集群管理脚本 [yinzhengjie@s101 ~]$ more `which xcall.sh` #…

Redis进阶:Redis的哨兵模式搭建 哨兵机制介绍 单机版的Redis存在性能瓶颈,Redis通过提高主从复制实现读写分离,提高了了Redis的可用性,另一方便也能实现数据在多个Redis直接的备份. 上一篇文章我们通过配置Redis的主从复制机制来提高了Redis的可用性,但是一旦主节点出现问题,就需要运维手工切换主从服务节点,即增加了人工成本,且容易出错,而且无法自动化切换,Redis的哨兵机制就能实现自动的主从切换,以及实现对Redis服务的切换,那就让我们来感受下哨兵机制的强大吧.…

Hibernate是很典型的持久层框架,持久化的思想是很值得我们学习和研究的.这篇博文,我们主要以实例的形式学习Hibernate,不深究Hibernate的思想和原理,否则,一味追求,苦学思想和原理.到最后可能什么也学不会.从实践入手,熟能生巧,思想和原理自然而然领悟. 上篇博文:[SSH进阶之路]Hibernate基本原理,我们介绍了Hibernate的基本概念.Hibernate的核心以及Hibernate的运行原理.能够非常好帮助我们认识Hibernate.再看这篇博客之前.请先回想上篇…

本文介绍如何编译 spark 的源码,并且用 standalone 的方式在单机上部署 spark. 步骤如下: 1. 下载 spark 并且解压 本文选择 spark 的最新版本 2.2.0 (2017/07/01 发布)下载源码和解压的命令如下: SPARK_VERSION= wget https://github.com/apache/spark/archive/v${SPARK_VERSION}.tar.gz -O spark-${SPARK_VERSION}.tar.gz tar -z…

目录 可以先用local模式读取一下 步骤 一.先将做测试的数据上传到HDFS 二.开发scala代码 standAlone模式查看HDFS上的文件 步骤 一.退出local模式,重新进入Spark-shell 二.开发scala代码 可以先用local模式读取一下 步骤 一.先将做测试的数据上传到HDFS cd /export/servers/sparkdatas hdfs dfs -mkdir -p /sparkwordcount hdfs dfs -put wordcount.txt /s…

spark的启动方式有两种,一种单机模式(Local),另一种是多机器的集群模式(Standalone) Standalone 搭建: 准备:hadoop001,hadoop002两台安装spark的机器 1) 在$SPARK_HOME/conf中新建 spark-env.sh,并加入以下内容 SPARK_MASTER_HOST=hadoop001 #设置master的host SPARK_WORKER_CORES=2 #设置core的个数给worker SPARK_WORKER_MEMORY=…

Spark进阶之路-Spark提交Jar包执行 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在实际开发中,使用spark-submit提交jar包是很常见的方式,因为用spark-shell来开发项目是很苦难的(一般都用IDE),当我们开发程序完毕后,需要打成jar包.   一.通过jar包提交任务注意事项[工作中主要的工作方式] 1>.需要通过spark-submit来提交: 2>.必须使用“--class”指定你jar包的主类: 3>.必须使用“--master…

对于spark前来围观的小伙伴应该都有所了解,也是现在比较流行的计算框架,基本上是有点规模的公司标配,所以如果有时间也可以补一下短板. 简单来说Spark作为准实时大数据计算引擎,Spark的运行需要依赖资源调度和任务管理,Spark自带了standalone模式资源调度和任务管理工具,运行在其他资源管理和任务调度平台上,如Yarn.Mesos.Kubernates容器等. spark的搭建和Hadoop差不多,稍微简单点,本文针对下面几种部署方式进行详细描述: Local:多用于本地测试,如在…