一.下载并安装Centos 7 传送门:https://www.centos.org/download/    注:下载DVD ISO镜像 这里详解一下VMware安装中的两个过程 网卡配置 是Additional search domains:8.8.4.4也是谷歌提供的免费DNS服务器Ip地址 二.SecureCRT远程操控 ping www.baidu.com 发现slave1,2不通,而master可以ping通,查看master配置,发现两个从机少了一些配置. 安装vim:yum in…

!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2.Ubuntu14.04.securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0.hadoop2.6.5.zookeeper3.4.5.Scala2.12.6.kafka_2.9.2-0.8.1.spark1.3.1-bin-hadoop2.6 第一篇:准备三台虚拟机环境,配置静态IP,ssh免密码登录 第二篇:搭建hadoop集群 第三篇:搭建zookeeper集群 第四篇:搭…

!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2.Ubuntu14.04.securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0.hadoop2.6.5.zookeeper3.4.5.Scala2.12.6.kafka_2.9.2-0.8.1.park1.3.1-bin-hadoop2.6 第一篇:准备三台虚拟机环境,配置静态IP,ssh免密码登录 第二篇:搭建hadoop集群 第三篇:搭建zookeeper集群 第四篇:搭建…

!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2.Ubuntu14.04.securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0.hadoop2.6.5.zookeeper3.4.5.Scala2.12.6.kafka_2.9.2-0.8.1.park1.3.1-bin-hadoop2.6 第一篇:准备三台虚拟机环境,配置静态IP,ssh免密码登录 第二篇:搭建hadoop集群 第三篇:搭建zookeeper集群 第四篇:搭建…

!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2.Ubuntu14.04.securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0.hadoop2.6.5.zookeeper3.4.5.Scala2.12.6.kafka_2.9.2-0.8.1.park1.3.1-bin-hadoop2.6 第一篇:准备三台虚拟机环境,配置静态IP,ssh免密码登录 第二篇:搭建hadoop集群 第三篇:搭建zookeeper集群 第四篇:搭建…

!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2.Ubuntu14.04.securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0.hadoop2.6.5.zookeeper3.4.5.Scala2.12.6.kafka_2.9.2-0.8.1.park1.3.1-bin-hadoop2.6 第一篇:准备三台虚拟机环境,配置静态IP,ssh免密码登录 第二篇:搭建hadoop集群 第三篇:搭建zookeeper集群 第四篇:搭建…

前言 本篇演示如何使用 AWS EC2 云服务搭建集群.当然在只有一台计算机的情况下搭建完全分布式集群,还有另外几种方法:一种是本地搭建多台虚拟机,好处是免费易操控,坏处是虚拟机对宿主机配置要求较高,我就一台普通的笔记本,开两三个虚拟机实在承受不起: 另一种方案是使用 AWS EMR ,是亚马逊专门设计的集群平台,能快速启动集群,且具有较高的灵活性和扩展性,能方便地增加机器.然而其缺点是只能使用预设的软件,如下图: 如果要另外装软件,则需要使用 Bootstrap 脚本,详见 https://d…

一.集群规划 这里搭建一个3节点的Spark集群,其中三台主机上均部署Worker服务.同时为了保证高可用,除了在hadoop001上部署主Master服务外,还在hadoop002和hadoop003上分别部署备用的Master服务,Master服务由Zookeeper集群进行协调管理,如果主Master不可用,则备用Master会成为新的主Master. 二.前置条件 搭建Spark集群前,需要保证JDK环境.Zookeeper集群和Hadoop集群已经搭建,相关步骤可以参阅: Linux环…

用三台虚拟机搭建Hadoop全分布集群 所有的软件都装在/home/software下 虚拟机系统:centos6.5 jdk版本:1.8.0_181 zookeeper版本:3.4.7 hadoop版本:2.7.1 1.安装jdk 准备好免安装压缩包放在/home/software下 cd /home/software tar -xvf jdk-8u181-linux-x64.tar.gz 配置环境变量 vim /etc/profile 末尾添加 export JAVA_HOME=/home/…

前言 好多人问我,这种基于大数据平台的xxxx的毕业设计要怎么做.这个可以参考之前写得关于我大数据毕业设计的文章.这篇文章是将对之前的毕设进行优化. 个人觉得可以分为两个部分.第一个部分就是基础的平台搭建.例如Hadoop集群.Kafka集群. 第二个部分就是上层应用的建设,例如基于大数据平台的数据分析,以及大屏展示之类的可视化应用.前者提供了基础平台能力,让整个设计加入大数据元素:后者提供了上层应用能力,主要是让别人明白你利用大数据平台做了什么. 前些日子闲得无聊,在一台虚拟机上基于docke…