我使用了4台虚拟机centos7来搭建环境,

  • 2个主结点(一般是一个,但为了体验zookeeper,万一其中一个master挂掉呢,另外一个会自动启动接管),
  • 2个从结点
  • 注意:下面的配置主要以主节点为例进行说明

第一步:同步四台机器的时钟

  sudo yum install ntpdate,确保已安装ntpdate,分别运行sudo ntpdate cn.pool.ntp.org

第二步:设置主机名

修改/etc/sysconfig/network文件,

NETWORKING = yes
HOSTNAME = master(主节点)

其实在centos7下面貌似已经失效,我是直接使用如下命令:

hostnamectl set-hostname master

记得reboot再进入第三步

第三步:关闭防火墙

  sudo systemctl stop firewalld

第四步:配置ip地址和主机名的对应关系

修改 /etc/hosts文件,把四个ip地址和主机名添加进去,如:

192.168.0.129 master

192.168.0.130 master02

192.168.0.131 slave01

192.168.0.132 slave02

保存退出,可以先暂时只配主节点的,等完成ssh免密登录后再拷贝到其他机器

第五步:配置ssh免密登录

主要是配置两个主节点可以免密登录到从节点,尽量不要从节点免密访问主节点,在主节点上运行如下命令:

ssh-keygen -t rsa

然后一路回车四次即可,然后就把公钥复制到其他节点

ssh-copy-id slave01,不要忘记给自己复制一份

第六步:安装jdk

  • 思路是在主节点安装好,然后直接复制到其他机器

创建一个文件夹mkdir /usr/java,将下载好的jdk包解压到该文件夹

pwd获取jdk文件路径,将其复制加入到环境变量,注意是普通不是root用户,

修改完之后,记得source .bash_profile才能生效。

如果运行java -version能够出现jdk版本信息,那么安装成功了。

-----

在一台上安装好了,把安装好的jdk文件夹,复制到其他机器上,

复制命令为:scp -r /usr/java root@slave01:/usr

同样需要设置环境变量(不用root)

-------------------------------------

到这里,就完成了基本的环境准备。

Linux下hadoop和spark的基础环境配置准备的更多相关文章

  1. Linux 下安装JDK和jmeter 及环境配置记录过程

    一.安装首先要查看linux系统的位数,用命令getconf LONG_BIT,我的是centOS 32位 二.官网下载32位的JDK8 http://www.oracle.com/technetwo ...

  2. Linux下Hadoop2.7.3集群环境的搭建

    Linux下Hadoop2.7.3集群环境的搭建 本文旨在提供最基本的,可以用于在生产环境进行Hadoop.HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用. 基础环境 JDK的安 ...

  3. Linux下一键安装包的基础上安装SVN及实现nginx web同步更新

    Linux下一键安装包的基础上安装SVN及实现nginx web同步更新 一.安装 1.查看是否安装cvs rpm -qa | grep subversion 2.安装 yum install sub ...

  4. Linux下搭建 Cocos2d-x-2.1.4 编译环境

    [tonyfield 2013.09.04 ] 参考 Linux下搭建 Cocos2d-x-2.1.4 编译环境 导入 HelloCpp 例程 1. Java 入口 HelloCpp.java Hel ...

  5. Linux下Jdk的安装和jdk环境变量的设置

    我们在Linux下安装系统软件的时候,经常遇到一些系统环境变量配置的问题.什么是环境变量?如何定制环境变量?我将在下面做一些介绍.一.什么是环境变量?Linux是一个多用户的操作系统.多用户意味着每个 ...

  6. Linux下Jenkins+git+gradle持续集成环境搭建

    Linux下Jenkins+git+gradle持续集成环境搭建 来源:IT165收集  发布日期:2014-08-22 21:45:50 我来说两句(0)收藏本文   一.项目介绍 和 linux ...

  7. windows/Linux下设置ASP.Net Core开发环境并部署应用

    10分钟学会在windows/Linux下设置ASP.Net Core开发环境并部署应用 创建和开发ASP.NET Core应用可以有二种方式:最简单的方式是通过Visual Studio 2017 ...

  8. win10下spark+Python开发环境配置

    Step0:安装好Java ,jdk Step1:下载好: Step2: 将解压后的hadoop和spark设置好环境变量: 在系统path变量里面+: Step3: 使用pip安装 py4j : p ...

  9. CentOS 8.2 对k8s基础环境配置

    一.基础环境配置 1 IP 修改 机器克隆后 IP 修改,使Xshell连接上 [root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg- ...

  10. 【No.1 Ionic】基础环境配置

    Node 安装 git clone https://github.com/nodejs/node cd node ./configure make sudo make install node -v ...

随机推荐

  1. bzoj5000+的洛谷题号

    前言 闲得没事把 bzoj5000+ 在 Luogu 上可找到的题面整理了一下-- 对于我,bzoj 连账号都没有,所以肯定是不清楚 bzoj 题目总数的--因此其实就是手动翻查. 工作量很大,基本不 ...

  2. 存储型XSS的利用

    一.存储型XSS漏洞利用原理 攻击者事先将恶意代码上传或储存到漏洞服务器中,只要受害者浏览包含此恶意代码的页面就会执行恶意代码.意味着只要访问了这个页面的访客,都有可能会执行这段恶意脚本. 二.漏洞利 ...

  3. windows注册表的读

    1.打开 2.读取 //打开注册表 CString CDownDlg::GetPortCom(int nmber)//读取操作表,其类型为REG_SZ { CString ans; CString r ...

  4. Nginx 虚拟主机中配置 server_name ⼀个server块中配置多个站点 ⼀个站点配置多个⼆级域名

    ⼀个server块中配置多个站点 server { listen 80; server_name ~^(www.)?(.+)$; index index.php index.html; root /h ...

  5. vue.js----之router详解(三)

    在vue1.0版本的超链接标签还是原来的a标签,链接地址由v-link属性控制 而vue2.0版本里超链接标签由a标签被替换成了router-link标签,但最终在页面还是会被渲染成a标签的 至于为什 ...

  6. SVN 提交失败 Unexpected HTTP status 200 'OK' on 'PUT' request to

    提交SVN 时 提示  Commit Failed  Unexpected  HTTP status 200 'OK' on 'PUT' request to 旧的文件在SVN 上也无法删除,删除文件 ...

  7. Visual Studio Code 如何设置成中文语言

    Visual Studio Code 是一款微软的代码编辑器,这款软件是比较不错的,用起来也比较方便,但是好多人在第一次安装的时候展现的是英文的,这对于一些小伙伴是比较头疼的问题,那如何调整为中文的呢 ...

  8. airtest截图后放在allure报告里面。

    #需要导入的包 from airtest.aircv import * from airtest.aircv.utils import cv2_2_pil screen1 = G.DEVICE.sna ...

  9. SQL时间函数学习

    笔记来自如鹏网杨中科老师所著的 <程序员的SQL金典> 一.日期时间函数: 日期时间类型分为 日期.时间.日期时间.时间戳     日期:"年-月-日" 没有时间分秒 ...

  10. docker compose服务编排简介、基于发布包构建多个webapi容器 和 基于镜像实现Nginx反向代理webapi

    一. docker compose服务编排简介 1. 背景 微服务架构的应用系统中一般包含若干个微服务,每个微服务一般都会部署多个实例,如果每个微服务都要手动启停,维护的工作量会很大: A. 要创建镜 ...