前言

年过30惶惶不安,又逢疫情,还是不断学习,强化自己的能力。hadoop的视频和书籍在15年的时候就看过,但是一直没动手实践过,要知道技术不经过实战,一点提升也没有。因此下定决心边学边做,希望能有所收获。

软件版本介绍

  • virtualbox 6.1
  • centos7
  • hadoop-3.2.1
  • jdk-8u241-linux-x64
  • xshell
  • xftp

虚拟机配置规划

name ip role
61 192.168.3.61 namenode,datanode
62 192.168.3.62 datanode
63 192.168.3.63 secondnamenode
64 192.168.3.64 datanode

虚拟机的创建

安装virtualbox

新建虚拟机如下图所示:



选择red hat 64位。点击下一步,内存根据情况设置



下一步



现在创建虚拟机硬盘,点击创建。



勾选第一个,下一步。



动态分配,下一步。



点击创建。



双击启动。



注册系统镜像iso.启动安装

记得设置连接方式,桥接网卡,可以让虚拟机和本机在同一个网络下。

复制虚拟机,避免多次安装



右击复制

虚拟机配置ip

  1. 修改192.168.3.61的网络配置,192.168.3.62,192.168.3.63,192.168.3.64的雷同。
# vi /etc/sysconfig/network-scripts/ifcfg-ens3
TYPE=Ethernet
BOOTPROTO=static //dhcp改成static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=yes //no改成yes
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens3
UUID=851ae637-14d4-4435-9c38-d3a3e4c2f0c3
DEVICE=ens3
IPADDR=192.168.3.61 //新加上的
NETMASK=255.255.255.0 //新加上的
GATEWAY=192.168.3.1 //新加上的
ONBOOT=yes //no改成yes
  1. 重启网络
# service network restart

当所有结果都显示为OK时,才能成功。

  1. curl测试网络是否通了



返回网页表示统领。

使用 xshell

在虚拟机中输入命令很受,让我们用专门的客户端吧,让你写命令6的起飞。



点击连接,输入用户名和密码,记得勾选记住用户名和密码。下次就避免输入了。

SSH免密码登录

ssh-keygen 用来生成ssh登录的key,可以使我们以后登录远程主机时无需再输入远程主机的key具体使用方法如下:

当我们需要用主机61登录远程主机62时,我们在主机61上输入:

  1. 生成Key
# ssh-keygen -t rsa

会产生如下的信息:

  1. key的名称输入id_rsa,密码直接回车表示空
Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):      ->输入key文件的名称

Enter passphrase (empty for no passphrase):                 ->输入使用key时的密码,注意这里不是远处服务器的密码,

                                               只是你使用sshkey时需要输入的密码,
                                     建议不输入(如果要输入这个密码还不如直接输入远处主机的密码:)) Enter same passphrase again:  Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: 11:ae:00:bd:92:bc:70:f8:4b:cb:47:06:7f:e2:73:21 root@xxxxxx
  1. 把公匙复制到62
scp id_rsa.pub 192.168.3.62:/root/.ssh/
  1. 远程到62
ssh 192.168.3.62    ->登录远程主机

root@192.168.3.62's password: ->输入密码
  1. 生成authorized_keys
# cd /root/.ssh    ->进入到key目录

# cat id_rsa.pub >> authorized_keys
  1. 修改.ssh和authorized_keys权限。退出62,重启ssh服务

600 设置拥有者可读写,其他人不可读写执行,

700** **** 只有拥有者有读、写、执行权限。**

#chmod 700 .ssh
#chmod 600 authorized_keys
#exit -> 推出远程62服务器
#service sshd restart ->重新启动ssh服务
#ssh 192.168.3.62 ->远程登录到62测试下吧:)

关闭防火墙

了使两台机器之间进行通信,还需要将每个节点的防火墙都关闭。关闭防火墙有两种方法,一种是永久生效;另一种是立即生效,重启后无效。这两条命令我们可以都运行一遍,这样就代表防火墙立即关闭,并且机器重启后仍然处于关闭状态。

停止firewall

systemctl stop firewalld.service

禁止firewall开机启动

systemctl disable firewalld.service

hadoop3自学入门笔记(1)——虚拟机安装和网络配置的更多相关文章

  1. 虚拟机安装centOs+网络配置(完整说明)

    1.新建虚拟机(标准)   选择 (我以后下安装操作系统)       选择Linux 操作系统 版本为CentOS(32位)     虚拟机的名称和位置任意       磁盘容量如下即可     设 ...

  2. hadoop3自学入门笔记(2)—— HDFS分布式搭建

    一些介绍 Hadoop 2和Hadoop 3的端口区别 Hadoop 3 HDFS集群架构 我的集群规划 name ip role 61 192.168.3.61 namenode,datanode ...

  3. hadoop3自学入门笔记(3)-java 操作hdfs

    1.core-site.xml <configuration> <property> <name>fs.defaultFS</name> <val ...

  4. 虚拟机安装LINUX网络配置注意的问题

    1.如果你配置本地IP,不上网,网卡选项可以选择仅主机模式,如果要上网,就直接选择桥接模式,复制物理网络这个选项 2.将NET1网卡(仅主机模式)选中,然后进入下面这个配置选项   上面方框内的IP段 ...

  5. Git 笔记二-Git安装与初始配置

    git 笔记二-Git安装与初始配置 Git的安装 由于我日常生活和工作基本上都是在Windows上,因此此处只说windows上的安装.Windows上的安装和其他程序一样,只需要到http://g ...

  6. VMware中安装CentOS7网络配置静态IP地址,常用配置和工具安装

    VMware中安装CentOS7网络配置静态IP地址,常用配置和工具安装在阿里云开源镜像地址下载镜像Index of /centos/7.2.1511/isos/x86_64/http://mirro ...

  7. Hadoop3集群搭建之——虚拟机安装

    现在做的项目是个大数据报表系统,刚开始的时候,负责做Java方面的接口(项目前端为独立的Java web 系统,后端也是Java web的系统,前后端系统通过接口传输数据),后来领导觉得大家需要多元化 ...

  8. 《linux就该这么学》课堂笔记02 虚拟机安装使用

    这节学习了虚拟机安装RHEL系统,了解了shell.以及命令的格式            

  9. Linux 虚拟机安装后的配置和一些命令符笔记

    一.安装后的配置 1.设在终端的字体为等宽字体 比如:DejaVu Sans Mono 2.将当前的普通用户加入到sudo用户组adduser en sudochmod +w /etc/sudoers ...

随机推荐

  1. selenium获取页面源码,判断是否存在指定内容,执行不同的操作

    本案例用于解决selenium UI自动化,判断页面是否存在指定文字,执行后续不同的操作 主要用到browser.page_source 如,保存百度分享文件到自己的百度盘中,会出现文件被删除无法保存 ...

  2. php--->依赖注入(DI)实现控制反转(IOC)

    依赖注入(DI)实现控制反转(IOC) DI和IOC概念理解 当一个类的实例需要另一个类的实例协助时,在传统的程序设计过程中,通常由调用者来创建被调用者的实例.而采用依赖注入的方式,创建被调用者的工作 ...

  3. SpringBoot+MyBatis项目Dao层最简单写法

    前言 DAO(Data Access Object) 是数据访问层,说白了就是跟数据库打交道的,而数据库都有哪几种操作呢?没错,就是增删改查.这就意味着Dao层要提供增删改查操作. 不知道大家是怎么写 ...

  4. innobackupex 恢复脚本

    此脚本需要与我前几天写的备份脚本配套才能使用 这里也对innobackupex吐槽下,当使用innobackupex进行恢复的时候,必须要清除所有原数据文件,但是一旦恢复失败,则连实例都将丢失,不成功 ...

  5. VS2013 连接 Oracle出现尝试加载 Oracle 客户端库时引发 BadImageFormatException 32位与64位问题解决方案

    摘自 :https://blog.csdn.net/similing/article/details/54318434 遇到这种问题是64位系统安装32位Oracle与VS2010的连接出现问题 解决 ...

  6. 马尔科夫随机场(MRF)及其在图像降噪中的matlab实现

    (Markov Random Field)马尔科夫随机场,本质上是一种概率无向图模型 下面从概率图模型说起,主要参考PR&ML 第八章 Graphical Model (图模型) 定义:A g ...

  7. C++使用类调用CUDA核函数

    正如CUDA C所称,CUDA对C语言进行了很好的扩展,直接使用C语言可以非常简单方便的调用CUDA核函数.但是当想使用C++的类成员函数直接调用核函数是不可行的,第一,核函数不能作为类的成员函数,第 ...

  8. jQuery使用ajax向node后台发送对象、数组参数

    引言 最近在使用jq,做一些小demo,但是突然发现jq使用ajax像后台(node)传递一个对象参数,但是后台却接收不了. 原因 后面了解到.jq会将一个对象解析成obj[key]: value这样 ...

  9. Vue methods,watch,computed的区别

    1. computed(计算属性) 计算属性的结果会被缓存,除非依赖的响应式属性变化才会重新计算.注意,如果某个依赖 (比如非响应式属性) 在该实例范畴之外,则计算属性是不会被更新的. eg: < ...

  10. Java查找数组重复元素,并打印重复元素、重复次数、重复元素位置

    面试题查找重复元素并打印重复次数和重复位置,一顿懵逼,回来死磕写下来,打印指定重复次数和最大次数,其他在此基础上可以再更新 package sort; import org.testng.annota ...