hadoop3自学入门笔记(1)——虚拟机安装和网络配置
前言
年过30惶惶不安,又逢疫情,还是不断学习,强化自己的能力。hadoop的视频和书籍在15年的时候就看过,但是一直没动手实践过,要知道技术不经过实战,一点提升也没有。因此下定决心边学边做,希望能有所收获。
软件版本介绍
- virtualbox 6.1
- centos7
- hadoop-3.2.1
- jdk-8u241-linux-x64
- xshell
- xftp
虚拟机配置规划
name | ip | role |
---|---|---|
61 | 192.168.3.61 | namenode,datanode |
62 | 192.168.3.62 | datanode |
63 | 192.168.3.63 | secondnamenode |
64 | 192.168.3.64 | datanode |
虚拟机的创建
安装virtualbox
新建虚拟机如下图所示:
选择red hat 64位。点击下一步,内存根据情况设置
下一步
现在创建虚拟机硬盘,点击创建。
勾选第一个,下一步。
动态分配,下一步。
点击创建。
双击启动。
注册系统镜像iso.启动安装
记得设置连接方式,桥接网卡,可以让虚拟机和本机在同一个网络下。
复制虚拟机,避免多次安装
右击复制
虚拟机配置ip
- 修改192.168.3.61的网络配置,192.168.3.62,192.168.3.63,192.168.3.64的雷同。
# vi /etc/sysconfig/network-scripts/ifcfg-ens3
TYPE=Ethernet
BOOTPROTO=static //dhcp改成static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=yes //no改成yes
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens3
UUID=851ae637-14d4-4435-9c38-d3a3e4c2f0c3
DEVICE=ens3
IPADDR=192.168.3.61 //新加上的
NETMASK=255.255.255.0 //新加上的
GATEWAY=192.168.3.1 //新加上的
ONBOOT=yes //no改成yes
- 重启网络
# service network restart
当所有结果都显示为OK时,才能成功。
- curl测试网络是否通了
返回网页表示统领。
使用 xshell
在虚拟机中输入命令很受,让我们用专门的客户端吧,让你写命令6的起飞。
点击连接,输入用户名和密码,记得勾选记住用户名和密码。下次就避免输入了。
SSH免密码登录
ssh-keygen 用来生成ssh登录的key,可以使我们以后登录远程主机时无需再输入远程主机的key具体使用方法如下:
当我们需要用主机61登录远程主机62时,我们在主机61上输入:
- 生成Key
# ssh-keygen -t rsa
会产生如下的信息:
- key的名称输入id_rsa,密码直接回车表示空
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): ->输入key文件的名称
Enter passphrase (empty for no passphrase): ->输入使用key时的密码,注意这里不是远处服务器的密码,
只是你使用sshkey时需要输入的密码,
建议不输入(如果要输入这个密码还不如直接输入远处主机的密码:))
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
11:ae:00:bd:92:bc:70:f8:4b:cb:47:06:7f:e2:73:21 root@xxxxxx
- 把公匙复制到62
scp id_rsa.pub 192.168.3.62:/root/.ssh/
- 远程到62
ssh 192.168.3.62 ->登录远程主机
root@192.168.3.62's password: ->输入密码
- 生成authorized_keys
# cd /root/.ssh ->进入到key目录
# cat id_rsa.pub >> authorized_keys
- 修改.ssh和authorized_keys权限。退出62,重启ssh服务
600 设置拥有者可读写,其他人不可读写执行,
700** **** 只有拥有者有读、写、执行权限。**
#chmod 700 .ssh
#chmod 600 authorized_keys
#exit -> 推出远程62服务器
#service sshd restart ->重新启动ssh服务
#ssh 192.168.3.62 ->远程登录到62测试下吧:)
关闭防火墙
了使两台机器之间进行通信,还需要将每个节点的防火墙都关闭。关闭防火墙有两种方法,一种是永久生效;另一种是立即生效,重启后无效。这两条命令我们可以都运行一遍,这样就代表防火墙立即关闭,并且机器重启后仍然处于关闭状态。
停止firewall
systemctl stop firewalld.service
禁止firewall开机启动
systemctl disable firewalld.service
hadoop3自学入门笔记(1)——虚拟机安装和网络配置的更多相关文章
- 虚拟机安装centOs+网络配置(完整说明)
1.新建虚拟机(标准) 选择 (我以后下安装操作系统) 选择Linux 操作系统 版本为CentOS(32位) 虚拟机的名称和位置任意 磁盘容量如下即可 设 ...
- hadoop3自学入门笔记(2)—— HDFS分布式搭建
一些介绍 Hadoop 2和Hadoop 3的端口区别 Hadoop 3 HDFS集群架构 我的集群规划 name ip role 61 192.168.3.61 namenode,datanode ...
- hadoop3自学入门笔记(3)-java 操作hdfs
1.core-site.xml <configuration> <property> <name>fs.defaultFS</name> <val ...
- 虚拟机安装LINUX网络配置注意的问题
1.如果你配置本地IP,不上网,网卡选项可以选择仅主机模式,如果要上网,就直接选择桥接模式,复制物理网络这个选项 2.将NET1网卡(仅主机模式)选中,然后进入下面这个配置选项 上面方框内的IP段 ...
- Git 笔记二-Git安装与初始配置
git 笔记二-Git安装与初始配置 Git的安装 由于我日常生活和工作基本上都是在Windows上,因此此处只说windows上的安装.Windows上的安装和其他程序一样,只需要到http://g ...
- VMware中安装CentOS7网络配置静态IP地址,常用配置和工具安装
VMware中安装CentOS7网络配置静态IP地址,常用配置和工具安装在阿里云开源镜像地址下载镜像Index of /centos/7.2.1511/isos/x86_64/http://mirro ...
- Hadoop3集群搭建之——虚拟机安装
现在做的项目是个大数据报表系统,刚开始的时候,负责做Java方面的接口(项目前端为独立的Java web 系统,后端也是Java web的系统,前后端系统通过接口传输数据),后来领导觉得大家需要多元化 ...
- 《linux就该这么学》课堂笔记02 虚拟机安装使用
这节学习了虚拟机安装RHEL系统,了解了shell.以及命令的格式
- Linux 虚拟机安装后的配置和一些命令符笔记
一.安装后的配置 1.设在终端的字体为等宽字体 比如:DejaVu Sans Mono 2.将当前的普通用户加入到sudo用户组adduser en sudochmod +w /etc/sudoers ...
随机推荐
- 无法解析导入javax.mail
本文链接:https://blog.csdn.net/aaqian1/article/details/89357195下载地址: http://www.oracle.com/technetwork/j ...
- python接口自动化测试 - openpyxl封装类
前言 为了更好的让openpyxl在工作中使用,将openpyxl的常用操作封装起来,这样不仅复用性高,而且阅读性好 直接上代码 #!/usr/bin/env python # -*- coding: ...
- 创建dynamics CRM client-side (八) - 获取attribute的值 和 设置disable
大家可以用下面的方式来获取attribute的值 formContext.getAttribute("address1_shippingmethodcode").getText() ...
- 基于BIO的实时Socket读写操作
文章目录 前言 Socket类2.1 Socket的通信过程2.2 控制Socket连接2.3 设置Socket的选项 ServerSocket类3.1 构造ServerSocket3.2 Serve ...
- Django自定义认证系统
官网教程:https://docs.djangoproject.com/en/2.2/topics/auth/customizing/ app下的model.py from django.db imp ...
- SSM 配置文件 分析
spring 配置文件(主要整合的是spring 和 mybatis 的配置文件) 问题: 两者之间没有整合在一起的时候是怎么样的 spring配置文件: Spring配置文件是用于指导Spri ...
- OGG主从表结构不同步,出现OGG-01296错误
一.Cause ogg的err日志出现以下报错 2019-09-10 16:36:55 WARNING OGG-01003 Oracle GoldenGate Delivery for Oracle, ...
- Idea | Load error: undefined path variables
Load error: undefined path variables 案例 今天打开idea项目,突然间出现如下异常: Load error: undefined path variables 类 ...
- C++基类和派生类的构造函数
派生类不能继承基类的构造函数,若想通过派生类来对基类的private的变量成员进行初始化则需要: 通过派生类的构造函数来调用基类的构造函数完成基类成员变量的初始化. 看下面的例子: #include ...
- SpringBoot学习(2) - 自定义starter
自己开发一个spring boot starter的步骤1.新建一个项目(全部都基于maven),比如新建一个spring-boot-starter-redis的maven项目 pom.xml: &l ...