hadoop集群搭建——单节点（伪分布式）

1. 准备工作：

前提：需要电脑安装VM，且VM上安装一个Linux系统

注意：本人是在学习完尚学堂视频后，结合自己的理解，在这里做的总结。学习的视频是：大数据。

为了区分是在哪一台机器做的操作，eg：- - - Linux 表示在Linux上做的操作。

2. 以下是教程, 首先是准备工作：

2.1 配置网络：

(1) 配置网卡文件：

- - - Linux：

cd /etc/sysconfig/network-scripts/
vi ifcfg-eth0  # interface config
{
# HWADDR="00:0C:29:92:E5:B7"  # 注释这个，虚拟机需要注释掉，公司不需要
# UUID="2d678a8b-6c40-4ebc-8f4e-245ef6b7a969"
ONBOOT="yes"  # 机器启动时候网卡启动
BOOTPROTO=static  # 使用静态地址
IPADDR=192.168.9.8
NETMASK=255.255.255.0
GATEWAY=192.168.9.2
DNS1=114.114.114.114
}

- - - VMware：

虚拟网络编辑器 -> Net设置 -> 网关IP 192.168.9.2 子网IP：192.168.9.0 子网掩码255.255.255.0 端口转发：192.168.9.128(主机的)
将主机虚拟适配器连接到此网络；# 主机Windows，虚拟适配器->WMnet8（虚拟网卡）

- - - Linux：

service network restart

测试：

Linux 是否能上网 ： ping baidu.com
Linux ping 主机： ping 192.168.9.128
主机pingLinux：ping 192.168.9.2

- - - Windows：

# VMnet8
IP地址：192.168.9.128
子网掩码：255.225.255.0
DNS：和网关一样或者114.114.114.114 or 8.8.8.8

(2) 关闭虚拟机防火墙（企业的话不关闭）：

- - - Linux：

service iptables stop  # 临时关闭，防护墙属于服务，重新开机后又会启动
chkconfig iptables off  # 永久关闭
chkconfig # 看iptables（命令行是3，图形模式是5）  windows -> 管理 -> 服务

(3) 关闭SELINUX

- - - Linux：

cd /etc/selinux/
vi config
{
SELINUX=disabled
}

(4) DNS 域名解析

- - - Linux：

vi /etc/hosts
{
192.168.9.11 node01
192.168.9.12 node02
192.168.9.13 node03
192.168,9.14 node04
}

(5) 删除Mac地址，不然当现在这个使用eth0时候，另一个就是eth1了，又的重新配置

- - - Linux：

cd /etc/udev/rules.d/
cat 70-persistent-net.rules  # 右键虚拟机 ->网络适配器 ->高级->Mac地址 -> 00:0C:29:96:95:65
rm -f 70-persistent-net.rules  # 为了克隆

(6) poweroff(克隆前别启动)

小扳手 -> 拍摄快照 -> basic
basic -> 克隆 -> 现有快照 -> 创建链接克隆
（克隆之前Mac地址是一样的，但是启动之后就不一样了）

之后这个作为样板机，克隆出4台机器为：node01、node02、node03、node04

2.2 配置其余：

- - - Linux - node01：

vi /etc/sysconfig/network-scripts/ifcfg-eth0
{
    IPADDR=192.168.9.11
}
vi /etc/sysconfig/network  # 改完重启后才会有效
{
NETWORKING=yes
HOSTNAME=node01
}
vi /etc/hosts
poweroff

- - - Linux - node02：

vi /etc/sysconfig/network-scripts/ifcfg-eth0
{
    IPADDR=192.168.9.12
}
vi /etc/sysconfig/network
{
NETWORKING=yes
HOSTNAME=node02
}
vi /etc/hosts
poweroff

node03、node04的地址是13、14，HOSTNAME改为对应的；

- - - Windows：修改hosts文件：

C:\Windows\System32\drivers\etc
{
192.168.9.11 node01
192.168.9.12 node02
192.168.9.13 node03
192.168.9.14 node04
}

3. 接着是hadoop的配置：

参考网址：

# -> https://hadoop.apache.org/docs/r2.6.5/
# -> https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html

3.1 检查hosts和网络（检查上面的）：

cat /etc/hosts
hostname
cat /etc/sysconfig/network

3.2 免密钥登录：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  # 创建密钥公钥文件(dsa类型)  id_dsa  id_dsa.pub
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  # 读取家目录的公钥文件然后重定向追加到到authorized_keys（将共钥放到访问方的认证文件里）（不要多次执行，重复执行了把authorized_keys删除一次）
cat authorized_keys id_dsa.pub  # 检查是否一样，公钥和私钥
ssh root@localhost # 登录自己
exit
ssh root@node01

3.3 安装jdk

参考网址：

# https://blog.csdn.net/m0_54849806/article/details/123772220
# https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

准备：jdk-8u251-linux-i586.tar.gz（32位的jdk）

mkdir /usr/java
mv /root/Downloads/jdk-8u251-linux-i586.tar.gz /usr/java/
tar -zxvf /usr/java/jdk-8u251-linux-i586.tar.gz
# 配置profile文件
vi /etc/profile
{
export JAVA_HOME=/usr/java/jdk1.8.0_251/
export PATH=$PATH:$JAVA_HOME/bin # 先取出老的path，再拼接（：）
}
# 检查
source /etc/profile  # 也可是 . /etc/profile
java -version
whereis java
jps

3.4 安装hadoop

准备：hadoop-2.5.2.tar.gz

mkdir /usr/hadoop/
mv /root/Downloads/hadoop-2.5.2.tar.gz /usr/hadoop/
tar -zxvf /usr/hadoop/hadoop-2.5.2.tar.gz
cd /usr/hadoop/hadoop-2.5.2/  # sbin bin
vi /etc/profile
{
export JAVA_HOME=/usr/java/jdk1.8.0_251/
export HADOOP_HOME=/usr/hadoop/hadoop-2.5.2/
export PATH=$PATH:$JAVA_HOME/bin/:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin/
}
. /etc/profile
hadoop # hdfs start  # Tab

3.5 改Hadoop的配置文件

3.5.1 配置 env.sh文件：

cd /usr/hadoop/hadoop-2.5.2/etc/hadoop/
vi hadoop-env.sh # 如果/etc/profile文件没有执行，${JAVA_HOME}不能取出值，所以需要二次的javahoem环境配置；
{
export JAVA_HOME=/usr/java/jdk1.8.0_251/
}
vi mapred-env.sh
{
export JAVA_HOME=/usr/java/jdk1.8.0_251/
}
vi yarn-env.sh
{
export JAVA_HOME=/usr/java/jdk1.8.0_251/
}

3.5.2 配置 Configuration：

vi core-site.xml
{
<configuration>
    <property>
        <name>fs.defaultFS</name>   # 决定Namenode在哪启动 （文件系统的入口：NameNode）
        <value>hdfs://node01:9000</value>  # NameNode以哪个机器哪个端口启动的，见到localhost反感，换成自己的名字：node01；
    </property>
</configuration>
}

vi hdfs-site.xml
{
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>  # 配置1个副本，伪分布式，节点只有一个，副本不能出现同一节点。
    </property>
</configuration>
}

# 以上仅仅配置了NameNode节点在哪？在哪启动？

# 配置DataNode

vi slaves
{
node01 # datanode在哪启动。（localhost, 集群的话这边有多个）
}

vi core-site.xml
{
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/sxt/hadoop/local/</value>  # Namenode的持久化目录；修改namenode存放持久化元数据文件的存放目录；（这个目录是空的也没事，自己创建的）
    </property>
</configuration>
}

i hdfs-site.xml
{
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>   # secondarynamenode在哪启动
        <value>node01:50090</value>
    </property>
</configuration>
}

3.6 格式化文件系统(只要一次)

hdfs namenode -format  # 执行前后jps不会有变化；而且会创建/var/sxt/hadoop/local/；注意报错不搞错都会输出一大堆东西；
# Storage directory /var/sxt/hadoop/local/dfs/name has been successfully formatted.
cd /var/sxt/hadoop/local/dfs/name/
cd current/
ll
{
-rw-r--r-- 1 root root 351 Jun 10 05:18 fsimage_0000000000000000000
-rw-r--r-- 1 root root  62 Jun 10 05:18 fsimage_0000000000000000000.md5
-rw-r--r-- 1 root root   2 Jun 10 05:18 seen_txid
-rw-r--r-- 1 root root 205 Jun 10 05:18 VERSION
}
cat VERSION
{
#Fri Jun 10 05:18:49 PDT 2022
namespaceID=1178112766
clusterID=CID-3ba8cea9-4994-4ad6-aff6-b159d0f716d1
cTime=0
storageType=NAME_NODE
blockpoolID=BP-2116590704-192.168.9.11-1654863529163  # 连接池
layoutVersion=-57   # 在namenode这边有这些数据了
}

3.7 开始 # 看日志文件看.log

start-dfs.sh
{
Java HotSpot(TM) Client VM warning: You have loaded library /usr/hadoop/hadoop-2.5.2/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
22/06/10 05:28:46 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [node01]
node01: starting namenode, logging to /usr/hadoop/hadoop-2.5.2/logs/hadoop-root-namenode-node01.out
node01: Java HotSpot(TM) Client VM warning: You have loaded library /usr/hadoop/hadoop-2.5.2/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
node01: It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
node01: starting datanode, logging to /usr/hadoop/hadoop-2.5.2/logs/hadoop-root-datanode-node01.out
Starting secondary namenodes [node01]
node01: starting secondarynamenode, logging to /usr/hadoop/hadoop-2.5.2/logs/hadoop-root-secondarynamenode-node01.out
node01: Java HotSpot(TM) Client VM warning: You have loaded library /usr/hadoop/hadoop-2.5.2/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
node01: It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
Java HotSpot(TM) Client VM warning: You have loaded library /usr/hadoop/hadoop-2.5.2/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
22/06/10 05:29:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
}

jps  # 角色即目录
{
4829 DataNode
4974 SecondaryNameNode
4718 NameNode
5087 Jps
}

cd /var/sxt/hadoop/local/dfs/
ll  # 对于完全分布式的话：第一台只能看到name，第二台只能看到data；
{
total 12
drwx------ 3 root root 4096 Jun 10 05:28 data  #
drwxr-xr-x 3 root root 4096 Jun 10 05:28 name  # 格式化产生的
drwxr-xr-x 3 root root 4096 Jun 10 05:28 namesecondary
}

3.8 说明

cd /var/sxt/hadoop/local/dfs/name/current/
cat VERSION
{
#Fri Jun 10 05:18:49 PDT 2022
namespaceID=1178112766
clusterID=CID-3ba8cea9-4994-4ad6-aff6-b159d0f716d1  # 集群开始时候DttaNonde跟随namenode（就是两者的clusterID一样）；格式化时候只会格式化namenode，datanode不会变化；如果重新格式化的话，datanode会找不到namenode，然后自杀，进程退出，找不到主人，自杀；
cTime=0                                             # 如果发现启动后datanode不见了，第一反应就是这个clusterID不一样，datanode自杀了；
storageType=NAME_NODE                               # datanode上面的VERSION文件什么时候创建的？在namenode格式化后，datanode第一次启动与namenode交互后产生的。namenode授权给他的。
blockpoolID=BP-2116590704-192.168.9.11-1654863529163
layoutVersion=-57
}

cd /var/sxt/hadoop/local/dfs/data/current/
cat VERSION
{
#Fri Jun 10 05:28:54 PDT 2022
storageID=DS-6f5b9506-8a9c-4daa-99b9-5acdb21cf00d
clusterID=CID-3ba8cea9-4994-4ad6-aff6-b159d0f716d1  # 集群开始时候DttaNonde跟随namenode（就是两者的clusterID一样）
cTime=0
datanodeUuid=fa96bb92-0d4a-488c-87a9-649a1481f49d
storageType=DATA_NODE
layoutVersion=-55
}

http://node01:50070/  # 浏览器；9000是rpc间通信用的，不是web的，做心跳，传输数据；
{
Overview 'node01:9000' (active)
Live Nodes    1 (Decommissioned: 0)
Utilities -> 浏览文件系统 -> /  # hadoop的根目录
}

hdfs  # 查看后面可以接收什么参数
hdfs dfs # 提示 hadoop fs == hdfs dfs
hdfs dfs -mkdir -p /user/root  # 创建用户目录，root；可以在：Utilities -> 浏览文件系统 -> 查看（/user/root 相当于Linux的home）
cd /usr/hadoop/
hdfs dfs -put ./hadoop-2.5.2.tar.gz /user/root # 上传文件: 同样在：Utilities -> 浏览文件系统 -> 查看
# Permission    Owner    Group    Size（实际大小）    Replication    Block Size（块大小）    Name
# 可以点击文件，看见文件被切成两个块

3.9 作业

for i in `seq 100000`;do echo "hello world $i" >> test.txt;done
ll -h ./
hdfs dfs -D dfs.blocksize=1048576 -put ./test.txt /user/root # 1M
/var/sxt/hadoop/local/dfs/data/current/BP-2116590704-192.168.9.11-1654863529163/current/finalized
ll
{
-rw-r--r-- 1 root root 134217728 Jun 10 06:00 blk_1073741825   # 压缩包 数据
-rw-r--r-- 1 root root   1048583 Jun 10 06:00 blk_1073741825_1001.meta  # 压缩包 元数据
-rw-r--r-- 1 root root  12979764 Jun 10 06:00 blk_1073741826   # 压缩包 数据
-rw-r--r-- 1 root root    101415 Jun 10 06:00 blk_1073741826_1002.meta  # 压缩包 元数据
-rw-r--r-- 1 root root   1048576 Jun 10 06:15 blk_1073741827   # test文件 数据
-rw-r--r-- 1 root root      8199 Jun 10 06:15 blk_1073741827_1003.meta  # test文件 元数据
-rw-r--r-- 1 root root    740319 Jun 10 06:15 blk_1073741828   # test文件 数据
-rw-r--r-- 1 root root      5791 Jun 10 06:15 blk_1073741828_1004.meta  # test文件 元数据
}
stop-dfs.sh  # 关闭