Hadoop学习之路（五）Hadoop集群搭建模式和各模式问题

分布式集群的通用问题

当前的HDFS和YARN都是一主多从的分布式架构，主从节点---管理者和工作者

问题：如果主节点或是管理者宕机了。会出现什么问题？

群龙无首，整个集群不可用。所以在一主多从的架构中都会有一个通用的问题：

当集群中的主节点宕机之后，整个集群不可用。这个现象叫做：单点故障。SPOF

单点故障讲述的概念有两点

1、如果说宕机的那个节点是从节点，那么整个集群能够继续运行，并且对外提供正常的服务。

2、如果说宕机的那个节点是主节点，那么整个集群就处于宕机状态。

通用的解决方案：高可用

概念：当正在对外提供服务器的主从节点宕机，那么备用的主节点立马上位对外提供服务。无缝的瞬时切换。

皇帝驾崩，太子继位。

集群的搭建的集中通用模式

1、单机模式

　　表示所有的分布式系统都是单机的。

2、伪分布式模式（搭建在了只有一个节点的集群中）

　　表示集群中的所有角色都分配给了一个节点。

　　表示整个集群被安装在了只有一个节点的集群中的。

　　主要用于做快速使用，去模拟分布式的效果。

3、分布式模式

　　表示集群中的节点会被分配成很多种角色，分散在整个集群中。

　　主要用于学习测试等等一些场景中。

4、高可用模式

　　表示整个集群中的主节点会有多个

　　注意区分：能够对外提供服务的主节点还是只有一个。其他的主节点全部处于一个热备的状态。

　　正在对外提供服务的主节点：active　　有且仅有一个

　　热备的主节点：standby　　可以有多个

　　工作模式：1、在任意时刻，只有一个主节点是active的，active的主节点对外提供服务

　　　　　　　2、在任意时刻，都应至少有一个standby的主节点，等待active的宕机来进行接替

　　架构模式：就是为了解决分布式集群中的通用问题SPOF

　　不管是分布式架构还是高可用架构，都存在一个问题：主从结构---从节点数量太多了。最直观的的问题：造成主节点的工作压力过载，主节点会宕机，当前的这种现象是一种死循环

5、联邦模式

　　表示当前集群中的主从节点都可以有很多个。

　　1）主节点：可以有很多个的意思是说：同时对外提供服务的主节点有很多个。

　　　　　　重点：每一个主节点都是用来管理整个集群中的一部分

　　2）从节点：一定会有很多个。

　　在联邦模式下还是会有问题：

　　虽然这个集群中的一个主节点的压力被分摊到了多个主节点。但是这个多个主节点依然会有一个问题：SOFP

安装Hadoop集群中的一些通用问题

1、假如安装不成功，并且不知道应该怎么去解决这个安装错误：重装

　需要做的处理：处理安装步骤中不同的部分即可。第一次安装和重装时候的不同步骤：

　 1）到修改配置文件以前，全部都不用动

　 2）检查配置文件是否都正确

　　　　先检查一个节点上的配置文件是否都正确，如果都正确，重新分发一次即可

　 3）在安装分布式集群时，所有节点中的安装的安装目录和安装者，需要检查和确定

　 4）删掉数据目录

　　　　A.　删除主节点的工作目录：namenode的数据目录

　　　　　删除即可，只需要在主节点删除即可

　　　　B.　删除从节点的工作目录：datanode的数据目录

　　　　　删除即可，把每个从节点上的这个对应数据目录都删掉

　　　　　如果以上两份数据都被删除了之后。整个集群当中就相当于没有存储任何的历史数据。所以就是一个全新的集群

　5）在确保数据正常和安装包都正常之后，进行重新初始化

　　重点强调： hadoop集群的初始化，其实就是初始化HDFS集群，只能在主节点进行初始化

　　如果你只需要搭建YARN集群，那么是可以不用做初始化的。

　 6）启动集群

　 7）验证集群是否成功

Linux环境变量加载的顺序

用户环境变量：仅仅只是当前用户使用 ~/.bashrc　　 ~/.bash_profile
系统环境变量：给当前系统中的所有用户使用 /etc/profile

任何普通用户在进行登录的时候：会同时加载几个环境变量的配置文件：

按顺序：
1、/etc/profile
2、~/.bash_profile
3、~/.bashrc