Hadoop记录-退役

一、datanode添加新节点

1.在dfs.include文件中包含新节点名称，该文件在名称节点的本地目录下

[白名单] [/app/hadoop/etc/hadoop/dfs.include]

2.在hdfs-site.xml文件中添加属性

<property>

    <name>dfs.hosts</name>

    <value>/app/hadoop/etc/dfs.include.txt</value>

</property>

3.在nn上刷新节点

hdfs dfsadmin -refreshNodes

4.在slaves文件中添加新节点ip（主机名）

5.单独启动新节点中的datanode

hadoop-daemon.sh start datanode

二、datanode退役旧节点

1.添加退役节点的ip到黑名单 dfs.hosts.exclude,不要更新白名单

[/app/hadoop/etc/dfs.hosts.exclude]

2.配置hdfs-site.xml

<property>

  <name>dfs.hosts.exclude</name>

  <value>/app/hadoop/etc/dfs.hosts.exclude.txt</value>

</property>

3.刷新nn的节点

hdfs dfsadmin -refreshNodes

4.查看WEBUI，节点状态在Decommission  In Progress

5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成

6.从白名单删除节点，并刷新节点

hdfs dfsadmin -refreshNodes

yarn rmadmin -refreshNodes

7.从slaves文件中删除退役的节点

8.hdfs-site.xml文件内容

<property>

   <name>dfs.hosts.exclude</name>

   <value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>

</property>

三、yarn添加新节点

1.在dfs.include文件中包含新节点名称，该文件在名称节点的本地目录下

[白名单]

[/app/hadoop/etc/hadoop/dfs.include]

2.在yarn-site.xml文件中添加属性

<property>

  <name>yarn.resourcemanager.nodes.include-path</name>

  <value>/soft/hadoop/etc/dfs.include.txt</value>

</property>

3.在rm上刷新节点

yarn rmadmin-refreshNodes

4.在slaves文件中添加新节点ip（主机名）

5.单独启动新节点中的资源管理器

yarn-daemon.sh start nodemanager

六、yarn退役新节点

1.添加退役节点的ip到黑名单 dfs.hosts.exclude,不要更新白名单

[/soft/hadoop/etc/dfs.hosts.exclude]

2.配置yarn-site.xml

<property>

<name>yarn-resourcemanager.nodes.exclude-path</name>

<value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>

</property>

3.刷新rm的节点

yarn rmadmin -refreshNodes

4.查看WEBUI，节点状态在Decommission  In Progress

5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成

6.从白名单删除节点，并刷新节点

yarn rmadmin -refreshNodes

7.从slaves文件中删除退役的节点