Hadoop多硬盘配置时的注意事项

<!-- hdfs-site.xml -->
<property>
<name>dfs.datanode.fsdataset.volume.choosing.policy</name>
<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
</property>

<property>
<name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold</name>
<value>64424509440</value>
</property>

<!-- yarn-site.xml-->
<property>
  <name>yarn.nodemanager.local-dirs</name>
  <value>/data1,/data2,/data3/,/data4</value>
</property>

IO对hadoop的影响比较大，我们需要注意在多硬盘时hdfs-site.xml与yarn-site.xml的相关配置。

譬如说要给硬盘保留适当的空间，除了用作副本存储外，还可以留一部分给nm做临时计算的中间结果存储等。

第一个参数是副本存储的选择策略，根据可用空间大小进行存储，第二个参数是平衡时选择的标准，差额大于多少g。