Hadoop集群中添加硬盘

Hadoop工作节点扩展硬盘空间

接到老板任务，Hadoop集群中硬盘空间不够用，要求加一台机器到Hadoop集群，并且每台机器在原有基础上加一块2T硬盘，老板给力啊，哈哈。

这些我把完成这项任务的步骤和我遇到的问题和解决方法总结一下，分享给大家。

1.    首先，介绍一下用到的基本命令和配置，如果本文的网友时间比较紧，可以直接跳过部分内容，直接看“2.   如何加载新硬盘”部分。

（1）命令fdisk

语法：

fdisk [-b sectorsize] device

fdisk -l [-u] [device...]

fdisk -s partition...

fdisk –v

说明：

-b <sectorsize>   指定每个分区的大小。也可以执行fdisk device（如：fdisk /dev/sdb）后，在系统提示时指定。

-l   列出指定的外围设备的分区表状况。如果仅执行 fdisk -l，系统会列出已知的分区。

-u   搭配"-l"参数列表，会用分区数目取代柱面数目，来表示每个分区的起始地址。

-s <parttion>       将指定的分区的大小输出到标准输出上，单位为区块。

-v   显示fdisk的版本信息。

（2）命令mkfs

语法：mkfs [-V][-t fstype] [fs-options] filesys

说明：

-V   显示简要的使用方法。

-t <fstype>   指定要建立何种文件系统，如：ext3, ext4。

fs   指定建立文件系统时的参数。

-v   显示版本信息与详细的使用方法。

（3）命令mount

语法：

mount [-afFnrsvw] [-t vfstype] [-Llabel]  [-o options] device dir

mount [-lhv]

说明：

-a   加载文件/etc/fstab中设置的所有设备。

-f    不实际加载设备。可与-v等参数同时使用以查看mount的执行过程。

-F   需与-a参数同时使用。所有在/etc/fstab中设置的设备会被同时加载，可加快执行速度。

-t vfstype  指定加载的文件系统类型，如：ext3,ext4。

-L label      给挂载点指定一个标签名称。

-l    显示分区的label。

-h   显示帮助信息。

-v   显示mount的版本信息。

device 要挂载的分区或文件。如果device是一个文件，挂载时须加上-o loop参数。

dir   分区的挂载点。

（4）fstab配置说明

/etc/fstab 中一共有６列：

file system：指定要挂载的文件系统的设备名称（如：/dev/sdb）。也可以采用UUID，UUID可以通过使用blkid命令来查看（如：blkid  /dev/sdb）指定设备的UUID号。

mount point：挂载点。就是自己手动创建一个目录，然后把分区挂载到这个目录下。

type：用来指定文件系统的类型。如：ext3, ext4, ntfs等。

option dump：０表示不备份；１表示要将整个<file system>中的内容备份。此处建议设置为０。

pass：用来指定fsck如何来检查硬盘。０表示不检查；挂载点为分区／（根分区）必须设置为１，其他的挂载点不能设置为１；如果有挂载ass设置成大于1的值，则在检查完根分区后，然后按pass的值从小到大依次检查，相同数值的同时检查。如：/home　和 /boot　的pass 设置成2，/devdata的pass 设置成3，则系统在检查完根分区，接着同时检查/boot和/home，再检查/devdata。

2.        如何加载新硬盘（想详细了解为什么会这样操作，请看第三部分“详解步骤”部分）

（1）      通过命令fdisk –lu，显示“Disk /dev/sdb doesn't contain a valid partition table”说明sdb就是新添加的硬盘，下面主要针对它进行操作。如图1所示。

图1

（2）      下面对sdb进行分区，命令：fdisk/dev/sdb，如下图2所示，按提示操作。

图2

根据提示，输入n，想新硬盘添加一个分区。出现Commandaction时，输入e，指定分区为扩展分区（extended）。出现Partition number(1-4)时，输入１表示只分一个区。

续指定起启柱面（cylinder）号完成分区。如图3所示。

图3

（3）      最后输入p，打印出新硬盘分区表，图4所示。

图4

（4）      在Command (m for help)提示符后面输入w，保存分区表。系统提示：Thepartition table has been altered! 如图5所示。

图5

（5）      此时，用命令fdisk –lu分区情况，如图6所示

图6

（6）      对新分区进行格式化：sudo mkfs -t ext4 /dev/sdb，（推荐ext4，时间比较快，具体了解看第三部分“详细步骤”）如图7所示。

图7

（7）      挂载硬盘sudo mount -t ext4 /dev/sdb /devdata（这里devdata是自己制定的目录，你可以指定任意目录，我加载的目录是dfs.data.dir指定的目录），到此时已经完成了所有步骤，下面就是修补。此时就可以用命令sudo df –h查看了，如图8所示。

图8

（8）      如果想每次手动加载，使用命令mount –a。如果想让系统自动加载，需要配置/etc/fstab，如下图9所示。

图9

到此加载过程完成。

如果是Hadoop集群，此时需要将每个工作节点dfs.data.dir目录重新修改权限，使用命令：chown –R dm:dm/usr/local/hadoop/data/(这是dfs.data.dir指向的目录)，然后将namenode格式化即可，这里笔者就是忘了更改dfs.data.dir指向目录的权限，导致datanode启动不起来，汗啊。

3.    详解步骤

（1）对于2中（1）的名称sdb，其实Linux对设备的命名有它自己的一套规则，根据接口类型来区分存储设备，按存储设备占用的系统接口编号为其分配标识符。对于IDE存储设备（并口设备）标识符为hd，按设备使用接口的不同，分别命名为had，hdb，hdc等；对于SCSI接口，SATA接口设备（串口）和串行总线接口使用sd作为标识，仍按照使用接口编号不同，以sda，sdb等为其命名。

（2）对2中的（2）分区。在使用硬盘存储数据时，还需要对硬盘进行分区，按分区的使用方法可以将硬盘分区分为3种：主分区、扩展分区和逻辑分区。其中主分区是最基本的分区类型，它可以直接挂载并存储数据，一个硬盘最多只能有4个主分区。Linux系统中对这4个主分区使用1、2、3、4作为标识符。例如硬盘sda上的第1个主分区的标识为sda1，同理其他三个标识分别为sda2,sda3, sda4；扩展分区是一种特殊的主分区，如果要使用扩展分区存储数据，必须先将扩展分区划分为逻辑分区（即逻辑分区加你在扩展分区基础之上），如果要在一个硬盘上创建4个以上的分区，就必须使用扩展分区。由于扩展分区也是一种主分区，因此扩展分区也占用一个主分区号；在扩展分区分区基础之上，可以创建多个逻辑分区，逻辑分区可以直接挂载并存储数据。逻辑分区的标识数字从5开始，例如sda5，sda6。Linux系统中的硬盘分区使用以上标识符命名并保存在/dev中，要使用分区存储数据时，需要将对应的块设备文件挂载到一个目录下。挂载设备的过程可以描述成：为用户使用该分区存放和读取数据提供一个接口和途径。这里为什么创建扩展分区，而不是创建主分区，笔者的理由是主分区包含启动的一些附加信息，而这些信息是用来引导系统启动的，这里的磁盘只是为了扩充原有磁盘的容量来存储数据，如果扩展分区直接分成逻辑分区，不需要这些附加信息，从而可以更加充分地利用新硬盘的空间，这个解释不保证正确，如果有误，请智者指正。

（3）2中（6）提到了文件系统ext4，可以参考http://baike.baidu.com/view/266589.htm#7

（4）2中（8）的fstab设置可参考http://baike.baidu.com/view/5499388.htm。

引用网址：http://aofengblog.blog.163.com/blog/static/6317021201101502540117/