HDFS简单介绍及用C语言訪问HDFS接口操作实践

一、概述

近年来，大数据技术如火如荼，怎样存储海量数据也成了当今的热点和难点问题，而HDFS分布式文件系统作为Hadoop项目的分布式存储基础，也为HBASE提供数据持久化功能，它在大数据项目中有很广泛的应用。

Hadoop分布式文件系统(Hadoop Distributed File System。HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS是Hadoop项目的核心子项目，是一种具有高容错性、高可靠性、高可扩展性、高吞吐量等特征的分布式文件系统，可用于云计算或其他大数据应用中海量数据的存储(主要为大文件的存储)。

本文结合作者本人及同事对HDFS的学习和实践的理解，首先介绍HDFS的特点和重要SHELL命令(hadoop和hdfs命令)的使用。接着介绍HDFS提供的C訪问接口LIB HDFS及其跟普通文件系统的C API的异同。然后介绍怎样利用LIB HDFS接口实现简单的HDFSclient并列举相关应用实例，最后针对编写HDFSclient中遇到的问题进行描写叙述和分析。

二、HDFS简单介绍

HDFS是Hadoop项目的核心子项目。是一种具有高容错性、高可靠性、高可扩展性、高吞吐量等特征的分布式文件系统。

1.HDFS特点

HDFS作为一种分布式文件系统，主要有以下特点：

1)主要用于存储和管理大数据文件(因为HDFS默认数据块为128M。所以它主要适合于存储百M级别及以上大小的文件)。

2)其数据节点可横向扩展，且可选择便宜的商业硬件。

3)设计理念为“一次写，多次读”。

4)当前不支持在文件任何位置改动文件内容。仅仅能在文件尾部运行append操作。

5)不适合低延迟(几十毫秒)数据訪问应用(低延迟应用能够考虑HBASE分布式数据库或者ES+分布式文件系统的架构)。

2.HDFS经常使用SHELL命令简单介绍

hadoop有两个很重要的SHELL命令：hadoop和hdfs。对于管理HDFS文件系统而言，hadoop和hdfs脚本功能有很大的反复性，以下以分别对这两个命令进行介绍。

1)hadoop命令使用

hadoop差点儿全部的管理命令都被整合到了一个SHELL脚本中，即bin/hadoop脚本，通过运行带參数的hadoop脚本。就能够实现hadoop模块的管理工作。

因为本文主要介绍HDFS文件系统。所以这里就主要介绍怎样使用hadoop脚本操作HDFS文件系统。相关命令及參数见图1所看到的。



图1 hadoop fs命令及參数描写叙述

以下举一个详细的样例。比如，要在HDFS文件系统中查看根文件夹包含的全部文件夹或文件，再创建test文件夹，并赋予777权限，最后删除该文件夹。实现以上操作的主要命令例如以下：

hadoop fs –ls /
hadoop fs -mkdir /test
hadoop fs –chmod –R 777 /test
hadoop fs –rmdir /test

hadoop fs命令能够实现用户组及权限的管理、文件夹和文件和管理、文件的上传和下载等功能，但对于HDFS文件系统的检查(包含坏块的清理)、节点管理、快照管理和格式化等深层次管理工作就无能为力了，这里就须要用到hdfs命令了。

2)hdfs命令使用

hdfs全部管理命令都被整合到了一个SHELL脚本中，即bin/hdfs脚本。通过运行带參数的hdfs脚本，就能够实现对HDFS文件系统的管理工作。包含主要的文件、文件夹、权限和属组操作以及数据块管理和格式化等功能。

hdfs脚本实现的功能很强大。hdfs dfs命令跟hadoop fs命令功能全然一致。所以我们能够利用hdfs dfs命令并携带图1中的參数实现hadoop fs的全部功能。以下主要介绍下HDFS文件系统格式化和数据块管理操作。

格式化一个HDFS文件系统，使用例如以下命令：

hdfs namenode -format

删除HDFS文件系统中存在的坏块及对应已损坏的文件，使用例如以下命令：

hdfs fsck -delete -files /

三、LIB HDFS接口简单介绍

Hadoop FileSystem APIs是JAVA CLIENT API。HDFS并没有提供原生的C语言訪问接口。

但HDFS提供了基于JNI的C调用接口LIB HDFS，为C语言訪问HDFS提供了很大的便利。

LIB HDFS接口的头文件和库文件已包含在Hadoop发行版本号中，能够直接使用。它的头文件hdfs.h一般位于HADOOPHOME/include目录中，而其库文件libhdfs.so通常则位于{HADOOP_HOME}/lib/native文件夹中。

因为Hadoop版本号一直在更新中，所以不同版本号的LIB HDFS接口功能通常不太一样，主要表现为功能递增的现象。

通过LIB HDFS訪问HDFS文件系统与使用C语言API訪问普通操作系统的文件系统相似，但还存在一些不足的地方，详细例如以下所看到的：

a)LIB HDFS接口实现的功能仅仅是JAVA CLIENT API功能的一个子集。且跟JAVA CLIENT API相比可能还存在不少BUG未被发现或修复，如多线程、多进程訪问文件系统时句柄资源释放的问题。

b)另外因为是使用JNI方式调用JAVA CLASS，所以应用程序占用内存较多，并且该接口运行可能会产生大量异常日志。怎么管理这些日志是个问题。另外，当操作HDFS文件系统出错时，errno不一定会有正确的提示，也会添加排查问题的难度。

c)眼下LIB HDFS可參考用例较少。而利用多线程等方式通过LIB HDFS大数据量读写HDFS文件系统的用例更是少之又少。

d)眼下LIB HDFS不支持在任何位置改动文件内容，仅仅能在文件末尾运行append操作。或对整个文件运行truncate操作。这个主要跟HDFS文件系统设计有关，大数据存储一般都缺乏更新功能的支持。这点我们仅仅能通过业务层面来规避了。

e)由低到高Hadoop发行版本号携带的LIB HDFS功能可能呈现递增的情况，所以每当Hadoop版本号更新了，都须要又一次编译我们的应用程序，添加升级难度。

眼下尽管LIB HDFS接口还存在一些不足的地方。但相信未来随着该接口版本号的不断更新，其功能和稳定性都会大大提高。

四、C语言訪问HDFS应用实践

1.编译和运行环境搭建

为了成功编译C语言client程序，我们须要预先安装7.0及以上版本号的JAVA JDK和Hadoop发行版，前者提供libjvm.so等库，后者则提供LIB HDFS连接所须要的库。

为了成功运行C语言client程序，除了预先安装上面提到的程序外，我们还须要正确地设置几个关键环境变量。包含LD_LIBRARY_PATH和CLASSPATH的设置。

关于LD_LIBRARY_PATH环境变量。主要是须要加入libjvm.so和libhdfs.so库所在路径；而针对CLASSPATH则须要囊括Hadoop提供的全部jar包的全路径信息(详细可通过find+awk组合命令来实现)。否则C语言client程序总会报缺少某个类而无法运行的错误。

2.LIB HDFS接口简单应用实践

这里主要介绍部分API的使用演示样例。

1)获取HDFS文件系统的容量和已使用空间大小信息如GetHdfsInfo函数所看到的：

void GetHdfsInfo(void)
{
    hdfsFS pfs = NULL;
    int iRet = 0;
tOffset iTmp = 0;
    pfs = hdfsConnect("hdfs://127.0.0.1:9000/", 0);              // 与HDFS文件系统建立连接
    if (NULL == pfs)
    {
        WRITELOGEX(LOG_ERROR, ("GetHdfsInfo(): hdfsConnect failed! errno=%d.", errno));
        return;
    }
WRITELOG(LOG_INFO, "GetHdfsInfo(): hdfsConnect success!");
    iTmp = hdfsGetCapacity(pfs);                     // 获取HDFS文件系统容量
    if (-1 == iTmp)
    {
        WRITELOGEX(LOG_ERROR, ("GetHdfsInfo(): hdfsGetCapacity failed! errno=%d.", errno));
        hdfsDisconnect(pfs);
        pfs = NULL;
        return;
    }
WRITELOGEX(LOG_INFO, ("GetHdfsInfo(): hdfsGetCapacity success! offset=%ld.", iTmp));
    iTmp = hdfsGetUsed(pfs);         // 获取HDFS文件系统中全部文件占用空间大小，即已使用量
    if (-1 == iTmp)
    {
        WRITELOGEX(LOG_ERROR, ("GetHdfsInfo(): hdfsGetUsed failed! errno=%d.", errno));
        hdfsDisconnect(pfs);
        pfs = NULL;
        return;
    }
    WRITELOGEX(LOG_INFO, ("GetHdfsInfo(): hdfsGetUsed success! offset=%ld.", iTmp));
    iRet = hdfsDisconnect(pfs);                  // 关闭与HDFS文件系统的连接
    if (-1 == iRet)
    {
        WRITELOGEX(LOG_ERROR, ("GetHdfsInfo(): hdfsDisconnect failed! errno=%d.",  errno));
        return;
    }
    WRITELOGEX(LOG_INFO, ("GetHdfsInfo(): hdfsDisconnect success! ret=%d.", iRet));
pfs = NULL;
    return;
}

2)在HDFS文件系统中新增文件并写入数据如HdfsWriteTest函数所看到的：

void HdfsWriteTest(hdfsFS pfs)
{
    int iRet = 0;
    hdfsFile pfile = NULL;
    char szTestFile[200] = "/test/ write.test";
    if (NULL == pfs)
    {
        WRITELOG(LOG_ERROR, "HdfsWriteTest():pfs is null.");
        return;
    }
    pfile = hdfsOpenFile(pfs, szTestFile, O_WRONLY || O_CREAT, 0, 0, 0);      // 打开文件句柄
    if (NULL == pfile)
    {
        WRITELOGEX(LOG_ERROR, ("HdfsWriteTest(): hdfsOpenFile failed! szFilePath=%s,errno=%d.", szTestFile, errno));
        return;
    }
    WRITELOGEX(LOG_INFO, ("HdfsWriteTest(): hdfsOpenFile success! szFilePath=%s.", szTestFile));
    iRet = hdfsWrite(pfs, pfile, "hello world!", strlen("hello world!"));           // 写入数据
    if (-1 == iRet)
    {
        WRITELOGEX(LOG_ERROR, ("HdfsWriteTest(): hdfsWrite failed! ret=%d,errno=%d.", iRet, errno));
hdfsCloseFile(pfs, pfile);
        pfile = NULL;
        return;
    }
WRITELOGEX(LOG_INFO, ("HdfsWriteTest(): hdfsWrite success! ret=%d.", iRet));
    iRet = hdfsHFlush(pfs, pfile);                           // 将缓冲区中数据写入磁盘
    if (-1 == iRet)
    {
        WRITELOGEX(LOG_ERROR, ("HdfsWriteTest(): hdfsFlush failed! ret=%d,errno=%d.", iRet, errno));
hdfsCloseFile(pfs, pfile);
        pfile = NULL;
        return;
}
    WRITELOGEX(LOG_INFO, ("HdfsWriteTest(): hdfsFlush success! ret=%d.", iRet));
    iRet = hdfsCloseFile(pfs, pfile);                               // 关闭文件句柄，释放资源
    if (-1 == iRet)
    {
        WRITELOGEX(LOG_ERROR, ("HdfsWriteTest(): hdfsCloseFile failed! ret=%d,errno=%d.", iRet, errno));
        return;
    }
    WRITELOGEX(LOG_INFO, ("HdfsWriteTest(): hdfsCloseFile success! ret=%d.", iRet));
pfile = NULL;
    return;
}

3.遇到的主要问题描写叙述与分析

对于LIB HDFS接口的不足之处，在本文第三部分(LIB HDFS接口简单介绍)已有大致描写叙述。

在实际性能測试过程中。因LIB HDFS接口引起的问题主要包含：lease租约回收异常和程序句柄资源释放异常等两大类。

我们换了多种測试模型，基本确认LIB HDFS接口在某些异常情况下(如频繁对同一个文件运行append操作)会产生上述问题。

所以假设在项目中须要实际应用LIB HDFS接口，就须要我们改进client程序处理流程，尽量规避和降低上述问题的产生。能够採用例如以下方法：

1)在client程序和HDFS文件系统间添加缓存的方式降低HDFS的读写密度；

2)降低对HDFS文件系统的更新操作，比如文件写入完毕后就不再运行append操作，仅仅运行read操作。

五、总结

本文对HDFS和用C语言訪问HDFS的操作进行了详细的介绍，可供相关项目的开发者參考。

HDFS作为一种分布式文件系统，并非万能的，比如并不适合于存储量太小或要求低訪问延迟的应用场景，又或者须要频繁更新数据的系统。即使应用了HDFS文件系统，为了发挥HDFS文件系统的最大效率，仍可能须要通过我们改动业务分层或逻辑实现等手段来规避HDFS的一些缺点。

---

本人微信公众号：zhouzxi，请扫描以下二维码：