配置伪分布模式下的hadoop以及采用fuse-dfs来访问HDFS

实验目标

配置环境的主要目的是得到HDFS的客户端fuse-dfs的IO性能。本来的服务器上没有任何环境，因此安装均是从无到有的。系统是Ubuntu server 14.04 amd64。整个过程参考了很多网上的博客，但是由于JAVA版本、hadoop版本、HDFS版本以及fuse-dfs版本的原因，网上各种解决方案在本机的运行上有点问题，需要进行一些变通才能保证各步骤的成功运行，所以写个随笔记录一下，方便自己以后参考。

整体步骤

完成测试的步骤包括如下步骤：

（1）安装JAVA环境：hadoop是基于java的，所以必须得安装java环境才能运行hadoop。

（2）下载hadoop源码：我下载的hadoop-2.8.5-src。这部分的源码其实我需要的只是fuse-dfs这一部分的代码。下载hadoop的二进制文件：由于其余的代码我并没有编译，所以我直接下载了同样版本的可执行二进制文件。

（3）编译fuse-dfs的代码。

（4）配置hadoop伪分布环境，单namenode与单datanode。

（5）挂载fuse-dfs，进行测试。

接下来进行步骤详解：

（1）（2）安装JAVA环境和hadoop的源码下载这部分就不详细描述了，网上大把教程，直接从第三部分开始。

（3）编译fuse-dfs的代码。

首先我们找到fuse-dfs的代码，他放在hadoop源码根目录下面的 hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/下面。为了方便，我选择将这个文件夹拷出来单独编译。

首先我们将CMakeLists打开，将该文件最后的部分注释掉。（我已经注释掉了，原来的是没有前面的#号的）。

#add_executable(test_fuse_dfs
#    test/test_fuse_dfs.c
#    test/fuse_workload.c
#    util/posix_util.c
#)
#target_link_libraries(test_fuse_dfs
#    ${FUSE_LIBRARIES}
#    native_mini_dfs
#    ${JAVA_JVM_LIBRARY}
#    pthread
#)

然后执行cmake，系统会生成自动化的makefile文件，然后执行make会产生很多报错，首先是缺乏头文件hdfs.h和config.h。hdfs.h可以在hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/libhdfs/include/hdfs中找到，而config.h则在hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src 执行cmake即可生成。将config.h拷贝到fuse-dfs目录下，将hdfs.h拷贝到fuse-dfs/hdfs目录下。完成这两个操作之后，编译应该不会报错了，但是链接是会报错的：

一个是

Please add -D_FILE_OFFSET_BITS=64 to your compile flags!

针对这个错误，需要在fuse-dfs/CMakeFiles/fuse_dfs.dir/中的flags.make中增加一行。

C_FLAGS += -D_FILE_OFFSET_BITS=64

这个问题就可以解决了。然后是缺乏库的问题，需要将hadoop源码中的libhdfs.so拷入到/usr/lib中即可，编译连接就可以通过了。

（4）配置伪分布环境

这一部分的配置在hadoop-2.8.5的可执行文件目录完成。首先我们需要将hadoop-2.8.5/etc/hadoop/hadoop-env.sh文件中指定JAVA_HOME的一行修改为如下

export JAVA_HOME=/mnt/data/code/jdk1.8.0_191（根据自己的java_home目录自行替换）

然后进入etc/hadoop目录修改配置文件，首先修改core-site.xml,修改为如下即可，其中tmp目录根据自己的实际情况进行修改，如果不填这部分默认tmp目录为/tmp：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/mnt/data/code/hdfs/hadoop/tmp</value>
        <description>A basefor other temporary directories.</description>
    </property>
    <property>
        <name>hadoop.proxyuser.spark.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.spark.groups</name>
        <value>*</value>
    </property>
</configuration>

接下来修改hdfs-site.xml,分别指定namenode和datanode的位置以及副本数量。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/mnt/data/code/hdfs/hadoop/name</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/mnt/data/code/hdfs/hadoop/data</value>
    </property>

    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

这些都完成之后就可以运行HDFS了，,切换到hadoop的二进制文件目录hadoop-2.8.5,首先对namenode进行格式化

./bin/hdfs namenode -format

然后可以启动和停止hdfs，通过如下命令。

./sbin/start-dfs.sh
./sbin/stop-dfs.sh

执行启动命令后，可以通过jps命令查看是否在运行。准确结果如下：

root@opstor:/mnt/data/code/hadoop-2.8.5/sbin# jps
1986 Jps
31862 DataNode
31642 NameNode
32143 SecondaryNameNode

也可以通过网页端查看，http://localhost:50070查看。

（5）挂载fuse-dfs

这一步涉及到fuse代码中的C语言代码调用hdfs中用java实现的IO操作，所以需要将运行环境配置好才行，为此fuse-dfs也提供了fuse_dfs_wrapper.sh来保证这一点，但是由于hadoop的一些库的位置变化，这个文件需要进行调整才能保证fuse-dfs的成功挂载。

修改后的fuse_dfs_wrapper.sh文件如下,其中HADOOP_PREFIX根据自己的hadoop二进制可执行文件目录自行修改。

export HADOOP_PREFIX="/mnt/data/code/hadoop-2.8.5/share/hadoop"

if [ "$HADOOP_PREFIX" = "" ]; then
  echo "HADOOP_PREFIX is empty. Set it to the root directory of Hadoop source code"
  exit 1
fi

#export FUSEDFS_PATH="$HADOOP_PREFIX/hadoop-hdfs-project/hadoop-hdfs-native-client/target/main/native/fuse-dfs"
#export LIBHDFS_PATH="$HADOOP_PREFIX/hadoop-hdfs-project/hadoop-hdfs-native-client/target/usr/local/lib"

export FUSEDFS_PATH="/mnt/data/code/fuse-dfs"
export LIBHDFS_PATH="/usr/lib"

if [ "$OS_ARCH" = "" ]; then
export OS_ARCH=amd64
fi

if [ "$JAVA_HOME" = "" ]; then
export  JAVA_HOME=/usr/local/java
fi

if [ "$LD_LIBRARY_PATH" = "" ]; then
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:/usr/local/lib
fi

while IFS= read -r -d '' file
do
  export CLASSPATH=$CLASSPATH:$file
done < <(find "$HADOOP_PREFIX/hdfs" -name "*.jar" -print0)

while IFS= read -r -d '' file
do
  export CLASSPATH=$CLASSPATH:$file
done < <(find "$HADOOP_PREFIX/hdfs//lib" -name "*.jar" -print0)

while IFS= read -r -d '' file
do
  export CLASSPATH=$CLASSPATH:$file
done < <(find "$HADOOP_PREFIX/tools" -name "*.jar" -print0)

while IFS= read -r -d '' file
do
  export CLASSPATH=$CLASSPATH:$file
done < <(find "$HADOOP_PREFIX/tools/lib" -name "*.jar" -print0)

while IFS= read -r -d '' file
do
  export CLASSPATH=$CLASSPATH:$file
done < <(find "$HADOOP_PREFIX/common" -name "*.jar" -print0)

while IFS= read -r -d '' file
do
  export CLASSPATH=$CLASSPATH:$file
done < <(find "$HADOOP_PREFIX/common/lib" -name "*.jar" -print0)

export CLASSPATH=$HADOOP_CONF_DIR:$CLASSPATH
export PATH=$FUSEDFS_PATH:$PATH
export LD_LIBRARY_PATH=$LIBHDFS_PATH:$JAVA_HOME/jre/lib/$OS_ARCH/server

fuse_dfs "$@"

其实这个脚本的主要目的就是在挂载fuse-dfs之前保证java的库都能准确定位。修改完成之后即可采用进行fuse-dfs的挂载。后续测试即可顺利进行。

./fuse_dfs_wrapper.sh dfs://localhost:9000/ mnt/dfs

END！