一起学Hadoop——文件的上传、分发与打包

如果我们想把文件上传到Hadoop集群中，使用put命令即可。下面的语句是将本地文件上传到hadoop集群的/目录下。

hadoop fs -put fruit.txt /

 

下面介绍通过脚本将文件分发到Hadoop集群的方法。因为Hadoop本身就带有文件自动分发的功能，我们只需在启动hadoop作业的脚本文件中做相应的配置即可。可选的配置项有三个，每个适用的场景都不一样：

-file：将本地文件分发到计算节点。

-cacheFile：将HDFS中已经存在的文件发送到需要使用该文件的节点。

-cacheArchive：将HDFS中已经存在的压缩文件分发到相应的计算节点并解压。

 

简单介绍三个选项的用法。

-file用法：在脚本文件中添加代码：-file ./map_sort.py \。将当前目录的map_sort.py文件上传到计算节点，\是换行符。

 

-cacheFile用法：在脚本文件中添加代码：-cacheFile "hdfs://hadoop-master:8020/fruit.txt#fruit"。“#”是给要分发的文件起别名，在Mapreduce程序中直接使用该别名就可访问该文件。

 

-cacheArchive用法：在脚本文件中添加代码：-cacheArchive “hdfs://hadoop-master:8020/fruit.tar.gz#fruit.gz”。将hdfs中的fruit.tar.gz压缩文件分发到计算节点。同-cacheFile的用法一样，#也是给要分发的压缩文件起别名，然后在mapreduce中通过别名就可以访问到该压缩文件。-cacheArchive会将fruit.tar.gz压缩文件解压成一个fruit.tar.gz的目录。

 

-file适合在文件比较小(10M以内)的场景下使用。

-cacheFile和-cacheArchive适合在文件比较大(文件大小在G以上)的场景下使用。

 

关注本人的公众号获取大数据和机器学习的知识