使用shell操作HDFS

前提是都已经配置好了，可以参考hadoop伪分布安装：http://blog.csdn.net/jerome_s/article/details/25788967

linux的文件系统与hdfs的关系类似于widnows与虚拟机的关系

hadoop fs 回车，即可看到所有的操作；

hadoop fs -help ls 查看某个命令的具体操作；

HDFS fs命令

-help [cmd] //显示命令的帮助信息

-ls(r) <path> //显示当前目录下所有文件

-du(s) <path> //显示目录中所有文件大小

-count[-q] <path> //显示目录中文件数量

-mv <src> <dst> //移动多个文件到目标目录

-cp <src> <dst> //复制多个文件到目标目录

-rm(r) //删除文件(夹)

-put <localsrc> <dst> //本地文件复制到hdfs

-copyFromLocal //同put

-moveFromLocal //从本地文件移动到hdfs

-get [-ignoreCrc] <src> <localdst> //复制文件到本地，可以忽略crc校验

-getmerge <src> <localdst> //将源目录中的所有文件排序合并到一个文件中

-cat <src> //在终端显示文件内容

-text <src> //在终端显示文件内容

-copyToLocal [-ignoreCrc] <src> <localdst> //复制到本地

-moveToLocal <src> <localdst>

-mkdir <path> //创建文件夹

-touchz <path> //创建一个空文件

实际操作：

对hdfs的操作方式：hadoop fs xxx

hadoop fs -ls / 查看hdfs的根目录下的内容的

hadoop fs -lsr / 递归查看hdfs的根目录下的内容的

hadoop fs -mkdir /d1 在hdfs上创建文件夹d1

hadoop fs -put <linux source> <hdfs destination> 把数据从linux上传到hdfs的特定路径中

hadoop fs -get <hdfs source> <linux destination> 把数据从hdfs下载到linux的特定路径下

hadoop fs -text <hdfs文件> 查看hdfs中的文件

hadoop fs -rm 删除hdfs中文件

hadoop fs -rmr 删除hdfs中的文件夹



hadoop fs -ls hdfs://hadoop:9000/