常用HDFS操作命令

前一段时间频繁使用HDFS，又收集到了一些命令，在这儿分享出来，大数据的框架及设计原理方面的理论文章暂时还没有时间总结，后面有时间逐渐整理发出来。

　　注：在使用命令时，可以使用 hadoop fs，如果配置了环境变量，可以使用 hdfs dfs 和 hadoop fs 这个两个命令。

　　#export HADOOP_USER_NAME=hdfs 　　　　　　　　 --设置hadoop_user_name

　　#hdfs dfs -help 　　　　　　　　　　　　　　　　　　　--查看hdfs帮助

　　#hdfs dfs -ls / 　　　　　　 #hadoop fs -ls / 　　　　　　  --查看根目录文件
　　#hdfs dfs -put sourcepath savepath 　　　　　　　　　　 --hdfs上传文件，-f 覆盖已有文件；-p 保留原文件属性
　　#hdfs dfs -get sourcepath savepath 　　　　　　　　　　 --hdfs下载文件

　　#hdfs dfs -mkdir -p /output/dirname 　　　　　　　　　　   --创建文件夹dirname

　　#hdfs dfs -mkdir -p /output/dirname 　　　　　　　　　　　--创建多级目录

　　#hdfs dfs -touchz /input/filename 　　　　　　　　　　　　--创建文件filename
　　#hdfs dfs -cat /input/filename 　　　　　　　　　　　　　   --查看文件filename

　　#hdfs dfs -du -s /input/ 　　　　　　　　　　　　　　　　  --查看所有文件大小和字节大小
　　#hdfs dfs -cp /sourcefile /targetfile 　　　　　　 　　　　　 --复制文件
　　#hdfs dfs -rm /directory/ 　　　　　　　　　　　　　　　　--删除文件
　　#hdfs dfs -rm -R /directory/ 　　　　　　　　　　　　　　   --删除文件夹，-R循环删除文件夹里面的文件

　　#hdfs dfs -mv /user/root/.Trash/Current/test/filename /test/filename 　　　　　　　　--找回删除文件

　　#运行MapReduce: hadoop jar jarpath inputfilepath outputdir
　　#hadoop jar /opt/test.jar /input/test/test.txt /output/test/
　　#yarn jar /opt/test.jar /input/test/test.txt /output/test/

　　#hdfs dfs -getmerge sourcepaths savefilename 　　　　　　　 --合并文件
　　#hdfs dfsadmin -report 　　　　　　　　　　　　　　　　　　--查看HDFS的基本统计信息

　　#hdfs dfs -text /input/log.txt 　　　　　　　　　　　　　　　　--将给定的文件以文本的格式输出,zip、TextRecordInputStream、Avro

　　#hdfs dfs -appendToFile /sourcefile /targetfile 　　　　　　　　--向目标文件中追加内容

　　#hdfs dfs -count /input/test/ 　　　　　　　　　　　　　　　　--统计文件夹和文件个数

　　#hdfs fsck /data/test.csv -files -racks -locations -blocks 　　　   --查看文件分区存储情况

　　#tail -f filename.log 　　　　　　　　　　　　　　　　　　　  --动态查看log日志

1.Permission denied: user=root, access=WRITE, inode="/input":hdfs:supergroup:drwxr-xr-x 原因是为配置hadoop的user环境变量

　　#export HADOOP_USER_NAME=hdfs 　　　　　　　　　　 --设置hadoop_user_name