hadoop常用命令详细解释

hadoop命令分为2级，在linux命令行中输入hadoop，会提示输入规则

Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
  namenode -format     format the DFS filesystem
#这个命令用于格式化DFS系统：hadoop namenode -formate
  secondarynamenode    run the DFS secondary namenode
#运行第二个namenode
  namenode             run the DFS namenode
#运行DFS的namenode
  datanode             run a DFS datanode
#运行DFS的datanode
  dfsadmin             run a DFS admin client
#运行一个DFS的admin客户端
  mradmin              run a Map-Reduce admin client
#运行一个map-reduce文件系统的检查工具
  fsck                 run a DFS filesystem checking utility
#运行一个DFS文件系统的检查工具
  fs                   run a generic filesystem user client
#这个是daoop文件的系统的一级命令，这个非常常见！！！稍后详细讲解这个命令：例如hadoop fs -ls /
  balancer             run a cluster balancing utility
#作用于让各个datanode之间的数据平衡，例如:sh $HADOOP_HOME/bin/start-balancer.sh –t 15%

  oiv apply the offline fsimage viewer to an fsimage
#将fsimage文件的内容转储到指定文件中以便于阅读,oiv支持三种输出处理器，分别为Ls、XML和FileDistribution，通过选项-p指定  
  fetchdt              fetch a delegation token from the NameNode

#运行一个代理的namenode
  jobtracker           run the MapReduce job Tracker node
#运行一个MapReduce的taskTracker节点
  pipes                run a Pipes job
#运行一个pipes作业
  tasktracker          run a MapReduce task Tracker node
#运行一个MapReduce的taskTracker节点
  historyserver        run job history servers as a standalone daemon
#运行历史服务作为一个单独的线程
  job                  manipulate MapReduce jobs
#处理mapReduce作业,这个命令可以查看提交的mapreduce状态，杀掉不需要的job
  queue                get information regarding JobQueues
#队列管理，在后续版本中这个命名取消了
  version              print the version
#打印haoop版本
  jar <jar>            run a jar file
#运行一个jar包，比如mapreduce可以通过hadoop-streaming-1.2.1.jar进行开发
  distcp <srcurl> <desturl> copy file or directories recursively
#distcp一般用于在两个HDFS集群中传输数据。如果集群在Hadoop的同一版本上运行，就适合使用hdfs方案：
 hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar
  distcp2 <srcurl> <desturl> DistCp version 
  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  classpath            prints the class path needed to get the
                       Hadoop jar and the required libraries
  daemonlog            get/set the log level for each daemon
 or
  CLASSNAME            run the class named CLASSNAME
Most commands print help when invoked w/o parameters.

2.随时更新，用到一个更新一个：

格式化集群命令，这个命令一般在第一次启动集群时使用，注意，再次启动时候不能使用

hadoop namenode -formate

hdfs文件系统常见的命令：这些命令与linux系统命令非常类似：

[root@master /root]$ hadoop fs
Usage: java FsShell
           [-ls <path>]#显示某个目录下的所有文件夹或者文件,与linux的ls命令类似
hadoop  fs -ls /
           [-lsr <path>]#以全路径的方式展示当前目录下及当前目录下所有子目录的全部文件,与linux系统下tree命令类似
hadoop fs  -lsr /
           [-du <path>]#显示目录下所有子目录或者文件所占空间（逻辑空间），与linux命令du类似（注意子目录）
hadoop fs -du /
           [-dus <path>]#显示该目录所占空间（逻辑空间），与linux的du命令类似（输入目录,）
Hadoop fs -dus /
           [-count[-q] <path>]#显示某目录占用的实际空间，其输出结果对应含义如下：
hadoop fs -count -q /
2147483647      2147483623            none             inf           16            8             811543 hdfs://192.168.121.10:9000/

           [-mv <src> <dst>]#与linux命令mv类似，重命名一个目录或者文件
hadoop fs -mv /mapreduce/out /mapreduce/Out2
           [-cp <src> <dst>]#与linux命令cp复制，复制一个文件或者目录
hadoop fs -cp /mapreduce/out /
           [-rm [-skipTrash] <path>]#删除某个文件 -skipTrash避免进入回收站而直接删除，在core-site.xml中可以配置启动防止误删机制
hadoop fs -rm  /lalalala/_logs/history/job_201804021019_0008_1522767221715_root_streamjob9109570129325496092.jar
           [-rmr [-skipTrash] <path>]递归删除文件夹及其内部所有文件，-skipTrash避免进入回收站而直接删除，在core-site.xml中可以配置启动防止误删机制

hadoop fs -rmr /lalalala
           [-expunge]#清空回收站
hadoop fs -expunge
           [-put <localsrc> ... <dst>]#将文件上传至HDFS的某个目录中,
hadoop fs -put a.txt /mapreduce
           [-copyFromLocal <localsrc> ... <dst>]#
           [-moveFromLocal <localsrc> ... <dst>]
           [-get [-ignoreCrc] [-crc] <src> <localdst>]
           [-getmerge <src> <localdst> [addnl]]
           [-cat <src>]
           [-text <src>]
           [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
           [-moveToLocal [-crc] <src> <localdst>]
           [-mkdir <path>]
           [-setrep [-R] [-w] <rep> <path/file>]
           [-touchz <path>]
           [-test -[ezd] <path>]
           [-stat [format] <path>]
           [-tail [-f] <file>]
           [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-chgrp [-R] GROUP PATH...]
           [-help [cmd]
]