Hadoop shell 命令有三种格式

  • hdfs + dfs (必须是dfs)
  • Hadoop + dfs
  • Hadoop + df
命令 说明
hadoop 版本查看 hadoop version
hadoop 显示命令信息 hadoop dfs
列出 HDFS 目录 Hadoop fs -ls /
递归列出 / 下的所有目录（包括子目录） Hadoop fs -lsr /
hdfs 查看文件内容 hdfs dfs -cat /output/part-00000
hdfs 查看文件内容，并进行分页显示 hdfs dfs -cat /output/part-00000 | more
hdfs 查看文件内容 hdfs dfs -text /output/part-00000
Hdfs 查看指定文件大小 hdfs dfs -du /output/part-00000
将 HDFS 上的文件复制到本地 hdfs dfs -get /output/part-00000 /usr/local/load.txt
将 HDFS 上的文件复制到本地（二） hdfs dfs -copyToLocal /output/part-00000 /usr/local/load.txt
在 HDFS 上创建文件目录 hadoop fs -mkdir /data
在 HDFS 上一次性创建多级目录 hadoop fs -mkdir -p /data/child1/child2
复制本地文件或HDFS文件到HDFS 指定路径 hadoop fs -put /usr/local/load.txt /data/
复制本地文件到HDFS 指定路径，更严格（二） hadoop fs -copyFromLocal /usr/local/load.txt /data/
移除HDFS 指定目录文件 hadoop fs -rm
移除HDFS 指定目录文件和其子目录 hadoop fs -rmr
将文件尾部1K字节的内容输出 hdfs dfs -tail /data/load.txt

更详细的 shell 说明请点击查看，可以在集群浏览器中输入 http://yarn00:50070 浏览和操作HDFS的目录和文件。

路径浏览



对应 http://yarn00:50070 中的界面如下：

Hadoop shell 一查就会的更多相关文章

  1. Hadoop Shell命令大全

    hadoop支持命令行操作HDFS文件系统,并且支持shell-like命令与HDFS文件系统交互,对于大多数程序猿/媛来说,shell-like命令行操作都是比较熟悉的,其实这也是Hadoop的极大 ...

  2. 【转】shell速查表

    shell速查表 转自:https://www.jianshu.com/p/a98a334bfb25 1. 变量 #!/bin/bash msg="hello world" ech ...

  3. Hadoop Shell 操作

    此随笔仅记录一下常用的Hadoop shell 操作的命令 参考官方文档    http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS S ...

  4. Hadoop Shell命令字典（可收藏）

    可以带着下面问题来阅读: 1.chmod与chown的区别是什麽?2.cat将路径指定文件的内容输出到哪里?3.cp能否是不同之间复制?4.hdfs如何查看文件大小?5.hdfs如何合并文件?6.如何 ...

  5. hadoop shell 操作命令

    shell操作命令: hdfs的路径,在core-site.xml中定义 <property> <name>fs.default.name</name> <v ...

  6. hadoop shell 详解

    概述  所有的hadoop命令均由bin/hadoop脚本引发.不指定参数运行hadoop脚本会打印所有命令的描述.  用法: hadoop [--config confdir] [COMMAND] ...

  7. Hadoop Shell命令（基于linux操作系统上传下载文件到hdfs文件系统基本命令学习）

    Apache-->hadoop的官网文档命令学习:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统( ...

  8. Hadoop shell命令

    1.FS Shell 调用文件系统(FS)shell命令应使用bin/hadoop fs <args>的形式.所有的的FS shell命令使用URI路径作为参数.URI格式是scheme: ...

  9. Hadoop Shell

    1.常用的一些Shell 再好的博客,都不如官方文档好用: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

随机推荐

  1. 如何把OpenWrt安装到PC？

    前言 什么是openwrt? 它是一个适用于路由器的Linux发行版.和其他Linux发行版一样,它也内置了包管理工具,你可以从一个软件仓库里直接安装软件.OpenWrt可以用在所有需要嵌入式Linu ...

  2. JDK源码分析（10） CopyOnWriteArrayList

    概述 CopyOnWriteArrayList是一个线程安全集合,原理简单说就是:在保证线程安全的前提下,牺牲掉写操作的效率来保证读操作的高效.所谓CopyOnWrite就是通过复制的方式来完成对数据 ...

  3. Django 项目中设置缓存

    一.配置文件settings.py中 # 设置django缓存存放位置为redis数据库,并设置一个默认(default)选项,在redis中(配置文件/etc/redis/redis.conf)开启 ...

  4. mysql ERROR 1045 (28000): Access denied for user 可能解决方法分析

    在实际登录redmine的过程中,我们遇到了如下的error ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using ...

  5. sublime text ubuntu

    { "color_scheme": "Packages/User/SublimeLinter/Dawn (SL).tmTheme", "font_fa ...

  6. 《Android应用性能优化》1——代码

    1.Java代码优化 1.1 代码执行 通常情况下,不必看应用的字节码.在平台是Android2.2(Froyo)和更高版本的情况下尤其如此,因在Android2.2中引入了实时(JIT)的编译器.D ...

  7. 《LeetBook》leetcode题解(15):3Sum[M]

    我现在在做一个叫<leetbook>的免费开源书项目,力求提供最易懂的中文思路,目前把解题思路都同步更新到gitbook上了,需要的同学可以去看看 书的地址:https://hk029.g ...

  8. Android之Zxing二维码扫描图片拉伸

    还是这个接手项目,二维码扫描集成的是zxing,扫描界面的图像有明显的拉伸变形. 这种问题,根据以往的经验,一般是x,y轴错位引起的,处理好x,y轴的问题,一般可以解决问题. 由于这个问题,之前有很多 ...

  9. NiftyDialogEffects-多种弹出效果的对话框

    感觉系统自带的对话框弹出太生硬?那就试试NiftyDialogEffects吧,类似于(Nifty Modal Window Effects),效果是模仿里面实现的 ScreenShot  .  .  ...

  10. 在商城系统中使用设计模式----简单工厂模式之在springboot中使用简单工厂模式

    1.前言: 不了解简单工厂模式请先移步:在商城中使用简单工厂.在这里主要是对springboot中使用简单工厂模式进行解析. 2.问题: 什么是简单工厂:它的实现方式是由一个工厂类根据传入的参数,动态 ...