Hadoop shell 一查就会
Hadoop shell 命令有三种格式
- hdfs + dfs (必须是dfs)
- Hadoop + dfs
- Hadoop + df
命令 | 说明 |
---|---|
hadoop 版本查看 | hadoop version |
hadoop 显示命令信息 | hadoop dfs |
列出 HDFS 目录 | Hadoop fs -ls / |
递归列出 / 下的所有目录(包括子目录) | Hadoop fs -lsr / |
hdfs 查看文件内容 | hdfs dfs -cat /output/part-00000 |
hdfs 查看文件内容,并进行分页显示 | hdfs dfs -cat /output/part-00000 | more |
hdfs 查看文件内容 | hdfs dfs -text /output/part-00000 |
Hdfs 查看指定文件大小 | hdfs dfs -du /output/part-00000 |
将 HDFS 上的文件复制到本地 | hdfs dfs -get /output/part-00000 /usr/local/load.txt |
将 HDFS 上的文件复制到本地(二) | hdfs dfs -copyToLocal /output/part-00000 /usr/local/load.txt |
在 HDFS 上创建文件目录 | hadoop fs -mkdir /data |
在 HDFS 上一次性创建多级目录 | hadoop fs -mkdir -p /data/child1/child2 |
复制本地文件或HDFS文件到HDFS 指定路径 | hadoop fs -put /usr/local/load.txt /data/ |
复制本地文件到HDFS 指定路径,更严格(二) | hadoop fs -copyFromLocal /usr/local/load.txt /data/ |
移除HDFS 指定目录文件 | hadoop fs -rm |
移除HDFS 指定目录文件和其子目录 | hadoop fs -rmr |
将文件尾部1K字节的内容输出 | hdfs dfs -tail /data/load.txt |
更详细的 shell 说明请点击查看,可以在集群浏览器中输入 http://yarn00:50070 浏览和操作HDFS的目录和文件。
路径浏览
对应 http://yarn00:50070 中的界面如下:
Hadoop shell 一查就会的更多相关文章
- Hadoop Shell命令大全
hadoop支持命令行操作HDFS文件系统,并且支持shell-like命令与HDFS文件系统交互,对于大多数程序猿/媛来说,shell-like命令行操作都是比较熟悉的,其实这也是Hadoop的极大 ...
- 【转】shell速查表
shell速查表 转自:https://www.jianshu.com/p/a98a334bfb25 1. 变量 #!/bin/bash msg="hello world" ech ...
- Hadoop Shell 操作
此随笔仅记录一下常用的Hadoop shell 操作的命令 参考官方文档 http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS S ...
- Hadoop Shell命令字典(可收藏)
可以带着下面问题来阅读: 1.chmod与chown的区别是什麽?2.cat将路径指定文件的内容输出到哪里?3.cp能否是不同之间复制?4.hdfs如何查看文件大小?5.hdfs如何合并文件?6.如何 ...
- hadoop shell 操作命令
shell操作命令: hdfs的路径,在core-site.xml中定义 <property> <name>fs.default.name</name> <v ...
- hadoop shell 详解
概述 所有的hadoop命令均由bin/hadoop脚本引发.不指定参数运行hadoop脚本会打印所有命令的描述. 用法: hadoop [--config confdir] [COMMAND] ...
- Hadoop Shell命令(基于linux操作系统上传下载文件到hdfs文件系统基本命令学习)
Apache-->hadoop的官网文档命令学习:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统( ...
- Hadoop shell命令
1.FS Shell 调用文件系统(FS)shell命令应使用bin/hadoop fs <args>的形式.所有的的FS shell命令使用URI路径作为参数.URI格式是scheme: ...
- Hadoop Shell
1.常用的一些Shell 再好的博客,都不如官方文档好用: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
随机推荐
- java 处理json格式数据中的转义斜杠
1.{\"Count\":\"3\",\"ErrorString\":\"\",\"Success\" ...
- Python廖雪峰学习笔记——单元测试
定义:对一个模块.一个类.一个函数进行进行正确性检验的测试性工作.当我们对函数或者模块等进行修改时,单元测试就显得尤为重要. 单元测试 = 测试用例(用来测试的数据)+测试模块
- 1007. Minimum Domino Rotations For Equal Row
In a row of dominoes, A[i] and B[i] represent the top and bottom halves of the i-th domino. (A domi ...
- win10 下Oracle安装
在win10 64bit下安装oracle 11的时候,有些问题不注意,安装的时候才遇到就gg了.下面将介绍win10下安装oracle 11的步骤以及安装过程中遇到的一些问题及解决方案. 安装过程中 ...
- Qt使用gtest进行C++单元测试-01
环境: win7/win10+qt5.8.0(MinGW), 1.gtest获取: 从:https://www.bogotobogo.com/cplusplus/google_unit_test_gt ...
- 【算法】Matrix - Tree 矩阵树定理 & 题目总结
最近集中学习了一下矩阵树定理,自己其实还是没有太明白原理(证明)类的东西,但想在这里总结一下应用中的一些细节,矩阵树定理的一些引申等等. 首先,矩阵树定理用于求解一个图上的生成树个数.实现方式是:\( ...
- Spring配置项<context:annotation-config>的解释说明
今天在闲逛CSDN论坛时,看到一位博主写的一篇关于<Spring中IOC的Annotation的实现>的文章, 于是点击进去看了下, 发现在说明中对Spring配置文件中的有些配置节点模凌 ...
- day 45 Django 的初识2 路由层,视图层,模板层
前情提要: 今天继续学习Django 的内容, 今天主要和渲染相关 1>配置路由 >2:写函数 >3 指向url 一:路由层 1:配置静态支持文件 1:路由层的简单配置 >dj ...
- python 爬虫之 正则的一些小例子
什么是正则表达式 正则表达式是对字符串操作的一种逻辑公式,就是 事先定义好的一些特定字符.及这些特定字符的组合,组成一个“规则字符”,这个“规则字符” 来表达对字符的一种过滤逻辑. 正则并不是pyth ...
- python3异常处理 try
一. 简介 在编程过程中为了增加友好性,在程序出现Bug时一般不会直接将错误信息展示给用户,而是提供一个友好的输出提示. 二. 使用 1.异常基础 常用结构: try: pass except Exc ...