Hadoop的常用指令
-help:查看帮助
hadoop fs -help rm
-rm [-f] [-r|-R] [-skipTrash] <src> ... :
Delete all files that match the specified file pattern. Equivalent to the Unix
command "rm <src>"
-skipTrash option bypasses trash, if enabled, and immediately deletes <src>
-f If the file does not exist, do not display a diagnostic message or
modify the exit status to reflect an error.
-[rR] Recursively deletes directories
-ls: 显示目录信息
hadoop fs -ls /
-lsr: 递归显示文件信息
hadoop fs -lsr /
-mkdir:在hdfs上创建目录
hadoop fs -mkdir -p /user/data
-moveFromLocal从本地剪切粘贴到hdfs
hadoop fs -moveFromLocal /opt/test/xx.zip /user/data
--appendToFile :追加一个文件到已经存在的文件末尾
touch note.txt
vi note.txt
hadoop fs -appendToFile note.txt /user/wcinput/wc.input
-cat :显示文件内容
hadoop fs -cat /user/wcinput/wc.input
-tail:显示一个文件的末尾
hadoop fs -tail /user/wcinput/wc.input
-chgrp 、-chmod、-chown:linux文件系统中的用法一样,修改文件所属权限
hadoop fs -chmod 777 /user/wcinput/wc.input
hadoop fs -chown root:root /user/wcinput/wc.input
-copyFromLocal:从本地文件系统中拷贝文件到hdfs路径去
cd /opt/test
rz xiaowangzi.txt
hadoop fs -copyFromLocal /opt/test/xiaowangzi.txt /user/input/
hadoop fs -copyFromLocal /opt/test/xiaowangzi.txt /user/input/小王子.txt
-copyToLocal:从hdfs拷贝到本地
cd /opt
mkdir download
hadoop fs -copyToLocal /user/input/小王子.txt /opt/download/tonghua.txt
-cp :从hdfs的一个路径拷贝到hdfs的另一个路径
hadoop fs -cp /user/input/xiaowangzi.txt /xiaowangzi.txt #拷贝到根路径
-mv:在hdfs目录中移动文件
hadoop fs -mkdir -p /user/output
hadoop fs -mv /xiaowangzi.txt /user/output/
-get:等同于copyToLocal,就是从hdfs下载文件到本地
cd /opt
mkdir download
hadoop fs -get /user/input/xiaowangzi.txt /opt/download/
-getmerge :合并下载多个文件,比如hdfs的目录 /aaa/下有多个文件:log.1,
hadoop fs -getmerge /user/input/* /all.txt
-put:等同于copyFromLocal
cd /opt
cd test
hadoop fs -put test.txt /user/input/test/
-rm:删除文件或文件夹
hadoop fs -rm -r -f /user/input/xiaowangzi.txt
-rmdir:删除空目录
hadoop fs -mkdir /test
hadoop fs -mkdir /test
-df :统计文件系统的可用空间信息
hadoop fs -df -h /
-du统计文件夹的大小信息
hadoop fs -du -s -h /user
-touthz: 创建一个空文件
hadoop fs -touchz /kong.txt
-count: 查看某路径下文件的数量
hadoop fs -count /user/
-setrep:设置hdfs中文件的副本数量
hadoop fs -setrep 2 /user/input/xiaowangzi.txt
fsck:查看某个文件的详细信息
hadoop fsck /user/input/xiaowangzi.txt -files -blocks -locations -racks
Hadoop的常用指令的更多相关文章
- Linux常用指令全集
Linux简介及Ubuntu安装 常见指令 系统管理命令 打包压缩相关命令 关机/重启机器 Linux管道 Linux软件包管理 vim使用 用户及用户组管理 文件权限管理 大牛笔记-www.weix ...
- linux常用指令
整理下来的linux常用指令 mount [-t 文件系统] 设备文件名 挂载点挂载命令,一般用于在挂载ISO,或者其他比如U盘等设备时使用,[-t iso9660]为固定格式,可写可不写,非必写项. ...
- 走进AngularJs(二) ng模板中常用指令的使用方式
通过使用模板,我们可以把model和controller中的数据组装起来呈现给浏览器,还可以通过数据绑定,实时更新视图,让我们的页面变成动态的.ng的模板真是让我爱不释手.学习ng道路还很漫长,从模板 ...
- mac 终端 常用指令
开始正式研究ios 应用开发,由于是从C开始学起,所以学习下常用的mac终端指令,方便后续常用操作. mac 终端 常用指令: 1.ls指令 用途:列出文件 常用参数 -w 以简洁的形式列出所有文件和 ...
- ImageMagick常用指令详解
Imagemagick常用指令 (ImageMagick--蓝天白云) (ImageMagick官网) (其他比较有价值的IM参考) (图片自动旋转的前端实现方案) convert 转换图像格式和大小 ...
- [AngularJS] 常用指令
常用指令 ng-hide指令,用于控制部分HTML元素可见(ng-hide="false")和不可见状态(ng-hide="true"),如下: <div ...
- iOS开发——源代码管理——git(分布式版本控制和集中式版本控制对比,git和SVN对比,git常用指令,搭建GitHub远程仓库,搭建oschina远程仓库 )
一.git简介 什么是git? git是一款开源的分布式版本控制工具 在世界上所有的分布式版本控制工具中,git是最快.最简单.最流行的 git的起源 作者是Linux之父:Linus Bened ...
- [转]hadoop hdfs常用命令
FROM : http://www.2cto.com/database/201303/198460.html hadoop hdfs常用命令 hadoop常用命令: hadoop fs 查看H ...
- linux下svn常用指令
windows下的TortoiseSVN是资源管理器的一个插件,以覆盖图标表示文件状态,几乎所以命令都有图形界面支持,比较好用,这里就不多说.主要说说linux下svn的使用,因为linux下大部分的 ...
随机推荐
- WordPress 更新中断故障
WordPress 更新中断故障 WordPress更新中断后显示:Briefly unavailable for scheduled maintenance. Check back in a min ...
- Nachos-Lab2-线程调度模块实现
源码获取 https://github.com/icoty/nachos-3.4-Lab 内容一:总体概述 本实习希望通过修改Nachos系统平台的底层源代码,达到"扩展调度算法" ...
- scala安装教程及简单配置
本文将介绍以下内容:Windows下安装scala运行环境,安装编译工具并简单配置,实现著名的“Hello,World". 一,Windows下安装scala运行环境 1.配置jdk,因为s ...
- msf中arp_sweep使用报错:usbmon1:ERROR while getting interface flags:no such device
在许多的工具使用中,会出现很多的错误,要养成先思考再去寻找帮助的习惯 在用use命令使用arp_sweep模块的时候爆出错误:usbmon1:ERROR while getting interface ...
- Elasticsearch 搜索API
章节 Elasticsearch 基本概念 Elasticsearch 安装 Elasticsearch 使用集群 Elasticsearch 健康检查 Elasticsearch 列出索引 Elas ...
- spring教程
Spring框架是Java EE开发中最流行的框架,已经成为JEE事实上的标准,全世界的开发人员都在使用Spring框架开发各种应用.随着Spring boot,Spring cloud新版本的不断推 ...
- “未处理DbEntityValidationException”,"对一个或多个实体的验证失败。有关详细信息,请参见“EntityValidationErrors”属性"。
对一个或多个实体的验证失败.有关详细信息,请参阅“EntityValidationErrors”属性. 问题原因可能是: 1. 非空列未插入值错误 2. 多个表间外键列长度不一样 3. ef上下文对象 ...
- 面试官,不要再问我“Java虚拟机类加载机制”了(转载)
关于Java虚拟机类加载机制往往有两方面的 面试题:根据程序判断输出结果和讲讲虚拟机类加载机制的流程.其实这两类题本质上都是考察面试者对Java虚拟机类加载机制的了解. 面试题试水 现在有这样一道判断 ...
- 【LeetCode】最长连续序列
[问题]给定一个未排序的整数数组,找出最长连续序列的长度. 要求算法的时间复杂度为 O(n). 示例: 输入: [, , , , , ] 输出: 解释: 最长连续序列是 [, , , ].它的长度为 ...
- 数据类型和C#关系对应
sqlserver与c#中数据类型的对应关系///private string changetocsharptype(string type){string reval=string.empty;sw ...