常用命令:

https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

ls命令

/usr/bin/hadoop/software/hadoop/bin/hadoop fs -ls hdfs://machine:9000/home/cloudops/jia/v0001/0001/src/20151230211015.0030381.rank.0001

touch命令

/usr/bin/hadoop/software/hadoop/bin/hadoop fs -touch hdfs://machine:9000/home/cloudops/jia/mytest 错误示例
/usr/bin/hadoop/software/hadoop/bin/hadoop fs -touchz hdfs://machine:9000/home/cloudops/jia/mytest 正确示例

mv命令

/usr/bin/hadoop/software/hadoop/bin/hadoop fs -mv hdfs://machine:9000/home/cloudops/jia/tmp4/* hdfs://machine:9000/home/cloudops/jia/tmp3/

mkdir命令

/usr/bin/hadoop/software/hadoop/bin/hadoop fs -mkdir hdfs://machine:9000/home/cloudops/jia/tmp4/tmp4.2

拷贝

本地拷贝到远程
/usr/bin/hadoop/software/hadoop/bin/hadoop fs -copyFromLocal /home/hdp-jia/a hdfs://w-namenode1v:9000/home/cloudops/jia/tmp3/
/usr/bin/hadoop/software/hadoop/bin/hadoop fs -copyToLocal hdfs://w-namenode1v:9000/home/cloudops/jia/tmp3/ {localDir}

删除

/usr/bin/hadoop/software/hadoop/bin/hadoop fs -rm -skipTrash hdfs://w-namenode1v:9000/home/cloudops/jia/mytest

更多的shell语法:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

场景1:删除失败,再删除

,创建;,查看;,删除;,查看,,删除,,查看
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -touchz hdfs://w-namenode1v:9000/home/cloudops/jia/mytest
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -ls hdfs://w-namenode1v:9000/home/cloudops/jia/my*
Found items
-rw-r--r-- hdp-jia cloudops -- : /home/cloudops/jia/mytest
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -rm hdfs://w-namenode1v:9000/home/cloudops/jia/mytest
// :: WARN fs.TrashPolicyDefault: Can't create trash directory: hdfsold://w-namenode1v:9000/user/hdp-jia/.Trash/Current/home/cloudops/jia
Problem with Trash.org.apache.hadoop.security.AccessControlException: Permission denied: user=hdp-jia, access=WRITE, inode="user":work:supergroup:rwxr-xr-x. Consider using -skipTrash option
rm: Failed to move to trash: /home/cloudops/jia/mytest
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -ls hdfs://w-namenode1v:9000/home/cloudops/jia/my*
Found items
-rw-r--r-- hdp-jia cloudops -- : /home/cloudops/jia/mytest
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -rm -skipTrash hdfs://w-namenode1vt:9000/home/cloudops/jia/mytest
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -ls hdfs://w-namenode1v:9000/home/cloudops/jia/my*
ls: Cannot access hdfs://w-namenode1v:9000/home/cloudops/jia/my*: No such file or directory.

场景2:移动文件夹(如果源文件夹下面有A目录,目标文件夹下已经有A目录了,则mv失败;如果目标文件夹下没有A目录,则mv成功)

[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -ls hdfs://w-namenode1v:9000/home/cloudops/jia/tmp3/
Found 3 items
-rw-r--r-- 3 hdp-jia cloudops 14375 2015-12-30 20:41 /home/cloudops/jia/tmp3/a
drwxr-xr-x - hdp-jia cloudops 0 2015-12-30 20:42 /home/cloudops/jia/tmp3/tmp4.1
drwxr-xr-x - hdp-jia cloudops 0 2015-12-30 20:54 /home/cloudops/jia/tmp3/tmp4.2
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -ls hdfs://w-namenode1v:9000/home/cloudops/jia/tmp4/
Found 1 items
drwxr-xr-x - hdp-jia cloudops 0 2015-12-30 20:56 /home/cloudops/jia/tmp4/tmp4.2
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -mv hdfs://w-namenode1v:9000/home/cloudops/jia/tmp4/* hdfs://w-namenode1v:9000/home/cloudops/jia/tmp3/
mv: Failed to rename hdfs://w-namenode1v:9000/home/cloudops/jia/tmp4/tmp4.2 to hdfs://w-namenode1v:9000/home/cloudops/jia/tmp3

hadoop操作的更多相关文章

  1. Hadoop操作hdfs的命令【转载】

    本文系转载,原文地址被黑了,故无法贴出原始链接. Hadoop操作HDFS命令如下所示: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 ...

  2. 本地通过Eclipse链接Hadoop操作Mysql数据库问题小结

    前一段时间,在上一篇博文中描述了自己抽时间在构建的完全分布式Hadoop环境过程中遇到的一些问题以及构建成功后,通过Eclipse操作HDFS的时候遇到的一些问题,最近又想进一步学习学习Hadoop操 ...

  3. Tutorial 01_熟悉常用的Linux操作和Hadoop操作

    (一)熟悉常用的Linux 操作cd 命令:切换目录 (1) 切换到目录“/usr/local” (2) 切换到当前目录的上一级目录 (3) 切换到当前登录Linux 系统的用户的自己的主文件夹  ...

  4. Hadoop操作前准备工作

    摘要:本文介绍Hadoop操作前的准备工作. 关键词:Hadoop  Linux   JDK  WinSCP 俗语说,“磨刀不误砍柴工”.Hadoop操作前的准备工作可以加快Hadoop的操作与应用. ...

  5. Hadoop 操作常见问题解决

    1. 安全模式下不可操作 提示信息: Hadoop "Cannot create directory .Name node is in safe mode." 解决方法: $ ha ...

  6. HADOOP操作权限问题

    hdfs的权限判断十分简单,就是拿发出指令的user name和文件的user name 做比较   private void check(INode inode, FsAction access   ...

  7. hadoop操作权限问题:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

    今天想从Eclipse向hdfs上传文件时遇到了一个权限问题,日志如下: ERROR hive.log: Got exception: org.apache.hadoop.security.Acces ...

  8. 吴裕雄--天生自然HADOOP操作实验学习笔记:hbase学生选课案例

    实验目的 复习hbase的shell操作和javaAPI操作 了解javaWeb项目的MVC设计 学会dao(数据库访问对象)和service层的代码编写规范 学会设计hbase表格 实验原理 前面我 ...

  9. 吴裕雄--天生自然HADOOP操作实验学习笔记:hbase的javaAPI应用

    实验目的 进一步了解hbase的操作 熟悉使用IDEA进行java开发 熟悉hbase的javaAPI 实验原理 前面已经了解通过hbase的shell操作hbase,确实比较难以使用,另外通过hiv ...

  10. 吴裕雄--天生自然HADOOP操作实验学习笔记:使用hive操作hbase

    实验目的 熟悉hive和hbase的操作 熟悉hadoop.hbase.hive.zookeeper的关系 熟练大数据环境的搭建 学会分析日志排除问题 实验原理 1.hive整合hbase原理 前面大 ...

随机推荐

  1. C#操作Kentico cms

    C#操作Kentico cms 中的 content(winform环境) 前段时间做了个winform程序,去管理kentico网站的content,包括content节点的增删改查,以及相应节点内 ...

  2. 昨天CSAPP上的疑问的解答

    昨天CSAPP上的疑问的解答 今天整明白了. CSAPP英文版第2版,826页,或者中文版第2版546页,有这么一段.关于多级页表的. "But if we had a 32-bit add ...

  3. Elasticsearch中doc_value的认识

    前言:本文的目的是为后续磁盘空间利用优化做铺垫.主要知识点来源于官网文档 一.doc_value是什么 绝大多数的fields在默认情况下是indexed,因此字段数据是可被搜索的.倒排索引中按照一定 ...

  4. JS高程5.引用类型(6)Array类型的位置方法,迭代方法,归并方法

    一.位置方法 ECMAScript5为数组实例添加了两个位置:indexOf()和 lastIndexOf().这两个方法接收两个参数:要查找的项和(可选的)表示查找起点位置的索引(如在数组[7,8, ...

  5. [ios2]如何让IOS应用从容地崩溃 【转】

    文/donglin 虽然大家都不愿意看到程序崩溃,但可能崩溃是每个应用必须面对的现实,既然崩溃已经发生,无法阻挡了,那我们就让它崩也崩得淡定点吧. IOS SDK中提供了一个现成的函数 NSSetUn ...

  6. NG2入门 - 根模块

    根模块 app.module 建议大家先去学习angularjs官网的英雄教程后再进行后面的阅读,app.module.ts 就是ng2应用中的引导启动模块也称根模块 import { NgModul ...

  7. java基础练习 6

    public class Sixth { /*一个数如果恰好等于它的因子之和,这个数就称为"完数".例如6=1+2+3.编程 找出1000以内的所有完数.*/ public sta ...

  8. Docker集群实验环境布署--swarm【7 让docker客户端支持docker-compose】

    Docker-Compose是一个部署多个容器的简单但是非常必要的工具.   登录Docker客户端的服务器(默认是安装了docker-engine的服务器),再安装compose插件 # yum i ...

  9. Smail语法

    1.数据类型 2.函数: Func-Name (Para-Type1Para-Type2Para-Type3...)Return-Type 注意参数与参数之间没有任何分隔符 3.函数调用: 4.关于s ...

  10. Nuget 学习三

    后期管理: 登录 nuget 官网 https://www.nuget.org/ 可以搜索到自己的包: 点击进入,可进一步操作 如果你需要给自己的类型新增其他功能,或者修改之前的bug(反正就是修改代 ...