常用命令:

https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

ls命令

/usr/bin/hadoop/software/hadoop/bin/hadoop fs -ls hdfs://machine:9000/home/cloudops/jia/v0001/0001/src/20151230211015.0030381.rank.0001

touch命令

/usr/bin/hadoop/software/hadoop/bin/hadoop fs -touch hdfs://machine:9000/home/cloudops/jia/mytest 错误示例
/usr/bin/hadoop/software/hadoop/bin/hadoop fs -touchz hdfs://machine:9000/home/cloudops/jia/mytest 正确示例

mv命令

/usr/bin/hadoop/software/hadoop/bin/hadoop fs -mv hdfs://machine:9000/home/cloudops/jia/tmp4/* hdfs://machine:9000/home/cloudops/jia/tmp3/

mkdir命令

/usr/bin/hadoop/software/hadoop/bin/hadoop fs -mkdir hdfs://machine:9000/home/cloudops/jia/tmp4/tmp4.2

拷贝

本地拷贝到远程
/usr/bin/hadoop/software/hadoop/bin/hadoop fs -copyFromLocal /home/hdp-jia/a hdfs://w-namenode1v:9000/home/cloudops/jia/tmp3/
/usr/bin/hadoop/software/hadoop/bin/hadoop fs -copyToLocal hdfs://w-namenode1v:9000/home/cloudops/jia/tmp3/ {localDir}

删除

/usr/bin/hadoop/software/hadoop/bin/hadoop fs -rm -skipTrash hdfs://w-namenode1v:9000/home/cloudops/jia/mytest

更多的shell语法:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

场景1:删除失败,再删除

,创建;,查看;,删除;,查看,,删除,,查看
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -touchz hdfs://w-namenode1v:9000/home/cloudops/jia/mytest
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -ls hdfs://w-namenode1v:9000/home/cloudops/jia/my*
Found items
-rw-r--r-- hdp-jia cloudops -- : /home/cloudops/jia/mytest
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -rm hdfs://w-namenode1v:9000/home/cloudops/jia/mytest
// :: WARN fs.TrashPolicyDefault: Can't create trash directory: hdfsold://w-namenode1v:9000/user/hdp-jia/.Trash/Current/home/cloudops/jia
Problem with Trash.org.apache.hadoop.security.AccessControlException: Permission denied: user=hdp-jia, access=WRITE, inode="user":work:supergroup:rwxr-xr-x. Consider using -skipTrash option
rm: Failed to move to trash: /home/cloudops/jia/mytest
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -ls hdfs://w-namenode1v:9000/home/cloudops/jia/my*
Found items
-rw-r--r-- hdp-jia cloudops -- : /home/cloudops/jia/mytest
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -rm -skipTrash hdfs://w-namenode1vt:9000/home/cloudops/jia/mytest
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -ls hdfs://w-namenode1v:9000/home/cloudops/jia/my*
ls: Cannot access hdfs://w-namenode1v:9000/home/cloudops/jia/my*: No such file or directory.

场景2:移动文件夹(如果源文件夹下面有A目录,目标文件夹下已经有A目录了,则mv失败;如果目标文件夹下没有A目录,则mv成功)

[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -ls hdfs://w-namenode1v:9000/home/cloudops/jia/tmp3/
Found 3 items
-rw-r--r-- 3 hdp-jia cloudops 14375 2015-12-30 20:41 /home/cloudops/jia/tmp3/a
drwxr-xr-x - hdp-jia cloudops 0 2015-12-30 20:42 /home/cloudops/jia/tmp3/tmp4.1
drwxr-xr-x - hdp-jia cloudops 0 2015-12-30 20:54 /home/cloudops/jia/tmp3/tmp4.2
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -ls hdfs://w-namenode1v:9000/home/cloudops/jia/tmp4/
Found 1 items
drwxr-xr-x - hdp-jia cloudops 0 2015-12-30 20:56 /home/cloudops/jia/tmp4/tmp4.2
[hdp-jia@client90v ~]$ /usr/bin/hadoop/software/hadoop/bin/hadoop fs -mv hdfs://w-namenode1v:9000/home/cloudops/jia/tmp4/* hdfs://w-namenode1v:9000/home/cloudops/jia/tmp3/
mv: Failed to rename hdfs://w-namenode1v:9000/home/cloudops/jia/tmp4/tmp4.2 to hdfs://w-namenode1v:9000/home/cloudops/jia/tmp3

hadoop操作的更多相关文章

  1. Hadoop操作hdfs的命令【转载】

    本文系转载,原文地址被黑了,故无法贴出原始链接. Hadoop操作HDFS命令如下所示: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 ...

  2. 本地通过Eclipse链接Hadoop操作Mysql数据库问题小结

    前一段时间,在上一篇博文中描述了自己抽时间在构建的完全分布式Hadoop环境过程中遇到的一些问题以及构建成功后,通过Eclipse操作HDFS的时候遇到的一些问题,最近又想进一步学习学习Hadoop操 ...

  3. Tutorial 01_熟悉常用的Linux操作和Hadoop操作

    (一)熟悉常用的Linux 操作cd 命令:切换目录 (1) 切换到目录“/usr/local” (2) 切换到当前目录的上一级目录 (3) 切换到当前登录Linux 系统的用户的自己的主文件夹  ...

  4. Hadoop操作前准备工作

    摘要:本文介绍Hadoop操作前的准备工作. 关键词:Hadoop  Linux   JDK  WinSCP 俗语说,“磨刀不误砍柴工”.Hadoop操作前的准备工作可以加快Hadoop的操作与应用. ...

  5. Hadoop 操作常见问题解决

    1. 安全模式下不可操作 提示信息: Hadoop "Cannot create directory .Name node is in safe mode." 解决方法: $ ha ...

  6. HADOOP操作权限问题

    hdfs的权限判断十分简单,就是拿发出指令的user name和文件的user name 做比较   private void check(INode inode, FsAction access   ...

  7. hadoop操作权限问题:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

    今天想从Eclipse向hdfs上传文件时遇到了一个权限问题,日志如下: ERROR hive.log: Got exception: org.apache.hadoop.security.Acces ...

  8. 吴裕雄--天生自然HADOOP操作实验学习笔记:hbase学生选课案例

    实验目的 复习hbase的shell操作和javaAPI操作 了解javaWeb项目的MVC设计 学会dao(数据库访问对象)和service层的代码编写规范 学会设计hbase表格 实验原理 前面我 ...

  9. 吴裕雄--天生自然HADOOP操作实验学习笔记:hbase的javaAPI应用

    实验目的 进一步了解hbase的操作 熟悉使用IDEA进行java开发 熟悉hbase的javaAPI 实验原理 前面已经了解通过hbase的shell操作hbase,确实比较难以使用,另外通过hiv ...

  10. 吴裕雄--天生自然HADOOP操作实验学习笔记:使用hive操作hbase

    实验目的 熟悉hive和hbase的操作 熟悉hadoop.hbase.hive.zookeeper的关系 熟练大数据环境的搭建 学会分析日志排除问题 实验原理 1.hive整合hbase原理 前面大 ...

随机推荐

  1. MVC4中使用SignalR

    MVC4中使用SignalR 前言 周末在偶尔翻阅微软官网的时候看到Getting Started with SignalR and MVC 4此篇文章,知道了signalr这个东西,貌似这个出来很长 ...

  2. ios搭建开发环境

    ios搭建开发环境 好久就想试水IOS开发了,由于开发环境限制,一直局限于理论和虚拟机,近来入手了MacBook Pro,也来尝尝鲜,笔者也是现学现总结,如果有不足,请指正. IOS开发必备MAC O ...

  3. Python之列表生成式、生成器、可迭代对象与迭代器

    本节内容 语法糖的概念 列表生成式 生成器(Generator) 可迭代对象(Iterable) 迭代器(Iterator) Iterable.Iterator与Generator之间的关系 一.语法 ...

  4. .Net程序员学用Oracle系列(9):系统函数(上)

    <.Net程序员学用Oracle系列:导航目录> 本文大纲 1.字符函数 1.1.字符函数简介 1.2.语法说明及案例 2.数字函数 2.1.数字函数简介 2.2.语法说明及案例 3.日期 ...

  5. go语言中sync包和channel机制

    文章转载至:https://www.bytelang.com/article/content/A4jMIFmobcA= golang中实现并发非常简单,只需在需要并发的函数前面添加关键字"Go&quo ...

  6. Java构造器的深入理解

    [构造器与方法的深入理解] 构造器的深入理解 [博主]高瑞林 [博客地址]http://www.cnblogs.com/grl214 [博客地址]http://www.cnblogs.com/grl2 ...

  7. Kattis - Biased Standings

    Biased Standings Usually, results of competitions are based on the scores of participants. However, ...

  8. linux上安装Jmeter

    一.首先,你的linux上要有jdk,没有的话请参考上一篇 http://www.cnblogs.com/bigshan-1/p/6242991.html 二.延续上篇的linux用户xiaoming ...

  9. CentOS7 离线安装gcc/pcre-devel/openssl-devel/zlib-devel

    1. 解压CentOS7操作系统安装镜像,进入到CentOS-7.0-1406-x86_64-DVD\Packages目录,这下面存储了很多rpm包. 2. 找到下面列出的rpm包,上传到CentOS ...

  10. JS函数调用

        function SayHello(word) { console.log(word); }   function execute(Somefunction,value) { Somefunc ...