Hadoop基础-HDFS集群中大数据开发常用的命令总结

                                        作者:尹正杰

版权声明:原创作品,谢绝转载!否则将追究法律责任。

  本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令,如果想要了解更多,比如滚动编辑,融合镜像文件,目录的空间配额等运维操作,请参考我之前的笔记:https://www.cnblogs.com/yinzhengjie/p/9074730.html

 

1>.基本语法

[root@node105 ~]# hadoop fs

2>.查看hdfs的某个命令的帮助信息

[root@node105 ~]# hadoop fs -help put

3>.显示某个目录的信息

[root@node105 ~]# hadoop fs -ls /

4>.在hdfs上创建目录

[hdfs@node105 ~]$ hadoop fs -mkdir /data

5>.将本地的文件剪切到hdfs集群上

6>.查看文件内容

[hdfs@node105 ~]$ hadoop fs -cat /data/yinzhengjie.blog

7>.追加一个文件到hdfs中已经存在的一个文件末尾

[hdfs@node105 ~]$ hadoop fs -appendToFile ./yinzhengjie.log /data/yinzhengjie.blog

8>.显示一个文件的末尾

[hdfs@node105 ~]$ hadoop fs -tail /data/yinzhengjie.blog

9>.修改权限

[hdfs@node105 ~]$ hadoop fs -chmod  /data/yinzhengjie.blog

10>.修改文件的所属者

[hdfs@node105 ~]$ hadoop fs -chown root:root /data/yinzhengjie.blog

11>.从本地文件系统拷贝文件到hdfs集群中

[hdfs@node105 ~]$ hadoop fs -copyFromLocal ./yinzhengjie.log  /data

12>.从hdfs集群拷贝数据到本地

[hdfs@node105 ~]$ hadoop fs -copyToLocal /data/yinzhengjie.blog yinzhengjie.blog-

13>.在hdfs集群中从一个目录拷贝到另外一个目录中

[hdfs@node105 ~]$ hadoop fs -cp /data/yinzhengjie.blog /yinzhengjie

14>.在hdfs就群中,从一个目录移动到另外一个目录

hdfs@node105 ~]$ hadoop fs -mv /yinzhengjie/yinzhengjie.blog /data/yinzhengjie.blog-

15>.下载文件到本地

[hdfs@node105 ~]$ hadoop fs -get /data/yinzhengjie.blog- ./

16>.将hdfs中多个文件的内容下载到本地并仅生成一个文件

[hdfs@node105 ~]$ hadoop fs -getmerge /yinzhengjie-data/* ./yinzhengjie.log

17>.将本地文件上传的hdfs指定目录并改名

[hdfs@node105 ~]$ hadoop fs -put ./yinzhengjie.log /yinzhengjie-data/merge.log

18>.删除hdfs集群中国的某个文件或文件夹

[hdfs@node105 ~]$ hadoop fs -rm /yinzhengjie-data/yinzhengjie.blog-

19>.删除空的文件夹

[hdfs@node105 ~]$ hadoop fs -rmdir /data

20>.统计hdfs文件系统可用空间信息

[root@calculation101 ~]# hadoop fs -df -h /

21>.统计文件夹的大小信息

[hdfs@calculation101 ~]$ hadoop fs -du  -h /user/

22>.设置hdfs文件中的副本数量

[root@calculation101 ~]# hadoop fs -setrep  /user/yinzhengjie_output/part-m-

Hadoop基础-HDFS集群中大数据开发常用的命令总结的更多相关文章

  1. Hadoop集群-HDFS集群中大数据运维常用的命令总结

    Hadoop集群-HDFS集群中大数据运维常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客会简单涉及到滚动编辑,融合镜像文件,目录的空间配额等运维操作简介.话 ...

  2. Hadoop(八)Java程序访问HDFS集群中数据块与查看文件系统

    前言 我们知道HDFS集群中,所有的文件都是存放在DN的数据块中的.那我们该怎么去查看数据块的相关属性的呢?这就是我今天分享的内容了 一.HDFS中数据块概述 1.1.HDFS集群中数据块存放位置 我 ...

  3. oracle 11g rac集群重启顺序以及常用管理命令简介

    转至:https://www.cnblogs.com/yj411511/p/12459533.html 目录 1.关闭数据库 1.1 查看数据库实例状态 1.2 停止所有节点上实例 1.3 确认数据库 ...

  4. 29.Hadoop之HDFS集群搭建笔记

    0.修改IP,主机名,hosts文件         setup        修改网卡IP         service  network  restart        重启网络服务使IP生效 ...

  5. Hadoop学习---CentOS中hadoop伪分布式集群安装

    注意:此次搭建是在ssh无密码配置.jdk环境已经配置好的情况下进行的 可以参考: Hadoop完全分布式安装教程 CentOS环境下搭建hadoop伪分布式集群 1.更改主机名 执行命令:vi  / ...

  6. sqoop将oracle数据导入hdfs集群

    使用sqoop将oracle数据导入hdfs集群 集群环境: hadoop1.0.0 hbase0.92.1 zookeeper3.4.3 hive0.8.1 sqoop-1.4.1-incubati ...

  7. Hadoop(四)HDFS集群详解

    前言 前面几篇简单介绍了什么是大数据和Hadoop,也说了怎么搭建最简单的伪分布式和全分布式的hadoop集群.接下来这篇我详细的分享一下HDFS. HDFS前言: 设计思想:(分而治之)将大文件.大 ...

  8. 『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现

    『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现 1.基本设定和软件版本 主机名 ip 对应角色 mas ...

  9. 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作

    马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作 马士兵hadoop第三课:java开发hdfs 马士兵hadoop第 ...

随机推荐

  1. 第二个spring冲刺第10天(及第二阶段总结)

    第二阶段算是结束了,第二阶段,我们实现了基本的功能,这是软件的开始页面,点击便会进入学习画面,目前学习画面还有待改善   燃尽图3 眨眼就完结了第二阶段的冲刺了,大致整体结构已经完成. 第二阶段总体是 ...

  2. 第一个Sprint第一天

    第一个Sprint冲刺的第一天 组员:陈建定 陈友沛 林清松 我们小组选的题目是小学四则运算APP 之前我们都没有做过这个程序,不过我们会尽力完成. 第一阶段的冲刺我们主要分析这个APP的所需的功能, ...

  3. Alpha 答辩总结模板

    Alpha 答辩总结模板 每个小组提供一篇总结博客(组内共享,每个人都发布),包含: 本组(组名)所有成员(短学号,名,标注组长)(1分) 组内各成员贡献比例,如不提供,取平均分后组长得分减50% G ...

  4. centos7编译安装zabbix的错误

    [Z3001] connection to database 'zabbix' failed: [2002] Can't connect to local MySQL server through s ...

  5. 2017BUAA软工个人作业Week1

    大概的功能已经满足 暂时只能用debug中的exe文件 正在改进... https://github.com/qwellk/project1/tree/product1 PSP2.1 Personal ...

  6. Red Hat 5.8 CentOS 6.5 共用 输入法

    pick up from http://jingyan.baidu.com/article/20b68a885a3607796cec622c.html

  7. 剑指offer:滑动窗口的最大值

    滑动窗口的最大值 题目描述 给定一个数组和滑动窗口的大小,找出所有滑动窗口里数值的最大值.例如,如果输入数组{2,3,4,2,6,2,5,1}及滑动窗口的大小3,那么一共存在6个滑动窗口,他们的最大值 ...

  8. codeforces624A

    Save Luke CodeForces - 624A Luke Skywalker got locked up in a rubbish shredder between two presses. ...

  9. docker--compose--sonarqube

    Create this docker-compose.yml file: version: "2" services: sonarqube: image: sonarqube po ...

  10. Luogu5058 ZJOI2004嗅探器(割点)

    数据范围过小怎么做都行.考虑优秀一点的做法.考虑dfs树上两台中心服务器间的路径,路径上所有能割掉中心服务器所在子树的点均可以成为答案.直接从两点中的任意一点开始dfs就更方便了.一开始弱智的以为只要 ...