hadoop fs -du / | awk '{ sum=$1 ;dir2=$3 ; hum[1024**3]="Gb";hum[1024**2]="Mb";hum[1024]="Kb"; for (x=1024**3; x>=1024; x/=1024){ if (sum>=x) { printf "%.2f %s \t %s\n",sum/x,hum[x],dir2;break } }}'…

1.ls -lht 查看当前目录下文件的大小 2.du -sh 查看当前文件夹的大小…

linux查看目录下各个文件大小的命令 由于需要经常查看各个文件的具体大小 ,所以这里记一下. 命令如下: du -h --max-depth=1…

一.查看当前目录下文件个数 在linux下查看目录下有多少文件可以用:ls -l  命令查看,ls -lR 递归查看所有目录, 如果文件很多,则用wc命令 和 grep 命令进行过滤. wc命令显示输出的行 列 字符数,-l表示仅列出行.-w表示仅列出多少字.-m表示仅列出多少字符:    grep用于过滤输出信息,不做详细介绍: 如下: 1.ls -l获取当前目录下信息 2.ls -l | wc -l 列出有多少个文件 3.ls -lR | wc -l 递归获取当前目录有多少文件 4.ls -…

该python 脚本有以下三个功能: 1. 实现查看目录下重复的文件,输出文件按修改时间升序排列 2. 将按修改时间排列比较旧的.可删除的文件列出来 3. 按目录对重复文件进行统计,比如,目录/tmp  重复个数5,是指/tmp目录下有5个文件在其他地方也存在 python脚本 #!/usr/bin/env python #coding=utf-8 ''' Created on Nov 30, 2016 @author: fangcheng ''' from __future__ import…

start-all.sh脚本现在已经废弃,推荐使用start-dfs.sh和start-yarn.sh分别启动HDFS和YARN. 在新一代的Hadoop里面HDFS称为了统一存储的平台,而YARN成为了统一计算的平台. (1)调用start-dfs.sh启动HDFS.之后JPS会出现NameNode,DataNode,SecondaryNameNode (2)调用start-yarn.sh启动YARN.之后JPS会出现ResourceManager,NodeManager 对于每个start脚…

Linux常用基础命令整理:关机命令.查看目录下文件命令等 整理了一些Linux常用基础命令,欢迎指正. 首先记住四个热键,学会这四个键,收益一辈子. Tab按键---命令补齐功能Ctrl+c按键---停掉正在运行的程序Ctrl+d按键---相当于exit,退出Ctrl+l按键---清屏 1.关机命令:shutdown shutdown 参数说明: [-t] 在改变到其它runlevel之前,告诉init多久以后关机.[-r] 重启计算器.[-k] 并不真正关机,只是送警告信号给每位登录者[lo…

Hadoop生态圈-Azkaban实现hive脚本执行 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客中在HDFS分布式系统取的数据,而这个数据的是有之前我通过MapReduce生产的数据,详情请参考:https://www.cnblogs.com/yinzhengjie/p/9233393.html   1>.创建job文件 use yinzhengjie; create table if not exists az_wc(word string, count in…

转载:http://blog.csdn.net/iamlaosong/article/details/7085178 我们有个系统每天要下载数据,为了检查下载数据是否正常,需要查看下载数据目录大小,因为每天的数据都差不多,如果变化太大就说明不正常.查看目录大小的命令是du(当然也可以查看文件大小),例如:du ems_data,就是查看ems_data目录下各子目录的大小:du,就是查看当前目录下各子目录的大小:du *,就是查看当前目录下各子目录和文件的大小. 为了提高查看效果,我们需要对结果…

Linux /tmp目录下执行脚本失败提示Permission denied https://www.cnblogs.com/linyfeng/p/11087655.html 国产化的环境上 就有一个 data 目录 提示没有 权限 解决oracle问题时 顺便扫了一眼 原作者的blog 发现有这个问题.. 非常感谢. 我这边的原始的fstab 的文件信息 # /etc/fstab: static file system information. # # Use 'blkid' to print…