【linux之find及awk】
一、find命令
find
精确查找,根据提供的条件或组合条件进行查找,遍历所有文件,因此速度比较慢。
语法:
find 目录 条件 动作
默认目录是当前目录
默认条件是所有条件
默认动作是显示查找到的信息
条件(选项):
-name FILENAME:精确匹配,根据文件名进行查找,文件名支持通配符
-user USENAME:根据文件的属主查找文件
-group GROUPNAME:根据文件的属组查找文件
-nouser:查找没有对应属主用户的文件
-nogroup:查找没有对应属组的文件
-a:与
-o:或
-not:非
find / -not \( -name passwd -a -user root \) -inum n:查看inode号为n的所有文件名
时间单位为天
-atime +|-n 访问时间
-ctime +|-n 改变时间
-mtime +|-n 修改时间
时间单位为分钟
-amin +|-n
-cmin +|-n
-mmin +|-n +:10天前
-:10天内 -mtime +:60天前修改过
-mtime -:60天内修改过
-mtime :60前同一时间修改
-type c
File is of type c: b block (buffered) special c character (unbuffered) special d directory p named pipe (FIFO) f regular file l symbolic link; this is never true if the -L option or the -follow option is in effect,
unless the symbolic link is broken. If you want to search for symbolic links when -L
is in effect, use -xtype. s socket
-maxdepth :查找两级子目录(放最前面)
-perm(权限)-mode(与):查找所有的权限都必须满足mode条件的文件
/mode(或):查找至少一个权限位满足mode条件的文件
find /tmp -perm - (三个条件必须同时具备)
find /tmp -perm /(其中一个条件具备即可)
动作:
-print:显示
-exec:执行相应的命令,在执行命令之前向用户不询问
{}:通过find命令查找到的文件名
-exec COMMAND {} \;
-ok:执行相应的命令。在执行之前向用户发出询问
-ls:在执行查找之后以ls -l命令显示查找到的文件
find练习
)查找/var目录下属主为root,属组为mail的所有文件;
find /var -user root -a -group mail
)查找/usr目录下不属于root、bin、qhdlink等用户的文件;
useradd qhdlink
find /usr -not \( -user root -a -user bin -a -user qhdlink \)
)查找/etc目录下最近一周内内容修改过且不属于root及student用户的文件;
find /etc -mtime - -a -not -user root -a -not -user student
)查找当前系统上没有属主或属组且最近1天内曾被访问过的文件,并将其属主属组均修改为root;
find / -nouser -o -nogroup -a -atime - -exec chown root: {} \;
)查找/etc目录下所有用户都没有写权限的文件,显示出其详细信息;
find /etc -not -perm / -ls
二、awk
awk是一种可以处理数据、产生格式化报表的语言,功能相当强大。awk的工作方式是读取数据文件,将每一行数据视为一条记录(record),每笔记录以字段分隔符分成若干字段,然后输出各个字段的值。
以下是执行ps auxw的输出片段:
USER PID %CPU %MEM VSZ RSS TTY
STAT START TIME COMMAND
root 1 0.0 0.0 164 92 ?
Ss Apr09 0:01 init [5]
像这种固定结构的数据,用awk来处理,特别有威力,通常只要短短几行程序代码就可以完成工作。
例如,仅用以下单一指令,就可取得所有行程的PID:
ps auxw | awk '{print $2}'
那么,awk是如何处理每一笔记录的呢?
awk对每一条记录,都会套用一个"样式{操作}",如果该行符合样式,就执行指定的操作。样式或操作之一,可以省略。如果只有样式,表示要显示符合样式的数据行;如果只有操作,表示对每一数据行都执行该项操作。
语法:
awk"样式"文件:把符合样式的数据行显示出来。 awk '{操作}' 文件:对每一行都执行{}中的操作。 awk '样式{操作}' 文件:对符合样式的数据行,执行{}中的操作。
用法
awk的用法1: awk '/La/' dataf3
显示含La的数据行。 awk的用法2: awk '{ print $1, $2 }' dataf3
显示dataf3每一行的第1和第2个字段。 $1代表第1个字段,$2代表第二字段,其他类推。 awk的用法3: awk '/La/{ print $1, $2 }' dataf3
将含有La关键词的数据行的第1及第2个字段显示出来。 awk的用法4: awk -F: '/^ols3/{ print $3, $4 }' /etc/passwd
使用选项-F,指定:为分隔字符,账号ols3的uid(第3字段)及gid(第4字段)显示出来。 awk的用法5: awk -F: 'BEGIN{OFS="+++"}/^ols3/{ print $1,
$, $, $, $ }' /etc/passwd
以:为分隔字符,+++为输出字段分隔符,将账号ols3的第1~5栏显示出来。 }执行结果: ols3+++x+++++++++
本例中,BEGIN{}区域指示awk一开始先做初始化的操作,即设定OFS="+++"。变量OFS的作用是存储输出字段的分隔符。接着,寻找ols3的账号行,找到后,使用print印出第1 ~ 第5个字段,且彼此用 +++ 隔开。
实例
取得网卡的IP: ifconfig | grep 'inet addr:' | grep Bcast |
awk '{print $2}' | awk -F: '{print $2}'
取得网络设备名称: cat /proc/net/dev | awk -F: '/eth.:|ppp.:|wlan.:/{print $1}'
在本例中,-F:把分隔字符设为:,而且,采用多选一的样式 /eth.:|ppp.:|wlan.:/。这个样式的意思是:设备名称可以是eth0:、ppp1:、wlan1: 这3个其中之一。一旦找到符合样式的字符串后,去掉:,取其中的第一个域值,因此,可能的答案是eth0或ppp1或wlan1。
取得系统内存大小: cat /proc/meminfo | awk '/MemTotal/{print $2}'
/proc/meminfo记载主机内存相关数据,其中MemTotal为内存大小,其样本值如下: MemTotal: kB 因此,在awk的样式语法中,利用/MemTotal/ 找到这一行,再印出第二个字段,即可得到内存的大小。
修改CSV文件各字段的顺序: 以下是数据文件dataf6.csv,想要把第2个字段和第4字段调换: 所在乡镇,学校名称,学校网址,校长姓名,学校电话,VOIP前三码,学校地址 新营市,南新国中,http://www.ns12jh.tnc.edu.tw,ABC,06-656313012,1021,新营市民治路6675号 佳里镇,佳里国中,http://www.jl41jh.tnc.edu.tw,NOP,06-722224432,1146,佳里镇安南路5523号 新营市,新营国小,http://www.sy53es.tnc.edu.tw,DEF,06-632213642,1482,新营市中正路3248号 做法如下: 范例 --:chcsv24.sh . #! /bin/Bash
.
. TMPF='/tmp/tmp.$$'
. cat dataf6.csv | awk -F, 'BEGIN{OFS=","}
{print $,$,$,$,$,$,$}' > $TMPF
. mv -f $TMPF dataf6.csv 行3,设定临时文件名。 行4,将数据文件的内容通过管道交给awk处理。awk的字段分隔字符和输出分隔字符,皆设为,。在{}的操作中,调换$2和$4的顺序,再把结果转向存储在临时文件中。 行5,将临时文件覆盖原文件。
【linux之find及awk】的更多相关文章
- linux文本分析利器awk
转 快速理解linux文本分析利器awk 原文链接 杜亦舒 性能与架构 awk是什么 如果工作中需要操作linux比较多,那么awk是非常值得学习的 awk是一个极其强大的文本分析工具,把文件逐行的读 ...
- 一个不会coding的girl Linux日常之命令awk
Linux日常之命令awk 参考:http://www.zsythink.net/archives/tag/awk/ 一. 命令awk简介 1. awk是一种编程语言,用于对文本和数据进行处理的 2. ...
- Linux三剑客grep、awk和sed
grep,sed 和 awk是Linux/Unix 系统中常用的三个文本处理的命令行工具,称为文本处理三剑客.本文将简要介绍这三个命令并给出基本用法. 管道 在介绍这两个命令之前,有必要介绍一下Uni ...
- Linux之sed、awk
Linux 之AWK 命令 简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在对数据分析并生成报告时,显得尤为强大. 简单来说awk就是把文件逐行的读入,以空格默认分隔 ...
- linux每天一小步---awk命令详解
1 命令功能 awk是linux环境下的一个强大的文本工具,由于awk天生提供对文件中文本分列进行处理,所以如果一个文件中的每行都被特定的分隔符(默认为空格)隔开,我们就可以将这个文件看成是有很多列的 ...
- Linux(8):linux三剑客sed和awk & Shell 编程(1)
linux 三剑客 之 sed # sed 是什么? # sed : 字符流编辑器 Stream Editor: sed 擅长 替换.取行等 # sed 的功能与版本: 处理纯文本文件.日志.配置文件 ...
- 【操作系统之四】Linux常用命令之awk
一.概念awk是一个报告生成器,拥有强大的文本格式化能力. 数据可以来自标准输入(stdin).一个或多个文件,或其它命令的输出: 依次对每一行进行处理,然后输出: 它在命令行中使用,但更多是作为脚本 ...
- Linux四剑客之awk命令
AWK详解 awk简介 awk其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母.实际上 AWK 的确拥有自己的语 ...
- Linux三剑客grep/sed/awk
grep/sed/awk被称为linux的“三剑客” grep更适合单纯的查找或匹配文本: sed更适合编辑匹配到的文本: awk更适合格式化文本,对文本进行较复杂各式处理: Grep --color ...
- Linux三剑客grep、awk、sed
何为Linux三剑客? 第一个剑客是 grep,grep 会根据正则表达式查找相关内容并打印对应的数据. 第二个剑客是 awk,awk 的名字来源于三个作者的名字简称,它可以根据定位到的数据行处理其中 ...
随机推荐
- mysql 安装以及配置
MySQL是一个小巧玲珑但功能强大的数据库,目前十分流行.但是官网给出的安装包有两种格式,一个是msi格式,一个是zip格式的.很多人下了zip格式的解压发现没有setup.exe,面对一堆文件一头雾 ...
- VM安装Ubuntu问题合集(无法联网、中文界面设置、中文输入法etc)
经常使用VM安装Ubuntu,安装系统的步骤跟着系统提示一步步下来就行,但总是遇到一些问题,这里记录一下常遇到的问题,以及自己解决的办法: 1.无法联网: 状况:Ubuntu不能联网,联网地方一直在闪 ...
- linux_http协议
什么是http协议? 超文本传输协议 最流行www服务,是http协议的实现 ssh,nfs,rsync客户端(Client)和服务端(Server),C/S架构,局域网内部用,胖客户端 http协议 ...
- [JAVA] - 从 m 个元素中随机选中 n 个
之前业务中曾经遇到过从m个元素中选取 n 个的需求,当时只是跑循环根据长度进行随机选取,然后放入 Set 中去重,一直到收集到足够的个数. 这样做的缺点很明显,当剩下的元素个数越少的时候,选取的元素越 ...
- Django 部署到Nginx
在网上搜了很多篇Django+uwsgi+Nginx的部署文章,忙了一下午头昏脑胀,最终完成了部署.部署文章流程讲解都很好,但在细节上或许缺乏一些注意力,导致我多篇文章来回切换在字里行间寻找蛛丝马迹. ...
- 一步一步创建ASP.NET MVC5程序[Repository+Autofac+Automapper+SqlSugar](九)
前言 童鞋们,大家好 我是专注.NET开发者社区建设的实践者Rector. 首先,为自己间隔了两个星期五再更新本系列文章找个不充分的理由:Rector最近工作,家庭的各种事务所致,希望大家谅解. 本文 ...
- [DeeplearningAI笔记]改善深层神经网络_深度学习的实用层面1.9_归一化normalization
觉得有用的话,欢迎一起讨论相互学习~Follow Me 1.9 归一化Normaliation 训练神经网络,其中一个加速训练的方法就是归一化输入(normalize inputs). 假设我们有一个 ...
- 【原创】前端开发人员如何制作微信小程序模板
(我的博客网站中的原文:http://www.xiaoxianworld.com/archives/305,欢迎遇到的小伙伴常来瞅瞅,给点评论和建议,有错误和不足,也请指出.) 最近接触了一下微信小程 ...
- 简易发号SQL,可用于生成指定前缀自增序列,如订单号,生成优惠券码等
需求1:订单号要求唯一.长度不太长.自增.但不能通过早上订单号和晚上订单号相减推算出平台大概一天的单量 需求2:要求生成10w张优惠券,要求券码唯一.不能太长,不能轻易猜测出其他券码 根据这些需求提供 ...
- json模块和pickle模块的用法
在python中,可以使用pickle和json两个模块对数据进行序列化操作 其中: json可以用于字符串或者字典等与python数据类型之间的序列化与反序列化操作 pickle可以用于python ...