简单介绍shell编程四剑客之grep
概要：分别的作用
grep：文本过滤（模式:pattern）工具，grep，egrep，fgrep，擅长过滤。
sed：stream editor 文本编辑工具；（流编辑器），擅长取行、替换。
awk：linux上的实现gawk，文件报告生成器；（独立的编程语言），过滤内容，擅长取列。
find：linux上实时查找工具，通过便利指定路径下得文件系统完成文件查找。
一、grep
文本过滤（模式:pattern）工具，grep，egrep，fgrep
文本搜索工具，根据用户指定的模式对目标文本逐行进行匹配检查，打印匹配到的行；
1、模式
由正则表达式字符及文本字所编写的过滤条件
grep [OPTIONS] PATTERN[FILE]
2、选项
--color=auto：对匹配到的我那本着色显示；
-v：显示不能够陪pattern匹配到的行；
-i：忽略字符大小写；
-o：仅显示匹配到的字符串；
-q：静默模式，不输出任何信息；
-A#:after，匹配到的后#行，就是显示匹配还显示该行之前得num行
-B#:before,前#行，还显示该行之后得num行
-C#context，前后各#行 ，还显示该行前后各num行
-E:使用ERE；扩展正则表达式，egrep=grep -E
-F：相当于fgrep
3、正则表达式
基于正则表达式元字符：
1）、字符匹配:
.： 匹配任意单个字符；
[]： 匹配指定范围内的任意单个字符
[^]：匹配指定范围外的任意单个字符
专用字符集合
[:digit:]：任意数字，相当于0-9
[:lower:]：所有的小写字符
[:upper:]：大写字符
[:alpha:]：大小写
[:alnum:]：数字和字符
[:punct:]：标点符号
[:space:]：空格
[:graph:] 可打印的非空白字符
grep 's..n' /etc/passwd
grep '...t' /etc/passwd
grep'[[:alpha:]][[:alpha:]][[:alpha:]]t' /etc/passwd这样写太难受了,可以用匹配次数
2）、匹配次数：用在要指定次数的字符后面，用于指定前面的字符要出现的次数；
*：匹配前面的字符任意次；仅表示次数
nano grep.txt
xxxxxxy
grep "x*y" grep.txt,这就是贪婪模式，如果只有x是不可以的,x可以没有也可以出现多行
贪婪模式
.*：任意长度的任意字符；
\?：匹配其前面的字符0或1次；即前面的可有可无；
\+：匹配其前面的字符至少1次；
\{m\}：匹配前面的字符m次；
\{m,n\}：匹配前面的字符至少m次，至多n次；
\{0,n\}：匹配前面的字符至多n次；
\{m,\}：匹配前面的字符至少m次；
3）、位置锚定：
^：行首锚定；用于模式的最左侧；
$：行尾锚定；用于模式的最右侧；
^PATTERN$: 用于模式匹配整行；
^$: 空行；
^[[:space:]]*$这个空白是可以没有的应为有*号
\< 或 \b：词首锚定；用于单词模式的左侧；单词的最左侧
\> 或 \b：词尾锚定；用于单词模式的右侧；
\<PATTERN\>：匹配整个单词；
分组：
\(\)：将一个或多个字符捆绑在一起，当作一个整体进行处理
\(xy\)*ab
nano grep.txt
xyxyxyxy
grep "\(xy\)+" 如果没有小括号，则代表x后面至少一个y
Note: 分组括号中的模式匹配到的内容会被正则表达式引擎记录于内部的变量中，这些变量的命名方式为: \1, \2, \3, ...
\1: 从左侧起，第一个左括号以及与之匹配右括号之间的模式所匹配到的字符；
\(ab\+\(xy\)*\)：
\1: ab\+\(xy\)*这个\是和前面的有括号匹配
\2: xy
当我们想后续内容与前面模式匹配到的语言，则需要使用引用，即后向引用
后向引用：引用前面的分组括号中的模式所匹配字符，(而非模式本身)
grep '[[:alpha:]]'\{1,3\}t\>' /etc/passwd
grep '[[:alpha:]]'\{1,3\}t\>'.*'[[:alpha:]]'\{1,3\}t /etc/passwd 观察，有前后不一致的
grep '[[:alpha:]]'\{1,3\}t\>'.*\1' /etc/passwd 现在观察匹配的相同的一定是一样的
扩展正则表达式：
基于正则表达式而言扩展正则表达式在某些参数上可以不使用转义符（\），在使用方式上没有区别
1）、字符匹配
.
[]
[^]
2）、次数匹配
*
？：0或1次
+：1次或多次
{m}:匹配m次
{m,n}:至少m至多n次
3）、锚定
^
$
\<,\b
\>,\b
分组
()
后向引用：\1,\2...
或者 a|b
4、实例
实例1、显示/proc/meminfo文件中以大小s开头得行
1 [root@web2 keepalived]# grep -i "^[Ss]" /proc/meminfo
2 SwapCached: 0 kB
3 SwapTotal: 3933180 kB
4 SwapFree: 3933180 kB
5 Shmem: 92032 kB
6 Slab: 131744 kB
7 SReclaimable: 86092 kB
8 SUnreclaim: 45652 kB
9 [root@web2 keepalived]# grep -i "^s" /proc/meminfo
10 SwapCached: 0 kB
11 SwapTotal: 3933180 kB
12 SwapFree: 3933180 kB
13 Shmem: 92032 kB
14 Slab: 131752 kB
15 SReclaimable: 86092 kB
16 SUnreclaim: 45660 kB
17 [root@web2 keepalived]# grep "^[Ss]" /proc/meminfo
18 SwapCached: 0 kB
19 SwapTotal: 3933180 kB
20 SwapFree: 3933180 kB
21 Shmem: 92032 kB
22 Slab: 131752 kB
23 SReclaimable: 86092 kB
24 SUnreclaim: 45660 kB
25 [root@web2 keepalived]# grep "^s\|^S" /proc/meminfo
26 SwapCached: 0 kB
27 SwapTotal: 3933180 kB
28 SwapFree: 3933180 kB
29 Shmem: 92032 kB
30 Slab: 131752 kB
31 SReclaimable: 86092 kB
32 SUnreclaim: 45660 kB
33 [root@web2 keepalived]#
实例2、显示/etc/passwd文件中不以/bin/bash结尾行
[root@web2 keepalived]# grep -v "/bin/bash"$ /etc/passwd
bin:x:::bin:/bin:/sbin/nologin
daemon:x:::daemon:/sbin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin
lp:x:::lp:/var/spool/lpd:/sbin/nologin
sync:x:::sync:/sbin:/bin/sync
shutdown:x:::shutdown:/sbin:/sbin/shutdown
halt:x:::halt:/sbin:/sbin/halt
mail:x:::mail:/var/spool/mail:/sbin/nologin
operator:x:::operator:/root:/sbin/nologin
games:x:::games:/usr/games:/sbin/nologin
ftp:x:::FTP User:/var/ftp:/sbin/nologin
nobody:x:::Nobody:/:/sbin/nologin
systemd-bus-proxy:x:::systemd Bus Proxy:/:/sbin/nologin
systemd-network:x:::systemd Network Management:/:/sbin/nologin
dbus:x:::System message bus:/:/sbin/nologin
polkitd:x:::User for polkitd:/:/sbin/nologin
abrt:x::::/etc/abrt:/sbin/nologin
unbound:x:::Unbound DNS resolver:/etc/unbound:/sbin/nologin
tss:x:::Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
libstoragemgmt:x:::daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
rpc:x:::Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
colord:x:::User for colord:/var/lib/colord:/sbin/nologin
usbmuxd:x:::usbmuxd user:/:/sbin/nologin
saslauth:x:::Saslauthd user:/run/saslauthd:/sbin/nologin
geoclue:x:::User for geoclue:/var/lib/geoclue:/sbin/nologin
rtkit:x:::RealtimeKit:/proc:/sbin/nologin
rpcuser:x:::RPC Service User:/var/lib/nfs:/sbin/nologin
nfsnobody:x:::Anonymous NFS User:/var/lib/nfs:/sbin/nologin
radvd:x:::radvd user:/:/sbin/nologin
qemu:x:::qemu user:/:/sbin/nologin
ntp:x::::/etc/ntp:/sbin/nologin
chrony:x::::/var/lib/chrony:/sbin/nologin
setroubleshoot:x::::/var/lib/setroubleshoot:/sbin/nologin
sssd:x:::User for sssd:/:/sbin/nologin
pulse:x:::PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
gdm:x::::/var/lib/gdm:/sbin/nologin
gnome-initial-setup:x::::/run/gnome-initial-setup/:/sbin/nologin
sshd:x:::Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
avahi:x:::Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
postfix:x::::/var/spool/postfix:/sbin/nologin
tcpdump:x::::/:/sbin/nologin
nginx:x:::Nginx web server:/var/lib/nginx:/sbin/nologin
mysql:x:::MariaDB Server:/var/lib/mysql:/sbin/nologin
[root@web2 keepalived]#
实例3、显示/etc/passwd文件中ID号最大得用户的用户名
[root@web1 keepalived]# sort -t: -k3 -n /etc/passwd |tail -1 |cut -d: -f1
nfsnobody
[root@web1 keepalived]#
实例4、如果用户root存在，显示其默认的shell程序
[root@web1 keepalived]# id root &> /dev/null && grep "^root\>" /etc/passwd | cut -d: -f7
/bin/bash
[root@web1 keepalived]#
实例5、找出/etc/passwd中的两位或三位数
[root@web1 keepalived]# grep "\<[0-9]\{2,3\}\>" /etc/passwd
mail:x:::mail:/var/spool/mail:/sbin/nologin
operator:x:::operator:/root:/sbin/nologin
games:x:::games:/usr/games:/sbin/nologin
ftp:x:::FTP User:/var/ftp:/sbin/nologin
nobody:x:::Nobody:/:/sbin/nologin
systemd-bus-proxy:x:::systemd Bus Proxy:/:/sbin/nologin
systemd-network:x:::systemd Network Management:/:/sbin/nologin
dbus:x:::System message bus:/:/sbin/nologin
polkitd:x:::User for polkitd:/:/sbin/nologin
abrt:x::::/etc/abrt:/sbin/nologin
unbound:x:::Unbound DNS resolver:/etc/unbound:/sbin/nologin
tss:x:::Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
libstoragemgmt:x:::daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
rpc:x:::Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
colord:x:::User for colord:/var/lib/colord:/sbin/nologin
usbmuxd:x:::usbmuxd user:/:/sbin/nologin
saslauth:x:::Saslauthd user:/run/saslauthd:/sbin/nologin
geoclue:x:::User for geoclue:/var/lib/geoclue:/sbin/nologin
rtkit:x:::RealtimeKit:/proc:/sbin/nologin
rpcuser:x:::RPC Service User:/var/lib/nfs:/sbin/nologin
radvd:x:::radvd user:/:/sbin/nologin
qemu:x:::qemu user:/:/sbin/nologin
ntp:x::::/etc/ntp:/sbin/nologin
chrony:x::::/var/lib/chrony:/sbin/nologin
setroubleshoot:x::::/var/lib/setroubleshoot:/sbin/nologin
sssd:x:::User for sssd:/:/sbin/nologin
pulse:x:::PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
gdm:x::::/var/lib/gdm:/sbin/nologin
gnome-initial-setup:x::::/run/gnome-initial-setup/:/sbin/nologin
sshd:x:::Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
avahi:x:::Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
postfix:x::::/var/spool/postfix:/sbin/nologin
tcpdump:x::::/:/sbin/nologin
zhangxingeng:x:::centos--:/home/zhangxingeng:/bin/bash
nginx:x:::Nginx web server:/var/lib/nginx:/sbin/nologin
lightdm:x::::/var/lib/lightdm:/sbin/nologin
apache:x:::Apache:/usr/share/httpd:/sbin/nologin
redis:x:::Redis Database Server:/var/lib/redis:/sbin/nologin
mysql:x:::MariaDB Server:/var/lib/mysql:/sbin/nologin
[root@web1 keepalived]#
实例6、显示/etc/rc.d/rc.sysinit文件中，至少一个空白字符开头的且后面存非空白字符的行
[root@web1 keepalived]# grep "^[[:space:]]\+[[:graph:]]" /etc/grub2.cfg
load_env
set default="${next_entry}"
set next_entry=
save_env next_entry
set boot_once=true
set default="${saved_entry}"
menuentry_id_option="--id"
menuentry_id_option=""
set saved_entry="${prev_saved_entry}"
save_env saved_entry
set prev_saved_entry=
save_env prev_saved_entry
set boot_once=true
if [ -z "${boot_once}" ]; then
saved_entry="${chosen}"
save_env saved_entry
fi
if [ x$feature_all_video_module = xy ]; then
insmod all_video
else
insmod efi_gop
insmod efi_uga
insmod ieee1275_fb
insmod vbe
insmod vga
insmod video_bochs
insmod video_cirrus
fi
set timeout_style=menu
set timeout=
set timeout=
source ${prefix}/user.cfg
if [ -n "${GRUB2_PASSWORD}" ]; then
set superusers="root"
export superusers
password_pbkdf2 root ${GRUB2_PASSWORD}
fi
load_video
set gfxpayload=keep
insmod gzio
insmod part_msdos
insmod xfs
set root='hd0,msdos1'
if [ x$feature_platform_search_hint = xy ]; then
search --no-floppy --fs-uuid --set=root --hint-bios=hd0,msdos1 --hint-efi=hd0,msdos1 --hint-baremetal=ahci0,msdos1 --hint='hd0,msdos1' a9392b0d-ae01-41ce-b4a0-efb843235bfe
else
search --no-floppy --fs-uuid --set=root a9392b0d-ae01-41ce-b4a0-efb843235bfe
fi
linux16 /vmlinuz-3.10.-.el7.x86_64 root=UUID=11b66499-c82b-476f--fc3690a4e26d ro crashkernel=auto rhgb quiet LANG=en_US.UTF-
initrd16 /initramfs-3.10.-.el7.x86_64.img
load_video
insmod gzio
insmod part_msdos
insmod xfs
set root='hd0,msdos1'
if [ x$feature_platform_search_hint = xy ]; then
search --no-floppy --fs-uuid --set=root --hint-bios=hd0,msdos1 --hint-efi=hd0,msdos1 --hint-baremetal=ahci0,msdos1 --hint='hd0,msdos1' a9392b0d-ae01-41ce-b4a0-efb843235bfe
else
search --no-floppy --fs-uuid --set=root a9392b0d-ae01-41ce-b4a0-efb843235bfe
fi
linux16 /vmlinuz--rescue-b7671beb75f14e95b5a58975dae3a897 root=UUID=11b66499-c82b-476f--fc3690a4e26d ro crashkernel=auto rhgb quiet
initrd16 /initramfs--rescue-b7671beb75f14e95b5a58975dae3a897.img
source ${config_directory}/custom.cfg
source $prefix/custom.cfg;
[root@web1 keepalived]#
实例7、找出“netstat -tan”命令的结果以LISTEN后跟0、1或多个空白字符结尾
[root@web1 keepalived]# netstat -tan | grep "LISTEN[[:space:]]*$"
tcp 0.0.0.0: 0.0.0.0:* LISTEN
tcp 0.0.0.0: 0.0.0.0:* LISTEN
tcp 192.168.122.1: 0.0.0.0:* LISTEN
tcp 0.0.0.0: 0.0.0.0:* LISTEN
tcp 127.0.0.1: 0.0.0.0:* LISTEN
tcp 127.0.0.1: 0.0.0.0:* LISTEN
tcp6 ::: :::* LISTEN
tcp6 ::: :::* LISTEN
tcp6 ::: :::* LISTEN
tcp6 ::: :::* LISTEN
tcp6 ::: :::* LISTEN
[root@web1 keepalived]#
实例8、添加用户bash、testbash、basher以及nologin（其shell为/sbin/nologin）；而后找出/etc/passwd文件中用户名同shell名的行；
[root@web1 keepalived]# cat /etc/passwd | grep "\(^[[:alnum:]]\+\>\).*\<\1$"
[root@web1 keepalived]# useradd bash
[root@web1 keepalived]# useradd testbash
[root@web1 keepalived]# useradd basher
[root@web1 keepalived]# useradd -s /sbin/nologin nologin
[root@web1 keepalived]# grep "^\([[:alnum:]]\+\>\).*\1$" /etc/passwd
sync:x:::sync:/sbin:/bin/sync
shutdown:x:::shutdown:/sbin:/sbin/shutdown
halt:x:::halt:/sbin:/sbin/halt
bash:x::::/home/bash:/bin/bash
nologin:x::::/home/nologin:/sbin/nologin
[root@web1 keepalived]#
#谋定所有得数字和字符，至少出现一个所以用+，谋定整个单词词尾，然后（）括号做分组，.*中间跟上任意内容，\1$结尾跟括号内一致
egrep实例
实例9、显示当前系统root、centos或user1用户的默认shell和UID；
[root@web1 keepalived]# grep -E '^(root|centos|user1)\>' /etc/passwd | cut -d: -f 1,3,7
root::/bin/bash
[root@web1 keepalived]#
实例10、找出/etc/rc.d/init.d/functions文件中某单词后跟一个小括号的行
[root@web1 keepalived]# grep -E -o "^[_[:alpha:]]+\(\)" /etc/rc.d/init.d/functions
checkpid()
__kill_pids_term_kill_checkpids()
__kill_pids_term_kill()
__pids_var_run()
__pids_pidof()
daemon()
killproc()
pidfileofproc()
pidofproc()
status()
echo_success()
echo_failure()
echo_passed()
echo_warning()
update_boot_stage()
success()
failure()
passed()
warning()
action()
strstr()
is_ignored_file()
is_true()
is_false()
apply_sysctl()
[root@web1 keepalived]#
#_这个是连字符，+至少出现一次\(\)显示（）本身
实例11、使用echo输出一绝对路径，使用egrep取出其基名
[root@web1 keepalived]# echo "/mnt/sdc" | grep -E -o "[^/]+/?$" | cut -d"/" -f1
sdc
[root@web1 keepalived]#
实例12、找出ifconfig命令结果中1-255之间的数值，这里分别表是0-9、10-99、100-199、200-249、250-255
1 echo {1..1000} | egrep -o "\b[0-9]\b" | tr "\n" " " ;echo
2 echo {1..1000} | egrep -o "\b[0-9]{2}\b" | tr "\n" " " ;echo
3 echo {1..1000} | egrep -o "\b1[0-9]{2}\b" | tr "\n" " " ;echo
4 echo {1..1000} | egrep -o "\b2[0-4][0-9]\b" | tr "\n" " " ;echo
5 echo {1..1000} | egrep -o "\b25[0-5]\b" | tr "\n" " " ;echo
实例13、找出ifconfig命令结果中的IP地址
[root@web1 keepalived]# ifconfig|egrep -o "\<(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4]0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\>"
255.255.255.0
127.0.0.1
255.0.0.0
192.168.122.1
255.255.255.0
192.168.122.255
[root@web1 keepalived]#
转载请注明出处：https://www.cnblogs.com/zhangxingeng/p/10789761.html
简单介绍shell编程四剑客之grep的更多相关文章
- 简单介绍shell编程四剑客之awk
概要:分别的作用 grep:文本过滤(模式:pattern)工具,grep,egrep,fgrep,擅长过滤. sed:stream editor 文本编辑工具:(流编辑器),擅长取行.替换. awk ...
- 简单介绍shell编程四剑客之sed
概要:分别的作用 grep:文本过滤(模式:pattern)工具,grep,egrep,fgrep,擅长过滤. sed:stream editor 文本编辑工具:(流编辑器),擅长取行.替换. awk ...
- shell 编程四剑客简介 find sed grep awk(微信公众号摘抄）
一,Shell编程四剑客之Find 通过如上基础语法的学习,读者对Shell编程有了更近一步的理解,Shell编程不再是简单命令的堆积,而是演变成了各种特殊的语句.各种语法.编程工具.各种命令的集合. ...
- Shell编程四剑客包括：find、sed、grep、awk
一.Shell编程四剑客之Find Find工具主要用于操作系统文件.目录的查找,其语法参数格式为: find path -option [ -print ] [ -exec -ok command ...
- linux shell编程学习笔记(二) --- grep命令
Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来.grep全称是Global Regular Expression Print,表示全局正则表达 ...
- shell编程(四)之循环控制语句(for,while,until,break,continue,case)
for循环 语法:for NAME in LIST; do 循环体 done 列表生成方式:1.整数列表 {start...end} $(seq,[start [step]] end)2.glob / ...
- 编程四剑客awk
awk 'pattern +{action}' file (1)AWK基本语法参数详解 a:单引号 ''是为了和shell命令区分开: b:大括号{}表示一个命令分组: c:pattern 是一个过 ...
- Linux四剑客find/grep/awk/sed
find ./ -name "*txt" -maxdepth 1 -type f -mtime -2 -exec mv {} ./bbb.txt \; 这条命令表示找当前目录(-m ...
- shell编程三大神器之grep
随机推荐
- 关于” 记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引” 这篇博客相关的优化采坑记录
之前写过一篇博客是关于记录日志的简单方式的 主要就是 应用->redis->logstash->elasticsearch 整个流程的配置方法和过程的 虽然我们部分线上应用使用 ...
- 深入剖析最新IE0day漏洞
在2018年4月下旬,我们使用沙箱发现了IE0day漏洞;自从在野外发现上一个样本(CVE-2016-0189)已经有两年多了.从许多方面来看,这个特别的漏洞及其后续的开发比较有趣.下一篇文章将分析最 ...
- Treap与fhq_Treap学习笔记
1.普通Treap 通过左右旋来维护堆的性质 左右旋是不改变中序遍历的 #include<algorithm> #include<iostream> #include<c ...
- JS的 try catch使用心得
try{ //正常执行 }catch(e/*你感觉会出错的 错误类型*/){ // 可能出现的意外 eg:用户自己操作失误 或者 函数少条件 不影响下面的函数执行 // 有时也会用在 比如 focus ...
- 【STM32H7教程】第11章 STM32H7移植SEGGER的硬件异常分析
完整教程下载地址:http://forum.armfly.com/forum.php?mod=viewthread&tid=86980 第11章 STM32H7移植SEGGER的硬 ...
- TensorFlow从1到2（二）续讲从锅炉工到AI专家
图片样本可视化 原文第四篇中,我们介绍了官方的入门案例MNIST,功能是识别手写的数字0-9.这是一个非常基础的TensorFlow应用,地位相当于通常语言学习的"Hello World!& ...
- ES 16 - 对Elasticsearch中的索引数据进行增删改查 (CRUD)
目录 1 创建document 1.1 创建时手动指定id 1.2 创建时自动生成id 2 查看document 2.1 根据id查询文档 2.2 通过_source字段控制查询结果 3 修改docu ...
- ES 10 - Elasticsearch的索引别名和索引模板
目录 1 索引模板概述 1.1 什么是索引模板 1.2 索引模板中的内容 1.3 索引模板的用途 2 创建索引模板 3 查看索引模板 4 删除索引模板 5 模板的使用建议 5.1 一个index中不能 ...
- openlayers4 入门开发系列之风场图篇
前言 openlayers4 官网的 api 文档介绍地址 openlayers4 api,里面详细的介绍 openlayers4 各个类的介绍,还有就是在线例子:openlayers4 官网在线例子 ...
- Android之OkHttp详解
文章大纲 一.OkHttp简介二.OkHttp简单使用三.OkHttp封装四.项目源码下载 一.OkHttp简介 1. 什么是OkHttp 一般在Java平台上,我们会使用Apache Htt ...