Linux基础第六课——grep|awk|sort|uniq

管道符 | 前面的输出作为后面的输入 grep 可以理解为正则表达式 grep [参数] 文件名 -c 打印符合要求的行数 -v 打印不符合要求的行 -n 在输出符合要求的行的同时连同行号一起输出 -i 忽略大小写 [0-9] ^ grep -c 'root' /etc/passwd grep -nv 'root' /etc/passwd grep '[0-9]' 文件名 grep '^#' -v test.py yhq@yhq-virtual-machine:~$ grep 'r..o' /e…

[linux] grep awk sort uniq学习

grep的-A-B-选项详解grep能找出带有关键字的行,但是工作中有时需要找出该行前后的行,下面是解释1. grep -A1 keyword filename找出filename中带有keyword的行,输出中除显示该行外,还显示之后的一行(After 1)2. grep -B1 keyword filename找出filename中带有keyword的行,输出中除显示该行外,还显示之前的一行(Before 1)3. grep -1 keyword filename找出filename中带有k…

Linux基础之基本命令cat less more sort uniq alias 命令行 bash简单描述（三）

获取Linux当前最新的内核版本号经常关注www.kernel.org 目录管理:ls cd pwd mkdir rmdir tree 文件管理:touch stat file rm cp mv nano 日期时间: data clock hwclock cal 查看文本:cat tac more less head tail cat-n:显示的顺序分屏显示:more lessmore:支持向后翻空格,b,回车 less:和man类似k / ? 空格 b 回车 q:退出 G:跳到文件最后 he…

线上问题debug过程(cat,grep,tr,awk,sort,uniq,comm等工具的综合使用)

问题:发现线上到货单的数量,小于实际到货的数量. 怀疑一些隐藏的条件,将部分唯一码进行了过滤,导致数量变少. 开展了如下的跟踪流程: 1.找到其中一个明细的唯一码 grep 6180e-4b09f pms.log>> tmp1 2.查找出问题的方法所输出的日志 grep purchaseConfirm tmp1 >> tmp2 内容如下: 2017-02-28 16:14:25.040 [DubboServerHandler-10.26.235.193:20885-thread-1…

linux awk,sort,uniq,wc,cut命令详解

1.awk awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息 $ 表示当前行 $ 表示第一列 NF 表示一共有多少列 $NF 表示最后一列 $(NF-) 表示倒数第二列打印倒数第三列: cat file.txt | grep eop.mall..com | awk '{print $(NF-3)}' 加入倒数第三列格式为cost=100.123,要筛选出cost大于100的列: cat ral-worker.log | gre…

Linux基础之-正则表达式（grep，sed，awk）

一. 正则表达式正则表达式,又称规则表达式.(英语:Regular Expression,在代码中常简写为regex.regexp或RE),计算机科学的一个概念.正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符.及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑. 要想真正的用好正则表达式,正确的理解元字符是最重要的事情.下表列出了所有的元字符和对它们的一个简短的描述. 元字符描述 \ 将下一个字符标记符.或一个向后引用.或一…

【Linux】linux中文本操作利器grep,awk,sed

grep命令 grep(global search regular expression)是一种强大的文本搜索工具,它可以使用正则表达式搜索文本,并把匹配的行打印出来.平时搜索文本中内容的时候是非常方便的. 格式: grep [option] pattern filename 主要选项: -A<显示列数> 除了显示符合范本样式的那一行之外,并显示该行之后的内容. -o 只输出文件中匹配到的部分. -v 反转查找. -i 忽略字符大小写的差别. -E 使用扩展正则表达式. -c 计算匹配到的列数…

【Linux】日志分析工具grep sed sort

遇到一个问题,在查询日志时发现,服务器上打印的文件有很多个,每个都存储了一部分日志, 需要将日志按照时间排序,并显示所有日志. 原命令: grep -h searchContent */*log 搜索出来的结果会将所有内容显示出来格式如下: File1.log:时间…. File2.log:时间…. 由于文件名后面的日志也包含:,所以使用分隔符:进行分隔排序的方法不可行,此时需要在grep时不将文件名包含进来,搜索一通之后,找到一个参数"-h",可以不显示文件名 grep -h s…

Linux基础第四课——文件操作

文件的创建 touch sudo touch 文件1 文件2 文件3 #支持批量创建文件 sudo rm -f 文件1 文件2 文件3 #支持批量创建也支持批量删除 echo '谁动谁输,对不起我输了,我心动了' > 2.txt # 2.txt如果没有自动创建 root权限 echo '告诉你一个坏消息,什么坏消息,我对你的想法已经不单纯了' > 2.txt 这样会将之前的内容覆盖掉 echo '谁动谁输,对不起我输了,我心动了' >> 2.txt 将内容追加到指定的文件中文件…

linux基础-第六单元用户、群组和权限

用户及passwd文件 /etc/passwd文件的功能 /etc/passwd文件每个字段的具体含义 shadow文件 /etc/shadow文件的功能 /etc/shadow文件每个字段的具体含义群组及group文件 /etc/group文件的功能 /etc/group文件的功能怎样在Linux系统中添加一个新的用户账户 useradd命令的功能 useradd命令的常用选项 useradd命令的用法举例使用usermod命令修改用户账户 usermod命令的功能 usermod命令修…

Linux基础命令---显示文本grep

grep 按照指定的模式,在文件中搜索匹配的行,将结果显示在标准输出.另外还有两个指令egrep相当于grep –E,fgrep相当于grep -F.如果没有给出文件名,那么从标准输入读取. 此命令的适用范围:RedHat.RHEL.Ubuntu.CentOS.SUSE.openSUSE.Fedora. 1.语法 grep [选项] PATTERN files grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...] 2.选项列…

linux基础（六）

今天我们来看一下Samba服务和nginx服务. Samba服务 1.samba的功能 samba是一个网络服务器,用于Linux和Windows之间共享文件. 2.samba服务的启动.停止.重启启动:systemctl start smb 停止:systemctl stop smb 重启:systemctl restart smb 3. samba的主配置文件为:/etc/samba/smb.conf 4.配置samba服务 ①准备环境 =====>part1: iptab…

『学了就忘』Linux基础命令 — 31、grep命令和通配符

目录 1.grep命令介绍 2.find命令和grep命令的区别(重点) (1)find命令 (2)grep命令 3.通配符与正则表达式的区别 (1)通配符: (2)正则表达式: 1.grep命令介绍 grep命令:是一个Shell命令,是Shell中文本三剑客之一,作用是在文件中提取和匹配符合条件的字符串行. grep命令是一个非常常见的命令,和find命令有很多非常相似的地方,所以在这里先说明. grep命令格式如下: [root@localhost ~ ]# grep [选项] "搜索内容…

[妙味JS基础]第六课：作用域、JS预解析机制

知识点总结浏览器的解析方法 script 全局变量,全局函数自上而下函数由里到外 "JS的解析器": 1)“找一些东西”:var function 参数 var a=未定义 =>所有的变量,在预解析时,赋一个值:未定义 fn1 = function fn1(){alert(2)} =>所有的函数,在预解析时,是整个函数块 function fn1(n1) {} =>这里的参数n1,相当于var n1 ,因此也是未定义在预解析时,遇到重名的:只留一个,var和…

Linux基础第五课——用户管理

用户管理一个用户必须有一个主组一个用户可以拥有多个组但是必须一个主组其它组是临时组一个组可以拥有多个用户用户的信息放到 /etc/passwd 用户的密码存入 /etc/shadow 组信息存到 /etc/group 添加用户 add useradd shengliang 这时候会在 /etc/passwd 下生成一条记录 shengliang:x:1001:1001::/home/shengliang: 用户名密码用户id 所属组的id 备注信息 /home/shenglia…

潭州课堂25班：Ph201805201 爬虫基础第六课选择器 (课堂笔记)

HTML解析库BeautifulSoup4 BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库,它的使用方式相对于正则来说更加的简单方便,常常能够节省我们大量的时间. BeautifulSoup也是有官方中文文档的:https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html 安装 BeautifulSoup的安装也是非常方便的,pip安装即可. pip install beautifu…

Linux基础篇六：Linux文件属性和类型

-:代表文件 s: sorket文件 b:block块设备 (磁盘,光驱等) c:字符设备 l:连接文件 p:管道文件 d:代表目录文件为了更加区分- (文件的具体类型),系统提供了file命令更加精准的判断文件的类型软链接和硬链接: ls -i 显示iNode编号创建软链接文件: ln -s 文件软链接文件名软链接使用场景: 1:软件升级 2:企业代码发布 3:不方便目录的移动创建硬链接:ln 硬链接: 创建硬连接:ln 源文件目标文件举例:ln…

024：Java流实现Shell：cat 1.log | grep a | sort | uniq -c | sort -rn

本文阅读时间大约13分钟(本文实践性很强,建议pc端阅读,最好亲自实践). 参考答案这个问题考察的是对Linux命令的熟悉程度,以及对Java中集合操作的综合运用,自从转到Java 8以后,我就一直使用流来处理集合了,下面的代码就是我用流来实现的参考答案: package org.java.learn.java8.stream; import java.io.*; import java.util.*; import java.util.function.Function; import ja…

【Hadoop离线基础总结】linux基础增强

linux基础增强查找命令 grep命令 (print lines matching a pattern) 概述: grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来格式: grep [option] pattern [file] 使用实例: ps -ef | grep sshd ->查找指定ssh服务进程 ps - report a snapshot of the current processes. 显示当前进程 -ef To see every p…

Linux基础——常用命令

find /grep /xargs /sort /uniq /tr /cut /paste /sed /awk......待续...... 1.find 名字查找: find . -name file #eg: find -name *txt 正则查找: find . -regex "pattern" #eg: find -regex ".*\.txt" -iregex:正则忽略大小写反查找:find . ! -name "*.txt"按类型查…

Linux基础（6）

Linux基础(六) shell脚本中的三大循环和函数知识点一.流程控制之if结构 1.简单的if实例: #!/bin/bash var='/etc/init.d' #var='/dev/sda' if [ -d $var ] then echo "$var is directory" elif [ -b $var ] then echo "$var is block" elif [ -f $var ] then echo "$var is regula…

域名排序 sort uniq awk

[root@web01 ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数:-f :忽略大小写的差异,例如 A 与 a 视为编码相同:-b :忽略最前面的空格符部分:-M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法:-n :使用『纯数字』进行排序(默认是以文字型态来排序的):-r :反向排序:-u :就是 uniq ,相同的数据中,仅出现一行代表:-t :分隔符,默认是用 [tab] 键来分隔:-k :以那个区间 (field) 来进行排序的意…

Linux基础命令-Nginx-正则表达式( grep sed awk )-Shell Script--etc

Linux基础使用学习内容博客内存查看swap分区信息 > swapon -s 添加swap分区 > mkswap /dev/sdb2 > 激活 swapon -a /dev/sdb2 即可移除swap分区 > swapoff /dev/sdb2 查看系统版本 > cat /etc/redhat-release > more /etc/*release 可以看到更多信息 buffer A buffer is something that has yet to b…

Linux基础-正则表达式整理---------------grep、sed、awk

目录: Ⅰ:正则表达式 Ⅱ:作业 Ⅰ:正则表达式正则就是用一些具有特殊含义的符号组合到一起(称为正则表达式)来描述字符或者字符串的方法.或者说:正则就是用来描述一类事物的规则. 在linux中,通配符是由shell解释的,而正则表达式则是由命令解释的,三种文本处理工具/命令:grep.sed.awk 正则介绍:^ 以什么开头(同一行) $ 以什么结尾(同一行) . 除了换行符以外的任意单个字符 * 紧挨的左边的第一个字符出现零个到…

日志分析查看——grep,sed,sort,awk运用

概述我们日常应用中都离不开日志.可以说日志是我们在排查问题的一个重要依据.但是日志并不是写了就好了,当你想查看日志的时候,你会发现线上日志堆积的长度已经超越了你一行行浏览的耐性的极限了.于是,很有必要通过一些手段来高效地辅助你来快速的从日志中找到你要找的问题.本文通过一个从项目中衍生出来的例子从查找日志,筛选日志和统计日志3个方面层层递进来简述日志文件查看中一些有用的手段.(注:在linux环境下) 目录 0.查找关键日志grep 1.查找关键日志grep 2.精简日志内容 sed 3.对记录…

Linux查找命令：grep,awk,sed

grep grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来.常用来在结果中搜索特定的内容. 一般格式: grep [选项] 基本正则表达式 [文件] 选项 -c 只输出匹配行的计数 -i 不区分大小写(单字符) -h 不显示文件名(多文件时) -l 只输出文件名(多文件时) -n 显示匹配行及行号 -s 不…

linux正则表达式之－基础正则表达式（基于grep）

linux正则表达式: 简单的说,正则表达式就是为处理大量的字符串而定义的一套规则和方法,如:假设@代表123456,!代表abcde.通过定义的这些特殊符号的铺助,系统管理员就可以快速的过滤,替换或输出需要的字符. 使用正则表达式注意事项: 1.linux正则一般是以行为单位处理的. 2.alias grep='grep --color=auto',讲课是以grep为例.(注意:为了使下面的案例更加清晰明了,在做下面的案例前请先执行此行命令) 3.注意字符集,LC_ALL=C linux里正则…