[root@python ~]# cat testcount.txt a 1.1.1.1b 2.2.2.2c 3.3.3.3a 1.1.1.1d 4.4.4.4e 5.5.5.5f 6.6.6.6 1.去重: awk '!a[$1]++ {print}' testcount.txt a 1.1.1.1b 2.2.2.2c 3.3.3.3d 4.4.4.4e 5.5.5.5f 6.6.6.6 2.统计第二列 awk '{a[$1]++} END{for (i in a) print a[i],i}…

awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. awk有3个不同版本: awk.nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本. 1.域分割符 awk 在没有使用-F 指定分割符的时候.默认以空格为分割符. 域分割 $0代表文本内容全文显示 $1 代表分割第一个域 $2 代表分割第二个域 依…

Linux上文本处理三剑客 grep :文本过滤( 模式:pattern) 工具 grep, egrep, fgrep (不支持正则表达式搜索,但搜索纯文本的数据最快) sed :stream editor ,文本编辑工具 awk :Linux上实际是gawk(GUN awk) ,文本报告生成器 正则表达式: 由一类特殊字符及文本字符所编写的模式,其中有些字符(元字符)不表示字符字面意义,而表示控制或通配的功能 支持正则表达式的程序:grep, vim, less,nginx等 正则表达式分两类…

一.grep简介: grep (缩写来自Globally search a Regular Expression and Print)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来.Unix的grep家族包括grep.egrep和fgrep 表达符集 ^ 锚定行的开始 如:'^grep'匹配所有以grep开头的行. $ 锚定行的结束 如:'grep$'匹配所有以grep结尾的行. . 匹配一个非换行符('\n')的字符如:'gr.p'匹配gr后接一个任意字符,然后是p…

1 awk简介 awk是一种编程语言,用于在linux/unix下对文本和数据进行处理.数据可以来自标准输入.一个或多个文件,或其它命令的输出.它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具.blabla一堆,好处多多. 2 awk写在前面的话 awk脚本要注意两个关键字BEGIN和END. BEGIN:放的是执行前的语句:END:这里面放的是处理完所有的行后要执行的语句 3 awk常用环境变量 记录---awk把每一个以换行符结束的行称为一个记录 域…

对于正则表达式,我通常的认识就是通过一些陌生的奇怪的符号就可以完成很复杂事件的好帮手!实际上正则表达式确实是这方面的好助手,接下来让我们一起认识一下Java中怎么使用正则表达式吧. 初见Pattern 使用的步骤如下: - Pattern位于java.util.regex.Pattern.是使用正则表达式的主角.在帮助文档上有这样的一段描述: - 我们不难发现,使用pattern主要是先放入"正则匹配表达式",然后调用了其matcher方法.如下: -然后可以看到其返回值类型是一个Ma…

cut:对内容进行列切割 -d 后面的是分割符,表示用什么符号来分割符来分割列,分隔符使用引号括起来: -f后面跟着要选择的字段列,从1开始,表示第一列,如果要多列,可以用逗号分隔 : -c参数后面跟着要选择的字符偏移,-b表示后面跟着要选择的字节偏移: 可以使用start-end表示一个区间,解决使用逗号的烦恼. 比如这个实例: ubuntu@ubuntu:~$ cat test.txt aaaaa;bbbbb;ccccc ddddddd;eeeeee fffff;gggggggg!iii;j…

先创建一个文件:vim hi 取第2个字段和第3个字段: awk '{print $2,$3}' hi     注意{}中的,逗号会在输出的时候转变为空格 加入字符说明: 显示整行: 指定字段分隔符:-F 内建变量:NF     NF:字段数量,  $NF代表最后一个字段 NR:行数 /regular expression/: 仅处理能够被此处的模式匹配到的行 取反:awk '!/^john/{print $2}' hi 上面的语句表示如果第三个字段大于等于500,则取第一和第三个字段 判断最后…

下面都是一些比较常用简单的验证,像那些特殊的复杂的情况这里不进行考虑 1.验证电话号码或者手机号码 ? 1 2 3 4 5 6 7 8 9 10 /**  * 验证电话号码(手机号码+电话号码)  * @param obj  * @returns {Boolean}  */ function checkPhoneNum(obj){     if(/^((\d{3}-\d{8}|\d{4}-\d{7,8})|(1[3|5|7|8][0-9]{9}))$/.test(obj)){         r…

一.awk基本操作 awk指定多个分割符,分隔符中有:和空格,还有:和空格的组合,这个时候需要指定多个分隔符 -F'[ :]+',[ :]表示分隔符为:和空格,一个或者多个+号表示空格和:的组合也为一个分隔符 打印倒数第一列,以空格和:and空格 “:”的组合为分隔符 [root@VM_0_84_centos ~]# cat aaa |awk -F'[: ]+' '{print $NF}' number #打印倒数第二列,以空格和:and空格 “:”的组合为分隔符 [root@VM_0_84_c…