参考: http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2856896.html 当时需求:查看系统日志,统计系统的处理时间(从请求进去系统到系统返回) 日志文件: 1.log 开始处理: 1. 将日志中的关键行(初始.结束.关键节点)打印出来/输出到文件(后添加:> 2.log): cat 1.log | grep key  //根据关键字输出 cat 1.log | egrep '(start handle)+|(end handle)

grep Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并匹配行打印出来. 命令语法: usage: grep [-abcDEFGHhIiJLlmnOoqRSsUVvwxZ] [-A num] [-B num] [-C[num]] [-e pattern] [-f file] [--binary-files=value] [--color=when] [--context[=num]] [--directories=action] [--label] [--l

Linux统计文件数量 ls -l | grep "^-" | wc -l “^-”  一般文件 “^d” 目录文件 shell/vim中^表示开头 cat repatterns | grep -P "th$"匹配结尾关键字

Linux统计文件数量 ls -l | grep "^-" | wc -l “^-”  一般文件 “^d” 目录文件 shell/vim中^表示开头 cat repatterns | grep -P "th$"匹配结尾关键字 wc -c一个汉字占三个字节.

1.使用这种方式效率较低,而且不注意可能出现错误 find  . -name "*.pc" |xargs wc -l 直接查看 total 不是正确的值. 原因: 这种方式存在一个问题,如果pc的总行数达到几百万时,会自动截断,统计出多个 total  (具体原因需通过源码分析) 需要将多个total 进行求和,才是总行数. 方法: find . -name "*.pc" |xargs wc -l  |awk '/total/{a+=$1}END{print a}'

Linux三剑客之awk精讲(基础与进阶) 标签(空格分隔): Linux实战教学笔记-陈思齐 快捷跳转目录: * 第1章:awk基础入门 * 1.1:awk简介 * 1.2:学完awk你可以掌握: * 1.3:awk环境简介 * 1.4:awk的格式 * 1.5:模式动作 * 1.6:awk的执行过程 * 1.6.1:小结awk执行过程 * 1.7:记录和字段 * 1.7.1:记录(行) * 1.7.2:记录分隔符-RS * 1.7.3:对$0的认识 * 1.7.4:企业面试题 * 1.7.5

touch命令 Linux touch命令用于修改文件或者目录的时间属性,包括存取时间和更改时间.若文件不存在,系统会建立一个新的文件. ls -l 可以显示档案的时间记录. 语法 touch [-acfm][-d<日期时间>][-r<参考文件或目录>] [-t<日期时间>][--help][--version][文件或目录…] 参数说明: a 改变档案的读取时间记录. m 改变档案的修改时间记录. c 假如目的档案不存在,不会建立新的档案.与 --no-create

linux读取文件是经常要用到的操作,以下示例(说明看注释): #读取文件snlist.txt中的每一行内容赋给sn变量 while read sn do echo ">>>>>>>sn is $sn" # 判断是否是文件 if [ ! -d "$sn" ];then echo $sn "not existed" else # 对sn进行"/"拆分并获取最后一个结果,如lib/aa结果

第1章 awk基础入门 要弄懂awk程序,必须熟悉了解这个工具的规则.本实战笔记的目的是通过实际案例或面试题带同学们熟练掌握awk在企业中的用法,而不是awk程序的帮助手册. 1.1 awk简介 一种名字怪异的语言 模式扫描和处理 awk不仅仅时linux系统中的一个命令,而且是一种编程语言,可以用来处理数据和生成报告(excel).处理的数据可以是一个或多个文件,可以是来自标准输入,也可以通过管道获取标准输入,awk可以在命令行上直接编辑命令进行操作,也可以编写成awk程序来进行更为复杂的运用

linux打开文件数量的查看方法 linux打开文件数量的查看方法在网上查到两种查看linux打开文件数量的查看方法,但结果不相同,linux查看文件打开数量是以那个文件或命令为标准呢? 搜索过关于ulimit命令的一些用法,其中有ulimit -n 4096也就是限制用户的最大文件打开数为4096个 在网上查了关于怎么查看文件打开数的文章大致有两种说法 /proc/sys/fs/file-nr 该文件与 file-max 相关,它有三个值: 已分配文件句柄的数目 已使用文件句柄的数目 文件句柄

Linux合并文件命令: awk '{printf("%s\n",$0)}' YQ-*101?.txt >  123.txt   linux去除重复行命令:cat YQ-101.txt | sort | uniq > YQ-uniq-101.txt 

linux 查看文件命令总结 1.cat 查看文件内容 选项-b 空白行不显示行号.-n,空白行显示 2.more 查看文件内容,通过空格键查看下一页 q键退出查看 3.less 和上同,多了方向键(上下回翻) 4.head 默认显示前10行.head -20 /root/install.log 显示20行 5.tail 默认显示末尾10行 还有wc[显示文件的行,单词,字节统计信息] 和 umask等 5.umask命令 当创建一个新的文件或目录时,我们所获得的权限取决于所谓的umask的值,

1.统计一下代码量 find . -name "*.py" | xargs wc -l | awk 'BEGIN {size = 0} { size+=$1} END{print size/2}' find . -name "*.py" | xargs cat | wc -l (1)find,拿到所有py结尾的文件,你写相对路径得到相对路径,绝对路径得到绝对路径 (2)wc -l计数 (3)awk求和,wc其实能算出来总数,所以后面除2 2.对满足某个条件的字段计数

说明: awk被设计用于数据流,能够对列和行进行操作.而sed更多的是匹配,进行替换和删除.awk有很多内建的功能,比如数组,函数等.灵活性是awk的最大优势.  awk的结构}{i++}END{print i}' filename    工作原理 awk命令的工作方式如下: 1. 执行BEGIN{commands}语句块中的语句 2. 从文件或者stdin中读取一行,然后执行pattern{commands}. 迭代直到全部读取完毕 3. 最后执行END{commands}语句块 ="$0,&

前言 对于一名专业的程序员来说,Linux相关知识是必须要掌握的,其中对于文本的处理更是我们常见的操作,比如格式化输出我们需要的数据,这些数据可能会来源于文本文件或管道符,或者统计文本里面我们需要的数据出现的频次以及总数等等.那么这时候awk就很值得我们去学习了. 正文 在Linux中,awk.sed.grep被称为“三剑客”,都跟文本操作有关,那他们各自有什么特点呢? grep:适合用于单纯的查找与匹配.sed:适合修改匹配到的文本.awk:适合对文本进行复杂的格式化处理. 所以awk是一种文

[最大连接数]Linux的文件最大连接数   查看当前操作系统连接数设置 ulimit -a ==================================== 修改服务器最大连接数 vim /etc/security/limits.conf 添加 * soft nofile 65535 * hard nofile 65535 * soft nproc 65535 * hard nproc 65535 vi /etc/pam.d/login 添加 session required pam_

需求描述: 今天在对一个从excel文件中粘出来的内容进行整理的时候,发现格式很乱,就想用awk工具格式化一下,在此记录一下. 操作过程: 1.从excel中复制出来的内容 job_name    job_groupsyncCommStockJob    dataSyncsyncStoreChnlJob    dataSyncsyncOrderJob    dataSyncsyncReportStoreJob    dataSynchdfsScanJob    reportorderSaleDa

ls -l |grep "^-"|wc -l   //验证了redhat好用 或 find ./company -type f | wc -l 查看某文件夹下文件的个数,包括子文件夹里的. ls -lR|grep "^-"|wc -l 查看某文件夹下文件夹的个数,包括子文件夹里的. ls -lR|grep "^d"|wc -l 说明: ls -l 长列表输出该目录下文件信息(注意这里的文件,不同于一般的文件,可能是目录.链接.设备文件等) gre

统计指定后缀名的文件总个数命令: find . -name *.cpp | wc -l 统计一个目录下代码总行数以及单个文件行数: find . -name *.h | xargs wc -l linux统计文件夹中文件数目 第一种方法: ls -l|grep “^-”|wc -l ls -l 长列表输出该目录下文件信息(注意这里的文件,不同于一般的文件,可能是目录.链接.设备文件等).如果ls -lR|grep “^-”|wc-l则可以连子目录下的文件一起统计. grep ^- 这里将长列表输

awk是一种编程语言,用于在linux/unix下对文本和数据进行处理.数据可以来自标准输入(stdin).一个或多个文件,或其它命令的输出.它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具.它在命令行中使用,但更多是作为脚本来使用.awk有很多内建的功能,比如数组.函数等,这是它和C语言的相同之处,灵活性是awk最大的优势. awk命令格式和选项 语法形式 awk [options] 'script' var=value file(s) awk [op

原文:http://blog.51cto.com/hujiangtao/1923930 一.Linux三剑客之awk命令精讲 第1章 awk基础入门 1.1 awk简介 awk不仅仅时linux系统中的一个命令,而且是一种编程语言,可以用来处理数据和生成报告(excel).处理的数据可以是一个或多个文件,可以是来自标准输入,也可以通过管道获取标准输入,awk可以在命令行上直接编辑命令进行操作,也可以编写成awk程序来进行更为复杂的运用.本章主要讲解awk命令的运用 1.2 awk环境简介 [ro