时间:2018-11-13 整理:byzqy 需求: 最近帮朋友写了一段脚本,他的需求是根据一份产品清单,去服务器上捞取对应产品编号的测试Log,数量大概有9000~10000条左右.文本内容大致如下,数据有4列,分别表示:产品编号.员工编号.测试日期.质量等级.需要筛选出质量等级为"1"的产品的测试数据,数据存储在以各自员工编号命名的不同测试日期的文件夹下.log文件名中包含完整产品编号. 文件:adc.txt 1 S0001L0001;TALLYMAN01;20180101;1 2

需求: shell读取文件内容,然后把内容赋值给变量然后进行字符串处理 实现: dataline=$(cat /root/data/data.txt) echo $dataline

       Shell脚本,执行解释速度快.代码简单易于理解.在shell代码编写过程中,经常会用到读取文件内容. 写法一: ---------------------------------------------------------------------------- #!/bin/bash  while read line do     echo $line done < file(待读取的文件) ------------------------------------------

shell编程经常会碰到字符串.文件内容大小写的转换,在不同的场景下选择合适的命令可以提高编程效率. 适用场景 需大小写转换的文件内容或字符串 字符串大小写替换 小写替换大写 echo "hello world" | tr '[a-z]' '[A-Z]' echo "hello world" | tr '[:lower:]' '[:upper:]' 大写替换小写 echo "hello world" | tr '[A-Z]' '[a-z]' ec

在Linux系统中,文件内容的批量替换同Windows平台相比要麻烦一点.不过这里可以通过Shell命令或脚本的方式实现批量替换的功能. 笔者使用过两个命令:perl和sed ,接下来会对其做出说明. 首先是perl命令,主要用于文件扫描,提取文件信息并打印 perl -pi -e 's/被替换的字符串/替换后的字符串/g' <替换内容所在文件> perl 命令后选项居多,这里只会讲解一些常用的选项 -i  编辑文件,就地修改 -e 让Perl程序在命令行中运行 -r 搜索子目录 -l 输出匹

1.head:输出前N行 2.tail:输出后N行 3.cat:查看文件所有内容 4.wc:统计文件内容相关信息(行数,字符数等) 5.

先来代码: [root@localhost Qingchu]# cat Qingchu.sh #!/bin/bash #描述: #作者:孤舟点点 #版本:1.0 #创建时间:-- :: PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin export PATH p=`pwd` file=$p/qingchu.txt #判断文件是否存在 if [ -f "$file" ];then ls -l $

while read wOne wTwo wThreedo    [ -z $wOne ] && continue           #测试此行内容是否为空    xxx=$wOne                                 #提取内容done < /var/xxx/one.txtecho "$xxx"                                    #变量获取了文件中的内容 以下方法无法提取内容:但可以输出.问题似乎

# 先记录文件的md5 md5sum ip.list >ip.md5 # 记录新的md5与之前的比较 #!/bin/bash md5sum ip.list > .ip.md5 diff ip.md5 .ip.md5 >/dev/null 2>&1 if [ $? -eq 0 ];then echo "文件没有变化" else echo "文件发生变化" echo "更新md5" md5sum ip.list >

cat $filepath | while read line; do echo $line ; done #!/bin/bash #filepath=/opt/jenkins_home/workspace/dev-demo-haha/target/classes/application.yml filepath=$ if [ -f $filepath ]; then echo -e "\n\n\n" echo "================= print file $f

#!/bin/awk -f BEGIN{FS=","; if(ARGC>2){name=ARGV[1];delete ARGV[1]} else{ echo "please enter name";getline name<"-" } } $1~name {print $1,$3}

文件及内容处理 - cut.rev 1. cut:切割文件内容 cut命令的功能说明 cut 命令用于显示每行从开头算起num1 到 num2 的文字. cut命令的语法格式 cut [OPTION]... [FILE]... cut [选项] [文件] cut命令的使用说明 cut 命令从文件的每一行剪切字节.字符和字段并将这些字节.字符和字段写至标准输出.如果不指定 File 参数,cut 命令将读取标准输入.必须指定 -b.-c 或 -f 标志之一. cut命令的选项说明 cut 参数有几

文件及内容处理 - diff.vimdiff 1. diff:比较两个文件区别 diff命令的功能说明 diff命令用比较文件的差异.diff以逐行的方式,比较文本文件的异同处.如果指定要比较目录,则diff会比较目录中相同文件名的文件,但不会比较其中子目录. diff命令的语法格式 diff [-abBcdefHilnNpPqrstTuvwy][-][-C ][-D ][-I ][-S ][-W ][-x ][-X ][--help][--left-column][--suppress-com

文件及内容处理 - split.paste 1. split:分割文件为不同的小片段 split命令的功能说明 split 命令用于将一个文件分割成数个.该指令将大文件分割成较小的文件,在默认情况下将按照每1000行切割成一个小文件. split命令的语法格式 split [OPTION]... [INPUT [PREFIX]] split [--help][--version][-][-b ][-C ][-l ][要切割的文件][输出文件名] split命令的常用参数说明: split 参数不

方法1:perl   这两天在构建一个应用的使用用到了maven,由于project很大,足足有700多个 pom.xml文件,更郁闷的是在很多pom.xml文件里都单独指定了资源库的url,我需要把这些资源库的url统一指定到nexus本地中央库.手 工一个个改文件配置有点不太实际,所以google了一下,找到批量替换文件内容的好方法,命令结构如下:find -name '要查找的文件名' | xargs perl -pi -e 's|被替换的字符串|替换后的字符串|g' 下面这个例子就是将当

写法一: #!/bin/bash while read line do echo $line done < file(待读取的文件) 写法二: #!/bin/bash cat file(待读取的文件) | while read line do echo $line done 写法三: for line in `cat file(待读取的文件)` do echo $line done 说明:for逐行读和while逐行读是有区别的,如: $ cat file aaaa bbbb cccc dddd

shell编程系列13--文本处理三剑客之sed利用sed追加文件内容 追加用法总结: .a 在匹配行后面追加 .i 在匹配行前面追加 .r 将文件内容追加到匹配行后面 .w 将匹配行写入指定文件 追加用法示例详解: .a ().passwd文件第10行后面追加"Add Line Behind" sed -i '10aAdd Line Behind' passwd ().passwd文件第10行到第20行,每一行后面都追加"Test Line Behind" sed

shell编程系列12--文本处理三剑客之sed利用sed修改文件内容 修改命令对照表 编辑命令 1s/old/new/ 替换第1行内容old为new ,10s/old/new/ 替换第1行到10行的内容old为new ,+5s/old/new/ 替换1行到6行的内容old为new /pattern1/s/old/new/ 替换匹配到pattern1的行内容old为new /pattern1/,/pattern2/s/old/new/ 替换匹配到pattern1的行直到匹配到pattern2的所

shell 中逐行读取文件内容 1.语法简介 #!/bin/bash <<EOF shell 中逐行读取文件内容的语法如下所示. 这里虽然很简单,但是再配合上其他的工具,如sed,awk,tr等可以获取到很多信息,因此使用起来特别方便 EOF while read LINE do #记录行数 let count++ #打印行号及其内容 echo "$count $LINE" done < $File_name shell脚本中读取文件的方法比其他语言方便了太多,这也是

洗牌问题:洗一副扑克,有什么好办法?既能洗得均匀,又能洗得快?即相对于一个文件来说怎样高效率的实现乱序排列? ChinaUnix 确实是 Shell 高手云集的地方,只要你想得到的问题,到那里基本上都能找到答案.r2007给出了一个取巧的方法,利用 Shell 的 $RANDOM 变量给原文件的每一行加上随机的行号然后根据这个随机行号进行排序,再把临时加上去的行号给过滤掉,这样操作之后得到的新文件就相当于被随机"洗"了一次: while read i;do echo "$i

diff -ruNa test1 test2 > test12.diff   -r   比较子目录中的文件 -u  以合并的方式显示文件的不同 -N 比较目录时,若文件A仅出现在某个目录中,预设会显示:Only in目录:文件A若使用-N参数,则diff会将文件A与一个空白的文件比较 -a  逐行比较文件内容