目录 文本处理命令+三剑客之sed 一.文本处理命令 1.排序命令 sort 2.检查/删除命令 uniq 3. cut 显示特定部分命令 4. 替换或删除命令 tr 5.统计 计算数字命令 wc 二.linux三剑客之sed 1.sed的格式 2.参数 3.定位(# 四个之中最重要) 4.sed的编辑模式(# 重要程度次之) 三.案例练习 文本处理命令+三剑客之sed 一.文本处理命令 1.排序命令 sort 1.排序命令 sort 用于将文件内容加以排序,默认以'''每一行第一个字符'''来…

sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法: -n :使用『纯数字』进行排…

一. 特殊文件: /dev/null和/dev/tty Linux系统提供了两个对Shell编程非常有用的特殊文件,/dev/null和/dev/tty.其中/dev/null将会丢掉所有写入它的数据,换句换说,当程序将数据写入到此文件时,会认为它已经成功完成写入数据的操作,但实际上什么事都没有做.如果你需要的是命令的退出状态,而非它的输出,此功能会非常有用,见如下Shell代码: /> vi test_dev_null.sh #!/bin/bash if grep hello TestFile…

linux sort,uniq,cut,wc,tr,xargs命令详解 http://embeddedlinux.org.cn/emb-linux/entry-level/201607/21-5550.html 2015年时 曾经培训过 一次 大数据 当时 用wc 做例子 自己当时不知道wc 是gnu内建的命令 很难理解 四年时间自己简单学习了一些 linux 还是很有收获的. <--目录-->1)sort2)uniq3)cut4)wc5)tr6)xargs [sort]sort 命令对 Fi…

linux sort,uniq,cut,wc命令详解 sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN,…

linux sort,uniq,cut,wc命令详解 sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN,…

笔记 1.晨考 1.写出过滤手机号的正则表达式 1[0-9]{10} 2.写出过滤邮箱的正则表达式 chenyang@123.com [a-zA-Z0-9-_]+@[a-z0-9]+\.(com|cn|com\.cn|net) 3.过滤密码,要求必须要大写字母.小写字母.数字以及下划线,长度在 8 到 16 之间 ([A-Z]+[a-z]+[0-9]+_+){8,16} 4.过滤本地的IP ip a | grep -E '([(1[0-9]{2}){3}(2[0-4][0-9]){3}(25[0…

sort是在Linux里非常常用的一个命令,对指定文件进行排序.去除重复的行 sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法: [root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略每行最前面的空格符部分: -M :以月份的名字来排…

sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法: -n :使用『纯数字』进行排…

sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法: -n :使用『纯数字』进行排…

目录 命令 1.文件的上传下载 2.从外网下载文件wget 3.curl文件下载 4.查找命令which 5.字符处理命令-排序sort 6.字符处理-去重uniq 7.字符处理-截取cut 8.字符处理-统计wc 9.tr替换 10. sed 文本处理工具,三剑客之一 10. awk 去列,统计,计算. 命令 1.文件的上传下载 需要下载安装包 [root@oldboyedu ~]# yum install -y lrzsz #安装包 rz:只能上传文件 (直接拖拽文件) 1)不支持上传超过4…

F:http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858385.html sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同:…

文章转自 http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858385.html sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码…

1.awk awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息 $ 表示当前行 $ 表示第一列 NF 表示一共有多少列 $NF 表示最后一列 $(NF-) 表示倒数第二列 打印倒数第三列: cat file.txt | grep eop.mall..com | awk '{print $(NF-3)}' 加入倒数第三列格式为cost=100.123,要筛选出cost大于100的列: cat ral-worker.log | gre…

sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法: -n :使用『纯数字』进行排…

sortsort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 sort [-fbMnrtuk] [file or stdin]选项与参数:-f  :忽略大小写的差异,例如 A 与 a 视为编码相同:-b  :忽略最前面的空格符部分:-M  :以月份的名字来排序,例如 JAN, DEC 等等的排序方法:-n  :使用『纯数字』进行排序(默认是以文字型态来排序的):…

本文只总结一些常用的用法,更详细的说明见man uniq和 uniq --help. uniq命令 uniq命令主要用于去重. 需要注意的是,不相邻的行不算重复值. 语法格式 Usage: uniq [OPTION]... [INPUT [OUTPUT]] OPTION 说明 -c 统计出现的次数 -d 只显示被计算为重复的行 -D 显示所有被计算为重复的行 -c 显示唯一值,即没有重复值的行 -i 忽略大小写 -z 在末尾使用\0,而不是换行符 -s 跳过多少个字符开始比较重复值 -f 跳过多…

sort -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法: -n :使用『纯数字』进行排序(默认是以文字型态来排序的): -r :反向排序: -u :就是 uniq ,相同的数据中,仅出现一行代表: -t :分隔符,默认是用 [tab] 键来分隔: -k :以那个区间 (field) 来进行排序的意思 uniq -i :忽略大小写字符的不同: -c :进行计数 -u :只显示唯一的行…

uniq 将文件中重复出现的行删除,结果送到标准输出或者指定文件.在使用uniq指令之前,必须使用sort对内容进行排序,否则没有效果.如果没有选项,则将匹配的行合并到第一个匹配项. 此命令的适用范围:RedHat.RHEL.Ubuntu.CentOS.SUSE.openSUSE.Fedora. 1.语法      uniq [选项]  [input] [output]   2.选项列表 选项 说明 --version 显示命令版本信息 --help 显示帮助文档 -c | --count 显示…

一.Linux系统上的文件类型 1.- :常规文件:在其它程序中用f表示.比如我们用ls -l命令查看的第一个内容 [root@localhost ~]# ls -l total -rw-------. root root Oct anaconda-ks.cfg 2.d:directory,目录文件 3.b:block device,块设备文件,以"block"为单位进行随机访问 [root@localhost ~]# ls -l /dev/sda* brw-rw---- root d…

grep基本用法 格式:grep [选项] [模式] [文件]   选项: -c:只显示有多少行匹配 ,而不具体显示匹配的行 -n:在每一行前面打印该行在文件中的行数 -i:在字符串比较的时候忽略大小写 -v:显示不包含匹配文本的所欲行   实例1 ls -l | grep -n "^d" #找到以d开头的内容 ls -l|grep -n "feigu" #找到以feigu开头的内容       awk基本用法  格式 awk [-F field-separator…

Shell学习(七)--sort.uniq.cut.wc命令详解 转自:[1]linux sort,uniq,cut,wc命令详解 https://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858385.html 一.sort命令 转自: [1]Linux sort命令 https://www.runoob.com/linux/linux-comm-sort.html [2]sort命令详解 https://www.cnblogs.com/mac…

#文本处理命令--sort,cut,wc及其他 文本处理命令还有其他常用的,比如:sort,cut,wc 1.cut命令的用法 cut命令: cut - remove sections from each line of files cut OPTION... [FILE]... -c:字符范围,用于排列整齐的信息 -d CHAR:以指定的字符为输入分隔符:默认为空白字符: -f FILEDS:挑选出的字段: #:指定的单个字段: #,#:离散的多个字段:例如1,3,7: #-#:连续的多个字段…

grep的-A-B-选项详解grep能找出带有关键字的行,但是工作中有时需要找出该行前后的行,下面是解释1. grep -A1 keyword filename找出filename中带有keyword的行,输出中除显示该行外,还显示之后的一行(After 1)2. grep -B1 keyword filename找出filename中带有keyword的行,输出中除显示该行外,还显示之前的一行(Before 1)3. grep -1 keyword filename找出filename中带有k…

1.文件校验 1. md5sum eg: md5sum filename 注:生成一个128位的二进制位,即32位的十六进制字符串 1.验证文件的正确性: md5sum  file1 file2 > file_sum.md5 下一次想看一下文件是否被改动 md5sum -c file_sum.md5 file1:ok file2:ok 验证成功 2.验证一个目录dir下的所有文件的正确性 find dir/ -type f -print -exec md5sum {} >file_sum.md…

sort uniq sort:对行或者文本文件排序 uniq:去除重复的行 常用 sort -n file.txt 按数字进行排序 sort -r file.txt 按逆序进行排序 sort -M file.txt 按月份进行排序 sort -C file 如果返回0表示已经排序 sort -nC file 返回0表示已经按照数字排序 sort -m sorted_file1 sorted_file2 合并两个已经排过序的文件,而且不需要对合并后的文件再次排序 按键或者列进行排序 sort -n…

centos shell基础知识 alias  变量单引号 双引号   history 错误重定向 2>&1  jobs  环境变量 .bash_history  source配置文件  nohup & 后台运行 cut,sort,wc ,uniq ,tee ,tr ,split, paste cat> 2.txt <<EOF 通配符 glob模式  发邮件命令mail 2015-4-8 第十二节课 set unset export 上半节课 history:命令历…

在每个管线后面接的第一个数据必定是『命令』喔!而且这个命令必须要能够接受 standard input 的数据才行,这样的命令才可以是为『管线命令』,例如 less, more, head, tail 等都是可以接受 standard input 的管线命令啦.至于例如 ls, cp, mv 等就不是管线命令了!因为 ls, cp, mv 并不会接受来自 stdin 的数据. 也就是说,管线命令主要有两个比较需要注意的地方:     管线命令仅会处理 standard output,对于 sta…

本文将介绍Linux下使用Shell处理文本时最常用的工具:find.grep.xargs.sort.uniq.tr.cut.paste.wc.sed.awk:提供的例子和参数都是最常用和最为实用的:我对shell脚本使用的原则是命令单行书写,尽量不要超过2行:如果有更为复杂的任务需求,还是考虑python吧: find 文件查找 查找txt和pdf文件 1 find . ( -name "*.txt" -o -name "*.pdf" ) -print 正则方式查…

Linux Bash命令杂记(cut sort uniq wc tee) 数据流重定向 标准输入(stdin):代码为0,使用<或<<: 标准输出(stdout):代码为1,使用>或>>: 标准错误输出(stderr):代码为2,使用2>或2>>: >:覆盖的方式,>>:追加的方式 如果想要一般输出与错误输出同时输入到某一个文件,如果采取如下的方式进行输出是错误的: 输出数据 1> list 2> list 如果按照上面的…