Linux Shell 自动化之让文本飞 一.前言: ​ 作者之前在一家 IDC 从事运维兼职工作,后来因某些原因辞职开始 Python 爬虫数据分析.因为这些经历以及后续时间积累下的经验,发现好像自己对文本分析可以写出点东西了.于是本着记录自己这块已掌握的知识点,开始参考书籍和翻阅手册编写本文.希望本文可以使大家对 Linux 下的文本分析有一个清晰的认识并提高工作效率 . 二.介绍: ​ sed 是流编辑器( stream editor )的缩写,众所周知的是用于文本替换(即搜索并修改文本中…

shell脚本显示文本内容及相关的常用命令有cat.more.less.head.tail.nl 首先是cat,cat最常用的就是一次性显示文件的所有内容,如果一个文件的内容很多的话,那么就不是很方便了,所以一样用于查看内容比较少的文本文件: cat另外一个很有用的方法就是可以原样输出想要保留特定格式的内容. [root@localhost ~]# cat <<A > this is test > hello world > hello Linux PHP MySQL Apa…

shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中 利用shell脚本将文本数据导入到mysql中 需求1:处理文本中的数据,将文本中的数据插入到mysql中 jerry -- male mike -- female tracy -- male kobe -- male allen -- female curry -- male tom -- female # 创建表结构和student一样结构的student1表 MariaDB [school]…

导读 本文为博文linux —— shell 编程(整体框架与基础笔记)的第4小点的拓展.(本文所有语句的测试均在 Ubuntu 16.04 LTS 上进行) 目录 基本文本处理 流编辑器sed awk模式扫描与处理语言 1.基本文本处理 sort :用于排序,常用参数 -t 指定一行的分隔符 -k 指定具体排序的规则 -d 按字典序排列  -f 忽略大小写  -u (unique)丢弃相同指定字段的记录 unique:报告或删除文件中重复的行. -c 在输出行前加上出现的次数    -d  (…

之前想把代码打印出来看来着,后来合并完之后放在word里发现有2000多页,然后放弃了~anyway,这个命令还是挺有用的. 比如我有文本a001.dat, a002.dat, a003.dat ...,然后想合并成一个文本.直接在shell里敲下面这条(linux系统或者win下安装了cygwin): awk 1 a*.dat > a.dat awk是文本处理工具:1代表true,一直执行下去:*是通配符,代表任意字符.…

前言 在Linux中,文本处理操作是最常见的,应用非常广泛,如果能熟练掌握,可以大大提高开发效率. awk/sed/grep是文本操作领域的“三剑客”,学会了这3个命令就可以应对绝大多数文本处理场景.这里,不对这三个命令进行过多的冗余描述,只是记录最常见的几种用法,起个抛砖引玉的作用.详细的文档还请参考官方文档. 特长: grep 更适合单纯的查找和匹配文本 sed  更适合编辑匹配到的文本,如文本替换 awk 更适合格式化文本,对文本进行比较复杂格式处理 三个命令有些功能是重合的,可以灵活选用…

简单来说,这个技巧相应的是例如以下一种场景 假设有文本例如以下 cccc aaaa bbbb dddd bbbb cccc aaaa 如今须要对它进行去重处理.这个非常easy,sort -u就能够搞定,可是假设我希望保持文本原有的顺序.比方这里有两个aaaa,我仅仅是希望去掉第二个aaaa,而第一个aaaa在bbbb的前面.去重后仍旧要在它前面.所以我期望的输出结果是 cccc aaaa bbbb dddd 当然,这个问题本身并不难.用C++或python写起来都非常easy,但所谓杀机焉用牛…

作业一:整理正则表达式博客 一.什么是正则 正则就是用一些具有特殊含义的符号组合而成(称为正则表达式)来描述字符或者字符串的方法.或者说:正则就是用来描述一类事物的规则. 通配符是由shell解释得.如果shell是爷爷,通配符就是爹.正则表达式则是由命令解释得,命令又被shell解释.如果shell是爷爷,正则表达式就是孙子.通配符和命令是一个级别的. 通配符是为了方便命令操作,正则表达式是为了操作文本内容.字符或字符串. 正则介绍:^行首$行尾.除了换行符以外的任意单个字符.*所有字符*:左…

1.正则表达式 ^ 行起始标志 $ 行尾标记 . 匹配任意一个字符 [ ] 匹配包含在[字符]之中的任意一个字符,coo[kl]匹配cook或cool [^] 匹配除[^字符]的任意一个字符 [-] 匹配[]中范围内任意一个字符 ? 匹配之前的项一次或0次 + 匹配之前的项一次或多次 * 匹配之前的项0次或多次 () 创建一个用于匹配的子串 {n} 匹配之前的项n次 {n,m} 指定之前的项所必须匹配的最小次数和最大次数 | 交替-匹配|两边的任意一项 \ 转义符可以将上面的符号转义 2.gre…

1:grep命令: grep -v  "char"  file_name 匹配不包括"char"的文本 grep -n -w "char" file_name 完整匹配某个字符 grep ^s $s  分别为匹配行首为s的 或者行末为s的文本. 2:tr 命令 tr set1  set2   替换集合set1 为set2 tr -s set1  压缩字符 tr -t  ":"     指定分隔符 默觉得空格 tr -d &qu…