linux shell命令之wc/split及特殊字符
[时间:2018-07] [状态:Open]
[关键词:linux, wc, split, 通配符,转义符,linux命令]
0 引言
整理这篇文章的目的不是为了什么学习,仅仅是为了强化下记忆,以便下次可以直接使用不用重新搜索一次了。
本文将主要整理linux shell下的命令,如果你不是在*nix系统下使用,建议无视本文。
后面内容主要包含三部分:wc、split以及shell中的特殊字符。
1 wc
字符计数工具
wc
命令可输出给定文件或文件列表的行数、字节数、字符数、词数以及最大行宽度( line > word > char > byte)。具体语法如下:
短选项 | 长选项 | 说明及描述 |
---|---|---|
-c | --bytes | 输出字节数,和ll 命令的文件长度一致 |
-m | --chars | 输出字符数,字符值得是可显示字符,比如多字节码中一个字符占用多个字节 |
-w | --words | 输出词数,词是使用空格分隔的,所以这个统计可能不准确,不是传统意义上的词数 |
-l | --lines | 输出行数 |
-L | --max-line-length | 输出最大行宽度,使用字节为单位 |
1.1 应用举例
wc
命令默认的输出如下:
~$ wc text
0 2 17 text -----------依次为行数、词数和字节数
字符数的输出如下:
~$ wc -m text
9 text
我的测试文件text中包含的内容如下:
文件选项, 213 --------注意中间有空格
此文件中只有一个空格,没有换行符,所以输出为上面结果。
1.2 参考资料
2 split
文件分割命令
我所遇到的问题是这样的:在日志分析时,如果日文件过大,比如说10G文件,通常多数编辑器打不开或者打开很慢,对大文件搜索支持非常弱。比如Notepad++就直接限制文件大小为500MB。为了快速分析日志,提高效率,还是尽量避免直接打开大约1GB的文件。所以,找找有没有可以完成文件分割的工具。
最终找到split
。split
支持按照行数、字节大小分割文件,也可以指定分片的个数。
split默认行为是将输入文件切分为1000行的分片。(所以文件比较大的时候慎重使用默认参数)
具体用法如下:
短选项 | 长选项 | 说明及描述 |
---|---|---|
-l NUM | --lines=NUM | 分片文件每个包含NUM行,默认换行符ASCII LF |
-b size | --bytes=size | 分片文件每个长度为size字节 |
-C size | --line-bytes=size | 以行为单元切分,但最终分片总长度不超过size字节 |
-n chunks | --number=chunks | 按照给定chunks数目分片,格式支持如下 n, k/n, l/n, l/k/n, r/n, r/k/n |
-t sep | --separator=sep | 指定换行符 |
-u | --unbuffered | 无缓冲模式,速度略慢 |
-a length | --suffix-length=length | 分片文件名称的后缀长度,默认为2 |
-d from | --numeric-suffixes=from | 使用数字而非字母编号作为后缀,指定起始数字,默认为0 |
-x from | --numeric-suffixes=from | 使用十六进制作为后缀 |
2.1 示例
按照行切分,切分之后文件最大1G
split -C 1G input
按照字节切分,限制切分长度为500MB
split -b 500M input sdata
指定分割数目切分,分割为三个文件
split -n 3 input
指定分割数目切分,不切分行的形式切分:
split -n l/3 input
指定分割数目切分,按照均匀分布形式切分:
split -n r/3 input
指定分割数目切分,输出第k(k=2)个分割内容到stdout:
split -n 2/3 input
2.2 参考资料
2.3 延伸
有分割命令,一定有合并命令,split和cat是对应的。有兴趣的可以看看linux-manual。
3 shell中的特殊字符
这里仅整理通配符和转义符,其他的建议查看Linux Shell 通配符、元字符、转义符使用实例介绍。
3.1 通配符
shell中的通配符跟正则表达式有些类似,不过相对简单点。当shell在“参数”中遇到了通配符时,shell会将其当作路径或文件名去在磁盘上搜寻可能的匹配:若符合要求的匹配存在,则进行替换(路径扩展);否则就将该通配符作为一个普通字符传递给“命令”,然后再由命令进行处理。总之,通配符实际上就是一种shell实现的路径扩展功能。
常见的通配符有:
字符 | 含义 | 实例 | 描述 |
---|---|---|---|
* | 匹配零或多个字符 | a*b | a与b之间可以有任意长度的任意字符, 如aabcb, axyzb, a012b, ab |
? | 匹配任意一个字符 | a?b | a与b之间有且仅有一个字符, 如aab, abb, acb, a0b |
[list] | 匹配list 中的任意单一字符 |
a[xyz]b | a与b之间有且仅有一个字符, 但只能是x/y/z, 如: axb, ayb, azb |
[!list] | 匹配除list 中的任意单一字符 |
a[!0-9]b | a与b之间有且仅有一个字符, 但不能是阿拉伯数字, 如axb, aab, a-b |
[c1-c2] | 匹配c1-c2中的任意单一字符 | a[0-9]b | a与b之间有且仅有一个字符,必须是字符0-9之间的,如a0b, a1b... a9b |
{s1,s2,...} | 匹配s1或s2(或更多)其一字符串 | a{abc,xyz,123}b | a与b之间只能是abc或xyz或123这三个字符串之一 |
3.2 转义符
下面整理下转义字符,具体内容如下:
字符 | 说明 |
---|---|
\(反斜杠) | 最常见的转义符,去除其后紧跟的元字符或通配符的特殊意义。 |
' '(单引号) | 又叫硬转义,其内部所有的shell元字符、通配符都会将失效。注意,硬转义中不允许出现'(单引号)。 |
""(双引号) | 又叫软转义,其内部只允许出现特定的shell元字符:$用于参数代换 `用于命令代替 |
4 小结
本文整理了shell命令wc以及split的用法,同时简单整理shell中的通配符和转义字符。仅为加强记忆,作为后续参考。
linux shell命令之wc/split及特殊字符的更多相关文章
- linux shell 命令学习(3) split - split a file into pieces
split 用来进行文件分割的指令 split [OPTION]... [INPUT [PREFIX]] 发现这个命令是因为有个需求,有个10W行的文本文件,需要分成5个2w行的文本文件, 查了一下资 ...
- 73条日常Linux shell命令汇总,总有一条你需要!
转载: 73条日常Linux shell命令汇总,总有一条你需要! 1.检查远程端口是否对bash开放: echo >/dev/tcp/8.8.8.8/53 && echo &q ...
- Linux shell命令中expr
在Linux shell命令中expr虽然不是很起眼,但是它的作用是非常大的!到目前为止,我个人看来最大的作用就是两个——四则运算和字符串的操作. 先说四则运算,在Shell中四则运算不能简简单单的加 ...
- [Python2.x] 利用commands模块执行Linux shell命令
用Python写运维脚本时,经常需要执行linux shell的命令,Python中的commands模块专门用于调用Linux shell命令,并返回状态和结果,下面是commands模块的3个主要 ...
- Linux/shell命令的实际应用——查看Port占用 netstat
启动1024端口一下,是需要root权限的 该Linux/shell命令主要用于解决: 1.查看某端口是否被占用: 2.查看某端口被哪个进程占用: 3.查看某个进程占用了哪些端口: 比如我tomcat ...
- java使用Runtime.exec()运行windwos dos或linux shell命令
使用Runtime.exec()运行windwos dos或linux shell命令,按实际情况具体测试 实例代码: package com.bookoo.test.command; imp ...
- 15个有趣好玩的linux shell 命令
今天介绍一些有趣的linux shell命令,所有的命令都可以使用man + 命令名称 来查看完整的使用方法. 1,figlet 字符画 figlet 可以将英文字符串以字符画的形式输出: >& ...
- 常用Linux Shell命令,了解一下!
目录 1 前言 2 正文 2.1 关机/重启 2.2 echo 2.3 vim文本编辑器 2.3.1 最基本用法 2.3.2 常用快捷键 2.3.3 查找/替换 2.4 拷贝/删除/移动/重命名 2. ...
- Java文件操作API功能与Windows DOS命令和Linux Shell 命令类比
Java文件操作API功能与Windows DOS命令和Linux Shell 命令类比: Unix/Linux (Bash) Windows(MS-DOS) Java 进入目录 cd cd - 创建 ...
随机推荐
- linux相关操作命令
1.复制文件:cp -r file ./src 2.删除文件:rm -rf file 3.解压文件:tar -xvf bianque.tar.gz
- 网络基础配置--usg系统升级
1.usg2000系统升级 1.1.TFTP设置 这里用到一个工具:3CDeamon, 是在由3Com开发类别 Web Development Freeware 软件,是一个简易服务器工具,含TFTP ...
- BZOJ.1805.[IOI2007]sail船帆(贪心 线段树)
BZOJ 洛谷 首先旗杆的顺序没有影响,答案之和在某一高度帆的总数有关.所以先把旗杆按高度排序. 设高度为\(i\)的帆有\(s_i\)个,那么答案是\(\sum\frac{s_i(s_i-1)}{2 ...
- [PA2014]Kuglarz
[PA2014]Kuglarz 题目大意: 有一个长度为\(n(n\le2000)\)的0/1串,你可以花\(c_{i,j}\)的钱,询问区间\([i,j]\)的异或和.问至少要多少元才能知道原来的序 ...
- [PA2014]Bazarek
[PA2014]Bazarek 题目大意: 有\(n(n\le10^6)\)件商品,\(m(m\le10^6)\)次询问.每次询问若选出其中的\(k\)个,要求它们的总价为奇数,求最大可能的总价. 思 ...
- [COCI2013]DLAKAVAC
[COCI2013]DLAKAVAC 题目大意: 有一个长度为\(m(m\le1500)\)的\(01\)串\(A\),进行\(k(k\le10^{18})\)次操作.一次操作完的串中若\(A_i=1 ...
- MySQL(四)
分组 按照字段分组,表示此字段相同的数据会被放到一个组中 分组后,只能查询出相同的数据列,对于有差异的数据列无法出现在结果集中 可以对分组后的数据进行统计,做聚合运算 语法: select 列1,列2 ...
- Java 接口 Comparable
compareTo方法是Comparable接口中唯一的方法.类实现了该接口后表明它的实例具有内在的排序关系.当该对象小于.等于或大于指定对象的时候,分别返回一个负整数.0或者正整数.如果由于指定对象 ...
- Python基础-内置函数、模块、函数、json
内置函数 1.id()返回对象的内存地址: 2. type() 返回对象类型: 3.print()打印输出: 4. input()接受一个标准输入数据,返回为string类型: 5. list() ...
- 全排列 ---java
排列的一种好方法,用链表来记录数据,简单明了,简称模板,值得记录 public class main{ static int count=0; public static void f(List< ...