Linux学习笔记:split切分文件并按规律命名及添加拓展名
基础知识
功能:使用 shell
的 split
可以将一个大文件分割成很多个小文件,有时文件太大处理起来不方便就需要使用到了。
在默认情况下将按照每1000行切割成一个小文件。
语法:
split [-<行数>][-b][-c][-l] file.txt
参数说明:
split [-bl] file [prefix] -a 5 -d
-b -- bytes=size 对file进行切分 每个小文件大小为size 可以指定单位b,k,m
-l -- lines=number 对file进行切分 每个文件都有number行
-a 5 后缀长度
-d 数字后缀
-c <字节> : 与参数"-b"相似,但是在切割时将尽量维持每行的完整性
prefix 分割后产生的文件名前缀
实例
实例一
使用指令 split
将文件 file.txt
每6行切割为一个文件,输入:
split -6 file.txt
-rw-r--r-- 1 root root 27 Nov 13 09:32 file.txt
-rw-r--r-- 1 root root 12 Nov 13 09:32 xaa
-rw-r--r-- 1 root root 15 Nov 13 09:32 xab
实例二
假设要切分的文件为 file.txt
大小为 109M 3192043行。
- 按行数切割
split -l 1000000 file.txt ## 按每个文件一百万行进行切割
-rw-r--r-- 1 root root 113209645 Sep 2 11:04 file.txt
-rw-r--r-- 1 root root 35466488 Sep 2 15:46 xaa
-rw-r--r-- 1 root root 35465970 Sep 2 15:46 xab
-rw-r--r-- 1 root root 35465632 Sep 2 15:46 xac
-rw-r--r-- 1 root root 6811555 Sep 2 15:46 xad
生成xaa、xab、xac、xad等4个文件。
- 按大小切割
split -b 20m file.txt ## 按每个文件20m的大小进行切割
-rw-r--r-- 1 root root 113209645 Sep 2 11:04 file.txt
-rw-r--r-- 1 root root 20971520 Sep 2 15:47 xaa
-rw-r--r-- 1 root root 20971520 Sep 2 15:47 xab
-rw-r--r-- 1 root root 20971520 Sep 2 15:47 xac
-rw-r--r-- 1 root root 20971520 Sep 2 15:47 xad
-rw-r--r-- 1 root root 20971520 Sep 2 15:47 xae
-rw-r--r-- 1 root root 8352045 Sep 2 15:47 xaf
生成多个文件,每个大小为20M。
- 添加前缀切割
split -b 50m file.txt example
-rw-r--r-- 1 root root 52428800 Sep 2 15:49 exampleaa
-rw-r--r-- 1 root root 52428800 Sep 2 15:49 exampleab
-rw-r--r-- 1 root root 8352045 Sep 2 15:49 exampleac
- 更改命名
split -l 1000000 file.txt -d -a 3 url_
-rw-r--r-- 1 root root 35466488 Sep 2 16:11 url_000
-rw-r--r-- 1 root root 35465970 Sep 2 16:11 url_001
-rw-r--r-- 1 root root 35465632 Sep 2 16:11 url_002
-rw-r--r-- 1 root root 6811555 Sep 2 16:11 url_003
说明:
- -l 按行分割
- -d 添加数字后缀
- -a 3 表示用3位数来顺序命名 后缀长度
- url_ 分割后文件的前缀
- 添加拓展名
split -l 4 file.txt -d -a 3 url_ && ls | grep url_ | xargs -n1 -i {} {}.txt
说明:
- && 将2个命令连接起来一起执行
- 查找url_开头的文件,逐个重命名为xxx.txt
- 使用
cat
命令合并数据
cat url_*.txt > url.txt
其他
dd命令
生成一个大小为100kb的测试文件:
dd if=/dev/zero bs=100k count=1 of=data.file
1+0 records in
1+0 records out
102400 bytes (102 kB) copied, 0.000258 seconds, 397 MB/s
# count=1指仅拷贝一个块
# bs=100k 指块大小为100k个字节
dd命令用指定大小的块拷贝一个文件,并在拷贝的同时进行指定的转换。
- if=文件名:输入文件名,缺省为标准输入。即指定源文件。< if=input file >
- of=文件名:输出文件名,缺省为标准输出。即指定目的文件。< of=output file >
- ibs=bytes:一次读入bytes个字节,即指定一个块大小为bytes个字节。
obs=bytes:一次输出bytes个字节,即指定一个块大小为bytes个字节。
bs=bytes:同时设置读入/输出的块大小为bytes个字节。 - cbs=bytes:一次转换bytes个字节,即指定转换缓冲区大小。
- skip=blocks:从输入文件开头跳过blocks个块后再开始复制。
- seek=blocks:从输出文件开头跳过blocks个块后再开始复制。
注意:通常只用当输出文件是磁盘或磁带时才有效,即备份到磁盘或磁带时才有效。 - count=blocks:仅拷贝blocks个块,块大小等于ibs指定的字节数。
- conv=conversion:用指定的参数转换文件。
/dev/null和/dev/zero的区别
- /dev/null,外号叫无底洞,你可以向它输出任何数据,它通吃,并且不会撑着!
- /dev/zero,是一个输入设备,你可你用它来初始化文件。该设备无穷尽地提供0,可以使用任何你需要的数目——设备提供的要多的多。他可以用于向设备或文件写入字符串0。
- /dev/null——它是空设备,也称为位桶(bit bucket)。任何写入它的输出都会被抛弃。如果不想让消息以标准输出显示或写入文件,那么可以将消息重定向到位桶。
- 像/dev/null一样, /dev/zero也是一个伪文件, 但它实际上产生连续不断的null的流(二进制的零流,而不是ASCII型的)。 写入它的输出会丢失不见, 而从/dev/zero读出一连串的null也比较困难, 虽然这也能通过od或一个十六进制编辑器来做到。
- /dev/zero主要的用处是用来创建一个指定长度用于初始化的空文件,就像临时交换文件。
- 关于 /dev/zero 的另一个应用是为特定的目的而用零去填充一个指定大小的文件, 如挂载一个文件系统到环回设备 (loopback device)或"安全地" 删除一个文件。
参考链接1:Linux:split命令详解
参考链接2:linux命令总结dd命令详解
Linux学习笔记:split切分文件并按规律命名及添加拓展名的更多相关文章
- shell的split生成的文件按规律命名及添加扩展名
可以参考 用shell切分文件--split shell下的split命令主要用于分割一些大文件用的,比如经常要用到将一个几十万行的TXT分割为多少行一个的文件,非常有用,唯一坑爹的是,切割后的文件不 ...
- linux 学习笔记 显示压缩文件 gong.zip 的文件内容
#zip -v gong zip zip info: xxx >删除压缩文件中俄smart.txt 文件 #zip -d gong.zip smart.txt deleting:smart.tx ...
- Linux学习笔记之1——文件和目录管理(硬连接和软连接)(连结档,相当于快捷方式)
在这节将要学习linux的连接档,在之前用"ls -l" 查看文件属性的命令时, 其中第二个属性是连接数.那么这个连接数是干什么的?这就要理解inode. 先说一下文件是怎么存储的 ...
- Linux学习笔记 -- 目录与文件的管理
目录结构 Linux的目录结构为树状结构,最顶级的目录为根目录 “/”. 其他目录通过挂载可以将它们添加到树中,通过解除挂载可以移除它们. 在开始本教程前我们需要先知道什么是. 绝对路径与相对路径 绝 ...
- 【linux学习笔记四】文件搜索命令
一 文件搜索 locate //在后台数据库中按文件名搜索 搜索速度更快 locate 文件名 //locate命令所搜索的后台数据库 /var/lib/mlocate //更新数据库 updated ...
- linux 学习笔记五 查看文件篇章
1 diff -y test.txt test2.txt 输出源文件与目标文件的全部 分为左右两篮 如下 --------------------------------------------- ...
- 嵌入式Linux学习笔记之第二阶段---文件I/O
1.文件IO的四个函数 一些术语: 不带缓冲的I/O: 每个read和write都调用内核中的一个系统调用. 文件描述符: 一个非负整数,对内核而言,所以打开的文件都通过文件描述符引用. ①打开或创建 ...
- Linux学习笔记(13)-进程通信|命名管道
匿名管道只能在具有亲属关系的进程间通信,那么如果想要在不具有亲戚关系,想在陌生人之间通信,那又该怎么办呢? 别慌,Linux身为世界上*强大的操作系统,当然提供了这种机制,那便是命名管道-- 所谓命名 ...
- Linux学习笔记(7)CRT实现windows与linux的文件上传下载
Linux学习笔记(7)CRT实现windows与linux的文件上传下载 按下Alt + p 进入SFTP模式,或者右击选项卡进入 命令介绍 help 显示该FTP提供所有的命令 lcd 改变本地上 ...
随机推荐
- ubuntu server 18.04 单机安装openstack
https://ubuntu.com/openstack/install#workstation-deployment sudo snap install microstack --classic - ...
- 123457123457#1#-----com.threeapp.circlerunner01----儿童旋转跑酷游戏
com.threeapp.circlerunner01----儿童旋转跑酷游戏
- plupload上传大文件
大容量文件上传早已不是什么新鲜问题,在.net 2.0时代,HTML5也还没有问世,要实现这样的功能,要么是改web.config,要么是用flash,要么是用一些第三方控件,然而这些解决问题的方法要 ...
- 【微信小程序】wx.navigateBack() 携带参数返回
第一个页面: go_pick_time:function(e){ var that = this; var type = e.currentTarget.dataset.type; wx.naviga ...
- laravel console handle 传参方法
<?php namespace App\Console\Commands; use Illuminate\Console\Command; use App\Libs\wxpay\CLogFile ...
- Java测试当前应用所占用的内存示例
package test; import java.util.HashMap; import java.util.Map; public class TestMemory { public stati ...
- 【长期更新】Leetcode刷题心得与思考
1.递归与动态规划的思考 Leetcode第95题 递归问题最重要的问题是想明白函数的作用是什么? 这个例子中函数的返回值就是给定a-b这个区间的数字,返回它所有可能的Tree,此时你不需要明白具体怎 ...
- Redis内存数据库的基本语法
Redis: - nosql数据库,非关系型数据库 - 支持5大数据类型 (字符串String,列表list.字典hash,集合set,zset) - 与之相似的有memcache,但memcache ...
- python lanbda匿名函数(20)
在python开发中常规的函数在调用之前都需要先声明,而python还有一种匿名函数,有速写函数的功能并且匿名函数不需要声明也没有函数名字,完全不需要担心函数名冲突,具体的妙用还需要从实战练习中多多积 ...
- 6年DotNet码农的盲目经历
前言 第一篇没有选择记录与技术相关的文档,是考虑到有必要给查阅这篇文档的伙伴们“自我介绍”一下,大佬们看了求带或指导,我很愿意学习,初学者们看了千万不要重复走我之前的“学习之路”:我老家贵州,再过 ...