shell删除最后几行

Linux下如何高效删除一个几十G的文本文件的最后一行或几行

当我们在服务器端记录日志或文本数据时,有时候会有需要删除一个大文件的最后几行,这时如何才能高效实现. 上网浏览终于找到dd命令,亲测如下,删除一个32GB的日志文件最后100行仅需要4分钟 [root@game1_10 tmp]# dd of=sqq_jobs_run.log.bak seek=1 bs=$(($(stat -c%s sqq_jobs_run.log.bak)-$(tail -1 sqq_jobs_run.log.bak|wc -c))) sqq_jobs_run.log.bak

shell 删除文本中的重复行

三种常见方法:第一,用sort+uniq,注意,单纯uniq是不行的. shell> sort -k2n file | uniq > a.out 这里我做了个简单的测试,当file中的重复行不再一起的时候,uniq将服务删除所有的重复行.经过排序后,所有相同的行都在相邻,因此unqi可以正常删除重复行. 第二,用sort+awk命令,注意,单纯awk同样不行,原因同上. shell> sort -k2n file | awk ‘{if ($0!=line) print;line=$0}’

mac shell终端编辑命令行快捷键——行首行尾

mac shell终端编辑命令行快捷键——行首行尾 ctrl+a //移到行首ctrl+e //移到行尾===========linux系统用============alt+a //移到光标所在单词首部alt+e //移到光标所在单词尾部alt+d //删除光标处到单词尾部 =============================== ctrl+y // 插入最近删除的单词或语句ctrl+k //删除光标处到行尾部分ctrl+u //删除光标处到行首部分ctrl+w //删除光标处到当前单词开

Shell 打印空行的行号

目录 Shell 打印空行的行号题解 Shell 打印空行的行号写一个 bash脚本以输出一个文本文件 nowcoder.txt中空行的行号,可能连续,从1开始示例: 假设 nowcoder.txt 内容如下: a b c d e f 你的脚本应当输出: 3 5 7 9 10 题解打印空行的行号,那么如何识别是不是空行 /^$/ sed -n '/^$/=' nowcoder.txt -n 只显示处理的行号,/^$/匹配上的空行,= 打印行号 awk '$0==""{print

VBA高效删除不连续多行

最近在搞VBA,在感叹Excel功能强大的同时,对于新接触的一门编程语言也很烦恼.很多基础的语法都要靠网上搜索.现总结一些学习到的心得. VBA高效删除不连续多行在一个拥有几万条数据的Excel中,若要删除其中其些行数据,并且这些行是不连续的.那么用for循环遍历.判断后一条一条的删除的效率是很低的.那么有什么方法可以在1秒级别的时间里删除这些行呢? 大致思路是先将这些行连续起来,再批量删除. 可以借用一列数据进行辅助.for循环判断出将要删除的行,在辅助列的位置设置一个标志位,如“1”.再将

Shell脚本统计文件行数

Shell脚本统计文件行数转自 http://www.jb51.net/article/61943.htm 示例:row_count.sh文件 awk '{print NR}' row_count.sh | tail -n1 awk 'END{print NR}' row_count.sh grep -n "" row_count.sh|awk -F: '{print '} | tail -n1 sed -n '$=' row_count.sh wc -l row_count.

实现HBase增量入库（HBase删除自定义时间戳行数据）

目录 1. 背景描述 2. 问题描述 3. 解决方案 1. 背景描述目前在做音乐推荐项目,前期做排序模型优化,任务是使用模型对用户的历史音乐进行排序,有6800多万个用户,约40G的用户数据,使用HBase作为数据仓库. 利用HBase可以存储多个版本数据的特性,数据运算完后入库时,将用户id作为rowkey,songInfo:songid的值为歌曲id,使用自定义时间戳,将排序模型输出的歌曲得分(分值越高)作为时间戳.因为HBase数据存储默按照时间戳降序存储,这样只要取出用户的songIn

删除datatable的行后，出现“不能通过已删除的行访问该行的信息”的错误，即DeletedRowInaccessibleException

删除datatable的行后,出现“不能通过已删除的行访问该行的信息”的错误 =========================================================== 采用datatable.Rows[i].Delete()删除行后再访问该表时出现出现“不能通过已删除的行访问该行的信息”的错误.原因如下: Delete()之后需要datatable.AccepteChanges()方法确认完全删除,因为Delete()只是将相应列的状态标志为删除,还可以通过data

sed 删除最后几行和删除指定行 awk使用

sed 删除最后几行和删除指定行转载原文链接:http://blog.51cto.com/lspgyy/1305489 sed 想删除文件中的指定行,是可以用行号指定也可以用RE来匹配的. 删除指定的行[可以指定行号删除.匹配字符串来删除] [root@Jason64-17 ~]# cat -n seq.txt 1 ok i will help you 2 understand sed usage 3 how to use it 4 and we should use it in vie

shell删除最后一列、删除第一行、比较文件

删除文件第一行: sed -i '1d' filename 删除文件最后一列: awk '{print $NF}' filename 比较文件的方法: 1)comm -3 --nocheck-order file1 file2 2) grep -v -f file1 file2: 输出file2中有file1中没有的行 diff file1 file2

用 shell 脚本做命令行工具扩展

问题的提出公司开发机与远程服务器之间有严格的隔离策略,不能直接使用 ssh 登录,而必需通过跳板机.这样一来,本地与服务器之间的一些文件传输变得非常不便.经过咨询,运维教了我一招: $ nc -l 8080 > filename $ nc yunhai.xxxxxxxx.xxxxx.com 8080 < filename 使用 nc 建立连接来传输文件,第一行命令在服务器执行,第二行命令在本地执行,它的参数就是远程服务器的 host,运行完成后,将文件从本地拷贝到远程.这样确实可以工作,而且

Shell特殊变量：Shell $0, $#, $*, $@, $?, $$和命令行参数

特殊变量列表变量含义 $0 当前脚本的文件名 $n 传递给脚本或函数的参数.n 是一个数字,表示第几个参数.例如,第一个参数是$1,第二个参数是$2. $# 传递给脚本或函数的参数个数. $* 传递给脚本或函数的所有参数. $@ 传递给脚本或函数的所有参数.被双引号(" ")包含时,与 $* 稍有不同,下面将会讲到. $? 上个命令的退出状态,或函数的返回值. $$ 当前Shell进程ID.对于 Shell 脚本,就是这些脚本所在的进程ID. 命令行参数运行脚本时传递给脚本的参数

Linux之Shell脚本计算命令行的所有和

问题:设计一个Shell脚本:求命令行上所有整数和 Shell代码: 调用add.sh脚本结果:

Linux Shell 05 位置变量(命令行参数)

在Linux shell 脚本中可能会用到一些命令行参数,常见如下: $0:脚本名称 $#:执行脚本时传入的参数个数,不包括脚本名称 $@:所有参数 $*:所有参数 $1...$9:第1个参数......第9个参数 $?:不属于位置变量,只是形式上比较相似:表示命令执行的退出状态(正常退出为0) 1.示例 #!/bin/bash echo echo "There are $# parameters" echo '"$*":' for var in "$*&

shell 删除文件下的* (copy).jpg备份文件

shell编程中, 在for, while循环中为什么不用(), {} 不是没有; 而是因为(), {}做了其他用途: (): 执行命令组, 注意这个命令组是新开一个子shell中执行, 因此,括号中的变量不能被脚本余下的部分使用.格式随意; 还有其他使用如: $(ls)... array=(a b c d) {}: 执行命令组, 事实上是创建了一个匿名函数, 但是这个跟()有区别: 大括号不会新开一个子shell, 仍然是在当前shell中执行的命令组, 所以其中的变量可以为余下的脚本

Matlab Delete Row or Col 删除矩阵的行或列

Matlab中,我们有时候要删除矩阵中的某行某列,可以采用下列方法进行删除: a = [ ]; a(,:) = []; % Delete row a(:,) = []; % Delete col

jQuery如何动态添加具有删除按钮的行

代码实例如下: <!DOCTYPE html><html><head><meta charset=" utf-8"><meta name="author" content="http://www.softwhy.com/" /><title>jQuery动态添加和删除行-蚂蚁部落</title><script type="text/javascri

自定义uitableviewcell通过加上滑动手势进行删除对应的行。PS:用代理来实现

#import <UIKit/UIKit.h> @class ZSDCustomCell; //协议 @protocol ZSDCustomCellDelegate <NSObject> //判断选择某行以及某行中的按钮 -(void)deleteDidSelectCell:(ZSDCustomCell *)customCell andClickButton:(int)selectButtonIndex; @end @interface ZSDCustomCell : UITabl

【Shell脚本学习8】Shell特殊变量：Shell $0, $#, $*, $@, $?, $$和命令行参数

前面已经讲到,变量名只能包含数字.字母和下划线,因为某些包含其他字符的变量有特殊含义,这样的变量被称为特殊变量. 例如,$ 表示当前Shell进程的ID,即pid,看下面的代码: $echo $$ 运行结果 29949 特殊变量列表变量含义 $0 当前脚本的文件名 $n 传递给脚本或函数的参数.n 是一个数字,表示第几个参数.例如,第一个参数是$1,第二个参数是$2. $# 传递给脚本或函数的参数个数. $* 传递给脚本或函数的所有参数. $@ 传递给脚本或函数的所有参数.被双引号(" &q

【转】shell 教程——07 Shell特殊变量：Shell $0, $#, $*, $@, $?, $$和命令行参数

前面已经讲到,变量名只能包含数字.字母和下划线,因为某些包含其他字符的变量有特殊含义,这样的变量被称为特殊变量. 例如,$ 表示当前Shell进程的ID,即pid,看下面的代码: $echo $$ 运行结果 29949 特殊变量列表变量含义 $0 当前脚本的文件名 $n 传递给脚本或函数的参数.n 是一个数字,表示第几个参数.例如,第一个参数是$1,第二个参数是$2. $# 传递给脚本或函数的参数个数. $* 传递给脚本或函数的所有参数. $@ 传递给脚本或函数的所有参数.被双引号(" &q

linux下用shell删除三天前或者三天内的文件

说明:+n 大于 n, -n 小于 n, n 相等于 n. find / -amin -30 -ls # 查找在系统中最后30分钟访问的文件find / -atime -2 -ls # 查找在系统中最后48小时访问的文件find / -mmin -10 -ls # 查找在系统中最后10分钟里修改过的文件find / -mtime -1 -ls # 查找在系统中最后24小时里修改过的文件find / -cmin -10 -ls # 查找在系统中最后10分钟里被改变状态的文件find / -ctim

shell删除最后几行

热门专题