一条命令搞定:   awk '!a[$0]++' file 如果是第一次出现a[$0]++的值为0(假),而!a[$0]++的值就为1(真),之后就执行print $0 第二次或者两次以上的出现a[$0]++的值就为大于0的整数值(真),例如1,2,3...,而!a[$0]++的值就为0(假),之后就不执行print $0操作 awk '!($0 in a){a[$0];print $0}' pattern为!($0 in a),Action为{a[$0];print $0} 分析: 1.执行第…

本篇主要写一些shell脚本排序工具的使用. sort 概述 sort是一个以行为单位对文件内容进行排序的工具,也可以根据不同的数据类型来排序. 用法 sort [选项] 参数 -f:忽略大小写 -b:忽略每行前面的空格 -M:按照月份进行排序 -n:按照数字进行排序 -r:反向排序 -u:等同于uniq,表示相同的数据仅显示一行 -t:指定分隔符,默认使用Tab键分隔 -o <输出文件>:将排序后的结果转存至指定文件 -k:指定排序区域 示例 将/etc/passwd文件中的账号进行排序 […

#include <algorithm> //vector排序去重 sort( BoxNum.begin(), BoxNum.end()); BoxNum.erase(unique(BoxNum.begin(), BoxNum.end()), BoxNum.end()); //逆向排序:按照从大到小的顺序进行排序 sort(DeleteAll.rbegin(), DeleteAll.rend());…

试想一下,如果有10G数据,或者更多:怎么才能够快速地去重呢?你会说将数据导入到数据库(mysql等)进行去重,或者用java写个程序进行去重,或者用Hadoop进行处理.如果是大量的数据要写入数据库也不是一件容易的事情,首先你需要开发一个程序将数据写入数据库,然后再用数据库的select distinct或者group by进行去重.如果是一次性的工作,这种方式显得就比较笨拙了.那么有没有更好的办法呢?下面记录一下我是怎么从10G数据里面迅速去重的.这里采用shell脚本的方式进行处理.如果您…

1,合并+去重+分割 转载:shell 文件合并,去重,分割 - kakaisgood - 博客园 (cnblogs.com) 第一:两个文件的交集,并集前提条件:每个文件中不得有重复行1. 取出两个文件的并集(重复的行只保留一份)2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)3. 删除交集,留下其他的行1. cat file1 file2 | sort | uniq > file32. cat file1 file2 | sort | uniq -d > file33. cat…

1.问题 问题提出: M(如10亿)个int整数,只有其中N个数重复出现过,读取到内存中并将重复的整数删除. 2.解决方案 问题分析: 我们肯定会先想到在计算机内存中开辟M个int整型数据数组,来one bye one读取M个int类型数组, 然后在一一比对数值,最后将重复数据的去掉.当然这在处理小规模数据是可行的. 我们考虑大数据的情况:例如在java语言下,对10亿个int类型数据排重. java中一个int类型在内存中占4byte.那么10亿个int类型数据共需要开辟10^9次方*4byt…

一.动图演示 二.思路分析 希尔排序是把记录按下标的一定增量分组,对每组使用直接插入排序算法排序:随着增量逐渐减少,每组包含的关键词越来越多,当增量减至1时,整个文件恰被分成一组,算法便终止. 简单插入排序很循规蹈矩,不管数组分布是怎么样的,依然一步一步的对元素进行比较,移动,插入,比如[5,4,3,2,1,0]这种倒序序列,数组末端的0要回到首位置很是费劲,比较和移动元素均需n-1次. 而希尔排序在数组中采用跳跃式分组的策略,通过某个增量将数组元素划分为若干组,然后分组进行插入排序,随后逐步缩…

先写一个命令: cut -d' ' -f1 ~/.bash_history|sort -d | uniq -c|sort -nr|head 这个命令可以统计你历史上输入的命令的次数的前十条 整个命令基于管道 1.cut cut -d' ' -f1 ~/.bash_history 从~/.bash_history这个文件中剪出第一列(参数-f1,多行则为-f1,3等等) -d' ' 表示分隔符.此时分隔符为空格.如果分隔符为冒号,则为“-d:” 2.sort sort -d按字典序排序剪出来的第一…

/*去重*/ var arr=[1,4,4,7,3,9,0,3,2,1,"你好","你","你好","你 "]; var arr2=[]; for(var i=0;i<arr.length;i++){ if(arr2.indexOf(arr[i])==-1){ arr2.push(arr[i]); } } console.log(arr2); /*排序*/ var arr=[1,4,2,8,3,0,5]; var tem…

有 n 个 1 到 1000 之间的整数 (1≤n≤100),对于其中重复的数字,只保留一个,把其余相同的数去掉.然后再按照指定的排序方式把这些数排序. Input 第 1 行为字母 A 或 D,A 表示按照升序排序,D 表示按照降序排序. 第 2 行开始有若干个用一个空格或换行符分隔的正整数. Output 相互之间用一个空格分隔的经去重和排序后的正整数.最后一个数后没有空格. Examples Input A 20 40 32 67 40 20 89 300 400 15 Output 15…