最近一篇NG中使用到的软件,用来去除冗余的contigs,现简单记录. CD-HIT早先是一个蛋白聚类的软件,其主要的特定就是快!(ps:不是所有快的都是好的) 其去除冗余序列的大概思路就是: 首先对所有序列长度进行排序,从最长的开始,形成一个序列类,然后依次对序列进行处理,如果下一条序列和代表的序列相似性在cutoff,则将其加入同一类,否则得到新的类. 所以快主要是两个方面的原因:一个是使用了word过滤方法,即如果两条序列之间的相似性在80%(假设序列长度为100),那么它们至少有60个相

写了个去重复文件的 PHP 脚本点击打开链接 把各个零散网盘.邮箱和服务器上的文件,三台电脑上的文件收集在新硬盘里,然后清空了网络和电脑上的文件.才发现这个文件不能这里放点,那里存点,到时候不知道在哪里,网络服务器上撒时候关了也不知道.还有把文件收集起来,发现文件海量,海量文件中重复文件更加不知所以. 自己动手写了个脚本,用对比 MD5 值的方法去掉重复文件,在不动原文件的情况下把非重复文件复制到另一个文件夹里.这样或许更适合自己 个人使用后觉得还是可行的,所以就公开了,代码属于菜鸟级别的,高手

一,数组去重复 function unique(arr) { // 遍历arr,把元素分别放入tmp数组(不存在才放) var tmp = new Array(); for (var i in arr) { //该元素在tmp内部不存在才允许追加 ) { tmp.push(arr[i]); } } return tmp; } 使用例子: var arr = []; var narr = []; ; i < data.length; i++) { Time.push(i); } arr.push(

参考:http://www.cnblogs.com/duanjie/archive/2011/08/13/2136862.html 说到去重复,感觉逻辑很简单.但动手写起来却并不是那么容易.面试的时候让写sql语句,然后没完整的写出来,然后面试官说你这没结果啊! 去重复首先要把要留下的选出来,然后删除其他重复项.distinct虽然好用,但规则不明显.这里采用:select max(id) from user group by 重复依据. 1.取出要留下的数据,本次依据重复项的最大id为保留项.

前言 接上一篇关系数据库SQL之基本数据查询:子查询.分组查询.模糊查询,主要是关系型数据库基本数据查询.包括子查询.分组查询.聚合函数查询.模糊查询,本文是介绍一下关系型数据库几种高级数据查询SQL语法,包括虚拟表.去重复查询.组合查询.连接查询. 去重复(DISTINCT) DISTINCT:用于返回唯一不同的值,主要是用于某一字段. 语法 SELECT DISTINCT <列名>|* FROM <表名> 示例 --查询所有班级名称 SELECT DISTINCT Class

一般一个表的id是唯一的,如果除去id则会有重复数据,有时做项目时查询要求根据某几个字段去掉重复记录,并且查询保留id 以下是Oracel查询时根据部分字段去重复,例如,查询的字段包括id,Sys,Com,想要将Sys,Com两个字段重复的记录去掉,这要怎么做呢? 步骤一: 先取出去除重复后的记录,使用语句select distinct Sys,Com from Par_List_tb 得到一个表 步骤二: 使用语句select id,Sys,Com from Par_List_tb获得包括id

为了去重复,写了一个通用的比较容器类,可以用在需要比较的地方,且支持Lamda表达式,代码如下: public class DataComparer<T>:IEqualityComparer<T> where T:class { private Func<T, T, bool> _compareFunc; public DataComparer(Func<T,T,bool> compareFunc) { this._compareFunc = compare

postgre去重复记录,主要用到row定位的一个系统表示 “ctid”,能查出纯净的不重复的记录,那要删掉重复值也就容易了,自己去折腾吧. 我所涉及的是得到不重复的记录,就一句话: select ctid, * from table007 where ctid in (select min(ctid) from table007 group by att001,att002,att003);

php数组去重复数据示例,有时候获得的php数组中总是出现value重复的,使用下面的方法就可以去掉重复数据 以数字开头的重复数据如: Array (  [0] => 100  [k1] => 100  [1] => 2123  [k2] => 2123  )   该方法可以将以数字为key的值去掉,先将数组按照key倒序排序,然后用array_unique的方法将重复的值去掉. 不能适用于下面的情况:不同的key值存在相同的value的情况 function array_uniq

提供者:porschev 题目:下列数据放在一个List中,当ID和Name都相同时,去掉重复数据 ID Name 1  张三 1  李三 1  小伟 1  李三  2  李四 2  李武 ------------------------------------------------------------------------------------------------------------ 解决这个问题,方法很多,最开始想到的就Enumerable.Distinct方法 我们可能经

------distinct 去重复查询 select * from  accounts acc join (select distinct accid from roles) r on r.accid=acc.ID -----不需要distinct select * from (select MAX(ID)roleid,accid from roles group by accid) rr join (select * from accounts) acc on acc.ID=rr.accid

本文转载:http://www.cnblogs.com/yjmyzz/archive/2012/12/18/2823170.html 今天写代码时,需要对一个数组对象中按一定规则合并.去重处理,不想再毫无新意手动写For循环遍历(天天写一样的代码很没劲),于是依旧linq,发现真心方便: using System; using System.Collections.Generic; using System.Linq; namespace LinqTest { class Program { s

//去掉重复行 DataTable table=new DataTable(); DataView dv = table.DefaultView; table = dv.ToTable(true, new string[] { "name", "code" }); 此时table 就只有name.code无重复的两行了,如果还需要id值则 table = dv.ToTable(true, new string[] { "id","nam

paip.输入法编程---带ord gudin去重复- 作者Attilax ,  EMAIL:1466519819@qq.com 来源:attilax的专栏 地址:http://blog.csdn.net/attilax --------查询重复(不同ORD) SELECT  hezi,  atian,  gudin,    count(id) AS num FROM  gaopinzi WHERE  LENGTH(atian) > 0 and   ( del is null    or del

虽然DataTable.Merge可以很好的实现,但以下代码写出来更好理解 DataTable DataTable1 = new DataTable(); DataTable DataTable2 = new DataTable(); DataTable newDataTable = DataTable1.Clone(); object[] obj = new object[newDataTable.Columns.Count]; ; i < DataTable1.Rows.Count; i++

两层遍历,如果后面的元素和前面的相同,就把后面的删除,达到去重复的目的. 比较的元素可以是list中含有的任意唯一性的元素. for(int x = 0;x < xglist.size()-1;x ++){            Long befid = xglist.get(x).getId();            for(int y = xglist.size() - 1;y > x;y --){                Long aftid = xglist.get(y).ge

List<ModelJD> data = myDalJD.GetAllDataList(); List<string> list= new List<string>(); list= datalist4.Select(p => p.name).ToList(); //只取name字段,重新生成新的List集合 this.cmbJdUserName.DataSource = list.Distinct().ToList(); //去重复,绑定数据后面要加ToList

参考http://bbs.chinaunix.net/thread-2309494-1-1.html 10.awk '! a[$0]++' 怎么理解? 这是一个非常经典的去重复项的awk语句,虽然短小,不过涉及到了不少知识点,下面一一解读: <1>:"!" 即非. <2>:a[$0],以$0为数据下标,建立数组a <3>:a[$0]++,即给数组a赋值,a[$0]+=1 <4>:那么组合起来,awk是怎么执行!a[$0]++的呢? '!a

数组去重复是js中常用的方法,归纳了四种如下: 1. for + indexOf  去重复 var arr = [3,5,5,4,1,1,2,3,7,2,5]; var target = []; for(var i=0,len=arr.length;i<len;i++){ if( target.indexOf(arr[i])==-1 ){ target.push(arr[i]); } }; console.log(target); 2. forEach + indexOf 去重复 var arr

用distinct关键字只能过滤查询字段中所有记录相同的(记录集相同),而如果要指定一个字段却没有效果,另外distinct关键字会排序,效率很低 . select distinct name from t1 能消除重复记录,但只能取一个字段,现在要同时取id,name这2个字段的值. select distinct id,name from t1 可以取多个字段,但只能消除这2个字段值全部相同的记录 所以用distinct达不到想要的效果,用group by   可以解决这个问题. 例如要显示

方法1: 利用遍历的思想来进行. <!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Document</title></head><body> <script> // 数组去重复 function dereplication(arr){ // 定义一个空数组 var a=[]