删除MySQL重复数据 项目背景 在最近做的一个linux性能采集项目中,发现线程的程序入库很慢,再仔细定位,发现数据库里面很多冗余数据.因为在采集中,对于同一台设备,同一个时间点应该只有一个数据,然而,数据库中存入了多个数据.对于如何造成了这个结果,一时没有想清楚,但为了解决入库慢的问题,首先要删除冗余数据. 问题描述 数据库的表结构很简单,如下: +----------------+--------------+------+-----+---------+-------+ | Field…

假设有表test mysql> select * from test; +----+------+------+ | id | name | sex | +----+------+------+ | | a | f | | | b | f | | | a | e | | | b | e | | | c | e | | | d | e | +----+------+------+ rows in set (0.00 sec) 现在要找出name列有重复的数据 mysql> ; +------+…

insert into table (id, name, age) values(1, "A", 19) on duplicate key update name=values(name), age=values(age) /* 插入数据:如果有重复的则选择更新; */ insert ignore into `testtable` (`mpass`,`pass`) select mpass,pass from rr_pass_0 limit 0,1000000 replace into…

前两天产品有个需求,相同的商品因为价格不同而分开展示,但是明细还是算一条明细,具体区分展示出商品的价格和数量信息,其他重复的商品信息要置空. 需求并不难,用程序代码循环处理就可以了.但是后面涉及到打印报表,只能用纯sql语句生成.开始自己用了union 写的复杂了一些,后来百度了下文章看到一种实现思路,在此记录一下.下面的内容是根据其思路分析自己修改实现的一个demo,也简单扩展了一点实现功能. 直接上代码好了: -- ---------------------------- -- Table…

对于一个表,有时可能里面有很多重复的条,比如: +-----------+---------+| coupon_id | user_id |+-----------+---------+| 8 | 15 || 5 | 15 || 8 | 15 || 6 | 15 || 5 | 15 || 8 | 15 || 6 | 15 || 10 | 15 || 10 | 15 || 10 | 15 || 11 | 15 || 12 | 15 || 13 | 15 |+-----------+--------…

delete from porn where Id not in (select minid from (select min(id) as minid from porn group by viewkey) b);…

delete from information where id in (select id from (select max(id) as id,count(*) as ccc from information GROUP BY encoding HAVING ccc>1 ) as tab)…

有些 MySQL 数据表中可能存在重复的记录,有些情况我们允许重复数据的存在,但有时候我们也需要删除这些重复的数据. 本博文我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据. 防止表中出现重复数据 你可以在MySQL数据表中设置指定的字段为 PRIMARY KEY(主键) 或者 UNIQUE(唯一) 索引来保证数据的唯一性. 让我们尝试一个实例:下表中无索引及主键,所以该表允许出现多条重复记录. CREATE TABLE person_tbl ( first_name ),…

 delete from co_jobinformation cwhere c.name in (select cc.name from co_jobinformation cc group by  cc.name   having count(cc.name) > 1)and rowid not in (select min(rowid) from co_jobinformation e group by e.name having count(e.name )>1)  之前在oracle数…

删除重复行 DELETE FROM ecm_member_login_session WHERE (number , client_code) IN ( ) AND update_time NOT IN ( ); 但是报1093错误 :: ) ) Error Code: . You can't specify target table 'ecm_member_login_session' for update in FROM clause 0.046 sec 后来在 嵌套查询语句里面再嵌套一层即…