记录一次惊心动魄的sql去重

)) )) url 为判重依据,保留最大id其他的数据状态改为删除状态. concat()函数,为字符串拼接函数从外到内分析sql 第一层四个条件界定,第一个是source渠道,第二个是未删除状态,第三个是依据url判重,第四个是除去id号最大的数据第三个依据url判重:按照url划分组group by url 判断如果count>1则表示此url重复,抽取url 第四个除去max id 依据按照url判重,然后获取到所有重复url的最大id号,然后not in这些最大id集合. 最后一步,…

使用传入的总记录数实现一条sql语句完成分页查询

使用传入的总记录数实现一条sql语句完成分页查询问题:在传统的分页查询的实现中不可避免的需要两条sql语句,一条用于查询数据一条用于查询总记录数.如下面的实际代码所示: Img1 当然如果使用存储过程的话是可以渐少一次数据库来回的,但是它依然是两条sql语句,一条查数据一条查总记录数.但我们在架构层面拒绝使用存储过程,因为它将逻辑分散在了应用程序和数据库中,不好维护,并且在SqlServer2008中也没有足够的证据证明存储过程更高效. 很多人的直觉认为查询总记录数的那行没有必要,但是…

[lua, mysql] 将多条记录数据组合成一条sql插入语句(for mysql)

-- 演示将多条记录数据组合成一条sql插入语句(for mysql) function getTpl0(tname) -- 获取表各个字段 local t = { tpl_pack = {"packId","itemId","`group`","num","rate","rateType"}, } for k, v in pairs(t) do if tname == k then r…

Sql去重一些技巧

下午的时候遇到点问题,Sql去重,简单的去重可以用 DISTINCT 关键字去重,不过,很多情况下用这个解决不了问题.重复的数据千变万化,例如:类似于qq.微信的最近联系人功能,读取这些数据肯定要和消息表关联,那样关联的数据会出现很多重复的,只是消息和时间不一样.最终的决定条件是最后一次发消息的时间.那么问题来了,如何做呢 SELECT colName FROM ( SELECT MAX(cloName1),cloName2..... FROM tableName(关联表) GROUP BY c…

Sql去重语句

海量数据(百万以上),其中有些全部字段都相同,有些部分字段相同,怎样高效去除重复? 如果要删除手机(mobilePhone),电话(officePhone),邮件(email)同时都相同的数据,以前一直使用这条语句进行去重: 1 delete from 表 where id not in 2 (select max(id) from 表 group by mobilePhone,officePhone,email ) 3 or 4 delete from 表 where id not in 5…

sql去重；同一条数据出现多条取一条的sql语句

理论上相同数据个别字段值不同重复问题: 1.某字段重复,其他字段值不同时,按重复字段分组只取一条的sql语句(eg:相同的数据某个字段值有差别导致存储两条或多条无意义重复数据的情况)select s.* from ( select a.*, row_number() over (partition by [重复字段] order by [不同字段]) as group_idx from table_name a ) s where s.group_idx= 1 2.某字段重复,其他字段不同,…

mysql记录所有执行过的SQL

前不久,遇见一些问题,要监控一下SQL的执行,看看是不是有哪些SQL是要去掉的之类的于是我上网找啊找啊,给出来的结果都是一种,修改my.cnf文件我按着网上的说法去做,结果我直接崩溃了, 也不知道是不是我的环境是自己编译安装的还是其他什么的,反正按照改了以后就是死活运行不起来没办法,只好自己看看怎么弄了这时想起了刚刚接触mysql时的一个SQL show variables like "%name%"; set names utf8; 瞬间明了,找到了一个在没有重启mysql就…

SQL去重之distinct和group by的应用

遇到一个需求,要去重查出某张表的字段一和字段二,但是查出来的结果要按照表中记录的创建时间排序. 于是,第一时间就想到了使用distinct这个去重专用语法了: select distinct col1, col2 from table1 order by create_date; 嗯,自我感觉良好,一运行,抛出了异常,因为select选出的结果中根本没有create_date这个字段,还用这个字段排序,那不就报错了吗,于是改为: select distinct col1, col2, creat…

SQL 去重显示第一条数据显示一条数据

需求描述:根据某一个字段或几个字段去重来显示任一条数据,第一条或最后一条. 数据样式如下图: 尝试解决: --count(*)方法(只把条数为1条的显示出来了,超过1条全部过滤了) select * from t4 where 自编条码 in () 以上方法,会把仅1条记录的显示,但是重复的并没有保留其中一条,也过滤掉了. 所以,我们需要变化一下,提供三种解决方法: 一.通过row_number按重复字段进行分组排序,然后显示第1条,采用AB表方式: --方法1 row_numer(),等值查询…

MySQL开启日志记录查询/执行过的SQL语句

作为后端开发者,遇到数据库问题的时候应该通过分析SQL语句来跟进问题所在,该方法可以记录所有的查询/执行的SQL语句到日志文件. 方法有几种,但是个人觉得以下这种最简单,但是重启MySQL服务后需要重新配置. 查询日志功能是否开启 SHOW VARIABLES LIKE 'general%'; general_log:日志功能是否开启,默认关闭OFF general_log_file:日志文件保存位置开启日志 set GLOBAL general_log='ON'; 查询是否开启 SHOW V…

如何记录MySQL执行过的SQL语句

很多时候,我们需要知道 MySQL 执行过哪些 SQL 语句,比如 MySQL 被注入后,需要知道造成什么伤害等等.只要有 SQL 语句的记录,就能知道情况并作出对策.服务器是可以开启 MySQL 的 SQL 语句记录功能,从而就能间接地检测到客户端程序的行为. 开启方法很简单:编辑/etc/my.cnf文件,在[mysqld]节下面添加:log=/var/lib/mysql/sql_row.log行(日志的路径自己根据需要定义). [mysqld] datadir=/var/lib/mysql…

简单记录几个有用的sql查询

转载自:http://blog.itpub.net/16436858/viewspace-676265/ 下面示例中,查询的数据表参考这一篇的Person表. 一.限制返回的行数 1.Sql Server 1 SELECT TOP 10 Id,FirstName, LastName 2 FROM Person 2.Oracle 1 SELECT Id,FirstName, LastName 2 FROM Person 3 WHERE ROWNUM<=10 3.DB2 1 SELECT I…

ibatis查询列表跟总记录，都引用相同SQL

在查询记录集合跟查询记录总记录数的时候,我们需要所写的SQL要一样,那么可以都引用同一个SQL.写法如下: <sqlMap namespace="Server"> <sql id="sql_select_BeneficiaryUmInfo"> select id_beneficiary, id_um, remark from sibrms_beneficiary_um <dynamic prepend="where"…

用Log4Net记录NHibernate中执行的SQL语句及执行时间

首页,在web.config中加入以下配置: <configuration> <configSections> <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net" /> </configSections>  <log4net debug=&q…

个人工作记录---工作中遇到的sql查询语句解析

在工作中写了人生的第一个查询语句,虽然是在原有基础上改的,但仍然学到了不少知识代码: select distinct m.id, (select z.jianc from model_zuzjg z where z.id=m.huoz_id) as huoz, (select mingc from model_pinz where id=m.meiz_id) as meiz, ifnull((select kc.shul from yw_kuczt kc where kc.meiduo_id=…

Sql去重

distinct:用于返回唯一不同的值. 注意:1.语句中select显示的字段只能是distinct指定的字段,其他字段是不可能出现的. 2.distinct必须放在开头如select distinct name from table group by:"根据(by)一定的规则进行分组(Group)" 它的作用是通过一定的规则将一个数据集划分成若干个小的区域,然后针对若干个小区域进行数据处理.注意:1.按指定的列分组,这必须在查询结果中包含一个聚集函数如(AVG .MAX .MI…

sql 去重关键字 distinct

单列去重: mysql: drop table test;create table test(id int(4));insert into test values(1),(2),(3),(4),(1),(2);select count(distinct id) from test;oracle:drop table test;create table test(id number(4));insert allinto test values(1)into test values(2)into t…

mysql 查询语句去重通过sql去重

url 在表中具有唯一性: 由于定时任务的多进程/代码的多线程/定时任务的调度/脚本的执行时间,导致,破坏了唯一性: SELECT COUNT(1) FROM test_error_tmpUNION ALL SELECT COUNT(DISTINCT url) FROM test_error_tmp; COUNT(1)4097240910 差62 SELECT * FROM (SELECT COUNT(1) AS c,url FROM test_error_tmp GROUP BY url) A…

记录：Ubuntu下安装SQL Developer

安装JDK. 用的Ubuntu18.04,已经自带JDK了. 下载SQL Developer. 官网链接:http://www.oracle.com/technetwork/developer-tools/sql-developer/downloads/index.html.下载最后一个Other Platforms,如图: 解压到指定目录 unzip sqldeveloper-18.1.0.095.1630-no-jre.zip -d /opt/app/ 修改sqldeveloper的JDK路…

SQL 去重 DISTINCT 语法

SQL SELECT DISTINCT语句在表中可能会包含重复值.这并不成问题, 不过有时你也许希望仅仅列出不同(distinct)的值. 关键词DISTINCT 用于返回唯一不同的值语法 SELECT DISTINCT 列名称 FROM 表名称使用DISTINCT关键词如果要从Company列中选取所有的值,我们需要使用SELECT语句: SELECT Company FROM Orders “Orders”表 Company OrderNumber IBM 3532 W3School…

Linux记录-shell自动化批量部署sql脚本并记录日志信息（转载）

#!/bin/bash #script_version=v110 db_host=127.0.0.1 db_port=3306 db_username=db_test_inst db_passwd=`XXXXXXXXXXX` db_name=test MYDATE=`date +%Y%m%d%H%M%S` ROOT_PATH=`XXXX/${script_version}` MYSQL_PATH=${ROOT_PATH}/sql LOG_DIR=${LOG_DIR}/log LOG_FILE=$…

SQL -去重Group by 和Distinct的效率

经实际测试,同等条件下,5千万条数据,Distinct比Group by效率高,但是,这是有条件的,这五千万条数据中不重复的仅仅有三十多万条,这意味着,五千万条中基本都是重复数据. 为了验证,重复数据是否对其有影响,本人针对80万条数据进行测试: 下面是对CustomerId去重,CustomerId的重复项及其多,80万条中仅仅50条不重复的.可以看到,Distinct更快. 下面是对Id去重,Id基本唯一,80万条中没有重复的.可以看到,Group By更快. 综上所述,其他条件一定时,数据…

随机记录工作中常见的sql用法错误（一）

没事开始写博客,留下以前工作中常用的笔记,内容不全或者需要补充的可以留言,我只写我常用的. 网上很多类似动软生成器的小工具,这类工具虽然在表关系复杂的时候没什么软用,但是在一些简单的表结构关系还是很方便的.想起以前开始工作的时候经常犯的错误. 现在就写个简单的错误,大神可能一眼就看出来了,不过新手需要了解一下的. Create table UC_counter { id INT IDENTITY(1, 1) PRIMARY KEY, memberid int } Create table UC_…

sql 去重

;WITH CETAS (SELECT *, ROW_NUMBER() OVER (PARTITION BY SearchTask_PKID ORDER BY SearchTask_PKID) RowNo FROM [SiteAnalysis].[dbo].[UrlQueue] ) DELETE CET WHERE RowNo > 1…

remove duplicates in Postgres(sql去重)

A frequent question in IRC is how to delete rows that are duplicates over a set of columns, keeping only the one with the lowest ID. This query does that for all rows of tablename having the same column1, column2, and column3. DELETE FROM tablename W…

记录mysql正在执行的SQL语句

show variables like "general_log%"; SET GLOBAL general_log = 'ON';SET GLOBAL general_log = 'OFF'; tail -f /var/lib/mysql/changchun.log | grep t_base_app echo '' > /var/lib/mysql/changchun.log…

记录几个基础的SQL开发题

1. 表A有5行数据,表B有7行数据,问Inner Join最多返回几行数据,Left Join最多返回几行数据,分别在什么情况下? Inner Join 是返回关联表的Cartesian product,然后根据On条件剔除掉不符合的行.这样的话,返回最多行的情况就是保留整个Cartesian product,On对每一行都为True. 即最多返回5*7=35行. Outer Join 是返回关联表的Cartesian product,然后根据On条件剔除掉不符合的行,再将添加外部行. 外部行…