今天客户提了一个小需求,希望我能提供一条sql语句,帮助他对数据中 _field 这个字段的值去重,并且保留其他字段的数据.第一反应是select distinct,但这种语句在对某个字段去重时,无法保留其他字段,所以select distinct不成立.因为用户对去重没有要求,字段值重复时保留任意一行就行,所以我想到当字段值重复时,选出对应主键最大的那条数据作为保留数据,这样可以实现用户的去重需求.但是用户的表中又没有主键,没办法,我们只好先使用窗口函数创建主键了. 因为平时喜欢用hive o

单个字段: select distinct(a) from tableA; 多个字段,利用max()去重  SELECT  * FROM  GM_PPU_RESIDENT_NORBASE g  WHERE  g.ROWID = ( SELECT max( s.ROWID ) FROM GM_PPU_RESIDENT_NORBASE  s  WHERE g.CARD_NO = s.CARD_NO     )

  oracle 多字段去重查询 CreationTime--2018年6月29日15点11分 Author:Marydon 1.情景展示 需要对表BASE_MRI_DEVICE的COMPNAME.FIELDSTR.VERSION字段分别进行去重查询,如何使用一个sql搞定? 2.需求分析 注意:是分别对3个字段进行去重,而不是3个字段联合去重. 首先,必须进行三次查询,而将查询结果进行"行合并"需要用到union或union all: 其次,为了区分查询结果属于哪个字段,所以需要3列

应用服务长久运行,难免要导出一些统计报表. 现在有一个日志表,记录了各种日志,需要导出十月份的登录日志,要求时间按日期显示,且每天用户登陆要去重. 先看日志表的字段构成: logType等于2的是登陆日志,时间显示到时分秒,根据需要,这个SQL很简单,大体分两部步: 1.时间用LEFT(Str,length)函数,截取时间只保留年月日: 2.用GROUP BY对dt.userName分组: 按照这个思路,SQL如下: SELECT LEFT(s.dt,) 登陆时间, s.username 登陆用

sql 查询 distinc用法 distinct 和group by都需要排序,一样的结果集从执行计划的成本代价来看差距不大,但group by 还涉及到统计,所以应该需要准备工作.所以单纯从等价结果来说,选择distinct比较效率一些. 其实二者没有什么可比性,但是对于不包含聚集函数的GROUP BY操作来说,和DISTINCT操作是等价的.不过虽然二者的结果是一样的,但是二者的执行计划并不相同. 在Oracle9i中: SQL> SELECT * FROM V$VERSION; BANN

今天在做一个数据抽取程序时遇到一个问题困扰好久才解决,这不是技术问题,而是常识和细心的问题.写出来让大家引起重视一下. 由于之前的程序长期用Oracle,并且数据标志字段采用的日期类型.在Oracle中日期格式基本是 “年月日时分秒”,因此我的程序里面也就采用了字符串格式日期格式"yyyy_MM-dd HH:mm:ss" 但是这次换用了sqlserver,程序也照常按照这种方式抽取数据,结果发现每次数据都在重提,折腾好久,最后才发现sqlserver的日期字段里面是含有毫秒值.所以造成

今天工作时遇到一个功能问题:就是输入关键字搜索的字段不只一个字段,比如 我输入: 超天才 ,需要检索出 包含这个关键字的 name . company.job等多个字段.在网上查询了一会就找到了答案. 可目前遇到的问题是,这些关键字是可能存在于三个字段中的任意一个或者多个,但又要求三个字段必须包含所有的关键词.如果分别对每个字段进行模糊匹配,是没法实现所需的要求,由此想到两种方法: 在插入记录的同时,将需要进行多字段模糊查询的字段合并成一个字串并加入到一个新的字段中,然后对这个新字段进行模糊查询

我所做的商城项目前些时提了新需求,要求前台搜索商品除了能通过商品名称搜索到以外,还可以通过别个信息搜索,比如:商品编号.详情内容描述等等,类似于全文搜索了.我首先想到的就是lucene,但是对代码这样的改动量就太大了....目前线上版本如果做这种改动怕测试又出什么幺蛾子,如果又重新建表将这些信息另外存储起来又感觉好麻烦...于是就想想在sql语句上面做文章.在网上搜了搜还真有办法.那就是MySQL单标多字段模糊查询. MySQL单表多字段模糊查询的是指实现在单表中对多字段进行多个关键字的模糊查询

SELECT `id`,`weixin_id`,`user_name`,`sex`,`area_id`,`address_near`,`phone`,`create_time`,`import_user_name`,`call_phone_num`,`browse_num`,`disable_status`,`remark` FROM `f_share_info` WHERE ( concat(phone, IFNULL(share_detail, ''),IFNULL(search_save_

ElasticSearch关键字查询,将关键字分词后查询,多个字段,查询出来字段高亮显示. 查询方法如下: public List<NewsInfo> searcher2(String key, String indexId, String type) { List<NewsInfo> newsInfos= new ArrayList<NewsInfo>(); try { // 创建查询索引,参数productindex表示要查询的索引库为productindex Se

django第10天 聚合查询 聚合函数的使用场景 单独使用:不分组,只查聚合结果 分组使用:按字段分组,可查分组字段与聚合结果 导入聚合函数 from django.db.models import Avg,Max,Min,Count,Sum 单独聚合查询:aggregate 语法: aggregate(别名 = 聚合函数('字段')) 规则: 1.QuerySet对象的方法 2.可以同时对多个字段进行聚合处理aggregate( 别名1=聚合函数1('字段1'),...,别名n=聚合函数n(

  Oracle 去重查询 CreateTime--2018年2月28日15:38:45 Author:Marydon (一)使用distinct --查询指定区间内表停诊字段的值 SELECT DISTINCT T.CLOSE_TZ FROM CONSULT_SCHEDULE T WHERE T.SCHEDULE_DATE BETWEEN TO_DATE('2018-01-01', 'yyyy-MM-dd') AND TO_DATE('2018-02-28', 'yyyy-MM-dd'); 说

数据库表设计时一对一关系存在的必要性 2017年07月24日 10:01:07 阅读数:694 在表设计过程中,我无意中觉得一对一关系觉得好没道理,直接放到一张表中不就可以了吗?真是说,网上信息什么都有,也可以说与我一样困惑的有好多人.感谢大神在网上的活跃,我知道了一对一关系存在的必要性. 1.首先就是这种关系出现的场景是什么样子,最好可以举个实际中的需求. 这样的场景有很多,比如:就拿最普通的用户信息来说,数据库中有一个表为user,一个表为user_auth.user表主要存放的字段为用户基

1.查找表中多余的重复记录(多个字段) select * from vitae a where (a.peopleId,a.seq) in  (select peopleId,seq from vitae group by peopleId,seq having count(*)>1)   2.删除表中多余的重复记录(多个字段),只留有rowid最小的记录 delete from vitae a where  (a.peopleId,a.seq) in (select peopleId,seq 

背景: 由于本人使用的是6.0以上的版本es,在使用发现很多中文博客对于mapping参数的说明已过时.ES6.0以后有很多参数变化. 现我根据官网总结mapping最新的参数,希望能对大家有用处. es6.0与之前版本区别: -新增字段: eager_global_ordinals -删除的字段: include_in_all ※特别提示: 1,建议大家创建索引的时候指定mapping(用到特定分词器,规划字段是否被索引来节省空间等) 2,mapping创建并插入数据后就无法进行更改了!所以要

使用NPOI 操作Excel 个人使用的电脑基本默认安装Excel 操作起来 调用Excel的组件便可.如果是一台服务器.没有安装Excel,也就无法调用Excel组件. 在此推荐第三方插件.NPOI 支持XLS(2007)和XLSX(2012)读写. using NPOI.HSSF.UserModel; using NPOI.SS.UserModel; using NPOI.XSSF.UserModel; using System; using System.Collections.Gener

from django.test import TestCase # Create your tests here. import os import sys if __name__ == "__main__": os.environ.setdefault("DJANGO_SETTINGS_MODULE", "day53.settings") import django django.setup() from app01 import model

使用 row_number() over (partition by 要去重的字段 order by 排序字段) 数据库表结构 学生成绩表 UserGrade Id        int              Checked     主键IdName   varchar(50) Checked     学生名Course varchar(50) Checked     课程名Score   int             Checked      分数 有如下数据, 1001 李四 英语 1

目录 ORM常用字段及参数 创建表 ORM常用字段 ORM字段参数 ORM表关系创建 ForeignKey OneToOneField ManyToManyField 多对多三种创建方式 单表查询 queryset和objects对象 必知必会的16条 双下划线查询 模糊查询 多表查询 外键字段增删改查 跨表查询 基于双下划线跨表查询(链表查询) 聚合查询(分组查询) F与Q 特殊参数choices 数据库查询优化 Django中如何开启事务 ORM常用字段及参数 我们在使用Django框架开发

原文地址:http://www.ablanxue.com/prone_3552_1.html 1. 查询整个映射对象所有字段 Java代码 //直接from查询出来的是一个映射对象,即:查询整个映射对象所有字段 String hql = "from Users"; Query query = session.createQuery(hql); List<Users> users = query.list(); for(Users user : users){ System.