1.使用distinct去重(适合查询整张表的总数)有多个学校+教师投稿,需要统计出作者的总数select count(author) as total from files每个作者都投稿很多,这里有重复的记录. select distinct author from files;有可能两个学校的教师姓名相同,结果只统计一个,出错.select distinct author,sid from files统计(作者+学校id)的组合唯一值,结果出现正确的结果,但如何知道一共有多少人呢?selec

从ACM会议分析我国计算机科学近十年发展情况 来源:<中国计算机学会通讯>2015年第10期<专栏> 作者:陈 钢 2006年,承蒙李国杰院士推荐,<中国计算机学会通讯>发表了我的一篇文章“从ACM会议论文数量看差距”.该文就中国大陆学者在ACM会议上论文发表情况,将中国计算机科学同国际水平进行了比较和分析.得出的结论是,从论文发表角度看,当时中国的计算机科学同国外的差距非常大,尤其是在顶级会议上,中国的论文凤毛麟角,在不少重要会议上甚至是0.近十年来,中国计算机学术界

统计信息概念 MySQL统计信息是指数据库通过采样.统计出来的表.索引的相关信息,例如,表的记录数.聚集索引page个数.字段的Cardinality.....MySQL在生成执行计划时,需要根据索引的统计信息进行估算,计算出最低代价(或者说是最小开销)的执行计划.MySQL支持有限的索引统计信息,因存储引擎不同而统计信息收集的方式也不同. MySQL官方关于统计信息的概念介绍几乎等同于无,不过对于已经接触过其它类型数据库的同学而言,理解这个概念应该不在话下.相对于其它数据库而言,MySQL统计

做个笔记 SQLyog客户端访问MySQL服务器 统计数据:次数总数, 次数成功率,对象(obj)总数,对象(obj)成功率 要求:按时间排序和分组 sql语句如下: SELECT a.date AS `日期`, a.total AS `总次数`, a.objs AS `总对象数`, , ) AS `失败次数比率`, , ) AS `对象失败率` FROM (SELECT ) AS `total`, COUNT(DISTINCT(`obj_id`)) AS `objs`, , NULL)) AS

最近在做sql优化,看到一篇有关sql索引不错的文章,转载一下. 一.索引类型 普通索引:INDEX 允许出现相同的索引内容 (normal) 唯一索引:UNIQUE 不可以出现相同的值,可以有NULL值 主键索引:PROMARY KEY 不允许出现相同的值(唯一性,且只能有一个) 组合索引:实质上是将多个字段建到一个索引里,列值的组合必须唯一 全文索引:FULLTEXT INDEX 可以针对值中的某个单词,但效率低(不建议,可利用添加关键词关联列来实现) //建表时建立CREATE TABLE

临近比赛,自己定时做了近三年的初赛题,不是很理想,10道题平均做对5+道.为了这次比赛,总共做了200题左右吧,估计去北京参加决赛有点难,不过不管怎样,对得起自己万余行代码就好. 一.15年初赛题(第六届) 1.奖券数目 有些人很迷信数字,比如带“4”的数字,认为和“死”谐音,就觉得不吉利. 虽然这些说法纯属无稽之谈,但有时还要迎合大众的需求.某抽奖活动的奖券号码是5位数(10000-99999),要求其中不要出现带“4”的号码,主办单位请你计算一下,如果任何两张奖券不重号,最多可发出奖券多少张

Atitit mysql数据库统计信息 SELECT table_name, table_rows, index_length, data_length, auto_increment, create_time, update_time, table_collation, ENGINE FROM INFORMATION_SCHEMA. TABLES WHERE table_schema = 'yunprint' 作者:: 绰号:老哇的爪子claw of Eagle 偶像破坏者Iconoclast

MySql 简单统计查询消耗时间脚本 by:授客 QQ:1033553122 drop procedure if exists selectTime; delimiter; create procedure selectTime() begin #变量定义 declare startTime datetime; declare endTime datetime; declare usedTime float; #时间赋值与查询 select now() into startTime; selec

mysql> select end) as '<60', end) as '60~69', end) as '70~79', end) as '80~89', end) as '>=90' -> from student_course -> ; +------+-------+-------+-------+------+ | +------+-------+-------+-------+------+ | +------+-------+-------+-------+-

导致“mysql has gone away”的两种情况 By Cruise 1.  wait_timeout参数 在开发代理server时, 我使用了jdbc连接数据库,并采用长连接的方式连接数据库.开发完后的测试ok,但到了第二天测试时发现数据库操作失败,并抛出“mysql has gone away”的异常,主要原因是在mysql中有一个wait_timeout参数,默认设置为8个小时,当超过8个小时没有数据交互时,mysql服务器会主动关闭掉超时的连接,对应的mysql 错误码是2006

统计存储过程,这里是将统计的结果插入一个表中,后台可以有定时任务来调此存储过程.以下业务是统计仓库中商品流转情况,包括:日期.商品总数.入库数量.出库数量. BEGIN DECLARE ES_COR_CODE VARCHAR(); -- 需要定义接收游标数据的变量 DECLARE table_ VARCHAR(); -- 遍历数据结束标志 DECLARE done INT DEFAULT FALSE; -- 游标 DECLARE cur CURSOR FOR SELECT TABLE_NAME

前提 近段时间,业务系统架构基本完备,数据层面的建设比较薄弱,因为笔者目前工作重心在于搭建一个小型的数据平台.优先级比较高的一个任务就是需要近实时同步业务系统的数据(包括保存.更新或者软删除)到一个另一个数据源,持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计.标签系统构建等扩展功能的数据模型.基于当前团队的资源和能力,优先调研了Alibaba开源中间件Canal的使用. 这篇文章简单介绍一下如何快速地搭建一套Canal相关的组件. 关于Canal 简介 下面的简介和下一节的原理

MySQL统计信息相关的参数: 1. innodb_stats_on_metadata(是否自动更新统计信息),MySQL 5.7中默认为关闭状态 仅在统计信息配置为非持久化的时候生效. 也就是说在innodb_stats_persistent 配置为OFF的时候,非持久化存储统计信息的手,innodb_stats_on_metadata的设置才生效. 当innodb_stats_on_metadata设置为ON的时候, InnoDB在执show table status 或者访问INFORMA

在 mysql 5.5 中实现了类似mysql5.7中performance schema 的内存统计功能. 功能 1 展示mysql层内存总大小. 2 展示mysql层内存使用分布情况. 3 展示每个线程使用的内存总大小. 4 展示每个线程使用的内存分布情况. 演示 1 增加状态变量Memory_used 显示mysql层总体使用的内存大小. mysql> show global status like 'Memory_used'; +---------------+----------+ |

MySQL中给一张千万甚至更大量级的表添加字段一直是比较头疼的问题,遇到此情况通常该如果处理?本文通过常见的三种场景进行案例说明. 1. 环境准备 数据库版本: 5.7.25-28(Percona 分支) 服务器配置:  3台centos 7虚拟机,配置均为2CPU  2G内存 数据库架构: 1主2从的MHA架构(为了方便主从切换场景的演示,如开启GTID,则两节点即可),关于MHA搭建可参考此文 MySQL高可用之MHA集群部署 准备测试表:  创建一张2kw记录的表,快速创建的方法可以参考快

  在MySQL中如何计算.统计重做日志(redo log)的生成情况呢? 例如10分钟内,生成了多少M的redo log呢?30分钟内又生成了多少M的redo log......MySQL没有像Oracle中那样的系统视图统计这些数据,但是我们可以通过一些方法曲线的统计二进制日志的生成量. 虽然我在这篇博客"MySQL中Redo Log相关的重要参数总结"中介绍了,MySQL 8.0引入了innodb_dedicated_server自适应参数,可基于服务器的内存来动态设置innod

在日常开发工作中,我经常会遇到需要统计总数的场景,比如:统计订单总数.统计用户总数等.一般我们会使用MySQL 的count函数进行统计,但是随着数据量逐渐增大,统计耗时也越来越长,最后竟然出现慢查询的情况,这究竟是什么原因呢?本篇文章带你一下学习一下. 1. MyISAM存储引擎计数为什么这么快? 我们总有个错觉,就是感觉MyISAM引擎的count计数要比InnoDB引擎更快,实际这不是错觉. MyISAM引擎把表的总行数单独记录在磁盘上,查询的时候可以直接返回,不需要再累加统计. 但是当S

问题描述为使讨论简单易懂,我将问题稍作简化,去掉诸多的背景. 从前有一个皇帝,他有50个妃子,这些妃子很没有天理的给他生了100,000个儿子,于是,皇帝很苦恼,海量的儿子很难管理,而且,他想知道每个妃子给他生了多少个儿子,从而论功行赏,这很难办.于是,皇帝请了一个程序员帮他编了一个程序,用数据库来存储所有的儿子的信息,这样就可以用程序来统计和管理啦. 数据库的结构如下:id 皇子的唯一编号mother 皇子母亲的唯一编号皇帝把妃子分成了两个等级,天宫娘娘(编号小于25)和地宫娘娘(编号大于等于

转载一个shell统计linux系统中每个程序的内存使用情况,因为内存结构非常复杂,不一定100%精确,此shell可以在Ghub上下载. [root@db231 ~]# ./memstat.sh Private + Shared = RAM used Program 540.78 mb + 175.56 mb = 716.35 mb oracle(25) 24.50 mb + 327.00 kb = 24.82 mb iscsiuio 15.37 mb + 341.00 kb = 15.70

一.手动  执行Analyze table innodb和myisam存储引擎都可以通过执行“Analyze table tablename”来收集表的统计信息,除非执行计划不准确,否则不要轻易执行该操作,如果是很大的表该操作会影响表的性能. 二.自动触发以下行为会自动触发统计信息的收集 1.第一次打开表的时候2.表修改的行超过1/6或者20亿条时3.当有新的记录插入时4.执行show index from tablename或者执行show table stauts.查询information

之前已经转载过几篇相关的文章,此次基于mysql 5.7 版本,从测试和源码角度解释一下RR,RC级别为什么看到的数据不一样 先补充一下基础知识 基本知识 假设对于多版本(MVCC)的基础知识,有所了解.InnoDB为了实现多版本的一致读,采用的是基于回滚段的协议. 行结构 InnoDB表数据的组织方式为主键聚簇索引.由于采用索引组织表结构,记录的ROWID是可变的(索引页分裂的时候,Structure Modification Operation,SMO),因此二级索引中采用的是(索引键值,