一.背景 我们工作中经常打交道的就是索引,那么到底什么是索引呢?例如,当一个SQL查询比较慢的时候,你可能会说给“某个字段加个索引吧”之类的解决方案. 总的来说索引的出现其实就是为了提高数据查询的效率,就像书的目录一样.一本上千页页的英语字典,如果你想快速找到其中的某一个单词,在不借助目录的情况下,那我估计你可得找一会儿.同样,对于数据库的表而言,索引其实就是它的“目录”.实现索引的方式却有很多种,所以这里也就引入了索引模型的概念.可以用于提高读写效率的数据结构很多,接下里主要介绍常见.也比较简…

index优化 对于频繁作为查询条件的字段使用索引 注意索引字段类型的隐式转换,数据库类型和应用类型要一致 索引的种类 唯一索引,成为索引的列不能重复 单列索引,一个索引只包含一列 单列前缀索引,有些列较长,不宜使用全长作为索引,可以截取列前面一部分作为索引 复合索引(某几列也可以是前缀索引),一个索引包含几个列,复合索引满足最左匹配原则 几个名称 聚簇索引 innodb默认会创建聚簇索引(使用主键聚集数据:如果没有主键,innodb选择一个唯一的非空索引替代:如果没有索引innodb隐式定义一…

一.mysql索引分类 单值索引:一个索引只包含单个列,一个表可以有多个单列索引 唯一索引:索引列的值必须唯一,但允许有空值 复合索引:一个索引包含多个列 基本语法: 创建:1.CREATE [UNIQUE] indexName ON mytable (columnname(length));——如果是CHAR,VARCHAR类型,length可以小于字段实际长度,如果是BLOB和TEXT类型,必须指定length. 2.ALTER mytable ADD [UNIQUE] INDEX [ind…

索引(index),在MySQL中也被叫做键(key),是存储引擎用于快速找到记录的一种数据结构.索引优化是对查询性能优化最有效的手段.   5.1 索引基础   索引的类型   索引是在存储引擎层而不是服务器层实现的.所以,并没有统一的索引标准:   B-Tree 索引   不同的存储引擎以不同的方式使用B-Tree索引,性能也各有不同:例如,MyISAM使用前缀压缩技术使得索引更小,而InnoDB则按照原数据格式进行存储.再如MyISAM索引通过数据的物理位置引用被索引的行,而InooDB则…

高性能MySQL中的三星索引 我对此提出了深深的疑问: 一星:相关的记录指的是什么??(相关这个词很深奥,“相关部门”是什么部门) 二星:如果建立了B-Tree(B+Tree)索引,数据就有序了.三星:索引的列包含了查询需要所有的列?根本不需要在where查询条件所有的列上建立索引! 我认为一星和二星的rows应该是columns,索引不关具体的数据行,只与查询的列有关.这样也与High Performance MySQL 后面提到的多列索引的观点相符合,特别是二星评估. 个人的观点: 评估一个…

本文系阅读<高性能MySQL>,Baron Schwartz等著一书中第五章 创建高性能的索引的笔记,索引是存储引擎用于快速找到记录的一种数据结构. 索引对于良好的性能非常关键,尤其是当表中的数据量越来越大时,索引对性能的影响愈发重要.在数据量较小且负载较低时,不恰当的索引对性能的影响可能还不明显,但当数据量逐渐增大时,性能则会急剧下降. 索引优化应该是对查询性能优化最有效的手段了.索引能够轻易将查询性能提高几个数量级,最优的索引有时比一个好的索引性能要好两个数量级. 索引基础 在mysql中…

<高性能MySQL>读书笔记 一. 索引的优点 1. 索引可以让服务器快速定位到表的指定位置,大大减少了服务器需要扫描的数量: 2. 最常见的B-Tree索引按照顺序存储数据,可以用来做order by和group by操作帮助服务器避免排序和临时表: 3. 可以将随机I/O变为顺序I/O: 二. 高性能的索引策略 1. 独立的列 索引不能是表达式的一部分,也不能是函数的参数,如,下面这个查询无法使用索引: SELECT actor_id FROM actor WHERE actor_id+1…

Mysql三剑客系列书籍: 大佬推荐 首先推荐<高性能 MySQL>,这本书是 MySQL 领域的经典之作,拥有广泛的影响力.不但适合数据库管理员(DBA)阅读,也适合开发人员参考学习.不管是数据库新手还是专家,都能从本书中有所收获. 其次如果你对 MySQL 的内部原理有兴趣的话,可以看一下这本书<MySQL 技术内幕:InnoDB 存储引擎>.当然,还有官网的MySQL Internals Manual . 另外个人认为数据库的索引设计和优化也是非常关键的,所以推荐另一本书&l…

温习<高性能MySQL>的复制篇. 1 复制概述 Mysql内建的复制功能是构建大型,高性能应用程序的基础.将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的.复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环.这些日志可以记录发送到从服务器的更新.当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取…

本文来自于拜读<高性能MySQL(第三版)>时的读书笔记作者:安明哲转载时请注明部分内容来自<高性能MySQL(第三版)> MySQL的逻辑构架 MySQL服务器逻辑架构 最上层:链接处理,授权认证,安全等处理 第二层:查询解析.分析.优化.缓存以及内置函数(如:日期,时间,数学和加密函数) 第三层:包含了存储引擎,存储引擎负责数据的存储和提取. 链接管理和安全性 每一个客户端链接都在MySQL服务器进程中拥有一个多线程,在CPU中轮询运行,服务器会负责缓存线程,因此不需要为每一个…

1.锁 为什么需要锁?因为数据库要解决并发控制问题.在同一时刻,可能会有多个客户端对表中同一行记录进行操作,比如有的在读取该行数据,其他的尝试去删除它.为了保证数据的一致性,数据库就要对这种并发操作进行控制,因此就有了锁的概念. 1.1锁的分类 从对数据操作的类型(读\写)分 读锁(共享锁):针对同一块数据,多个读操作可以同时进行而不会互相影响. 写锁(排他锁):当前写操作没有完成前,它会阻断其他写锁和读锁. 大多数时候,MySQL锁的内部管理都是透明的. 1.2锁粒度(Lock granula…

此书不但帮助MySQL初学者提高使用技巧,更为有经验的MySQL DBA指出了开发高性能MySQL应用的途径.全书包括14章,内容覆盖MySQL系统架构.设计应用技巧.SQL语句优化.服务器性能调优.系统配置管理和安全设置.监控分析,以及复制.扩展和备份/还原等主题. MySQL为名的数据库是从1994年开始开发,并与1995年第一次呈现在小范围的用户面前,开发者是两个瑞典人Widenius和David Axmark.那时MySQL还非常简陋,除了在一些表上做一些Inser.Update.Del…

<高性能MySQL>(第3版)讲解MySQL如何工作,为什么如此工作? MySQL系统架构.设计应用技巧.SQL语句优化.服务器性能调优.系统配置管理和安全设置.监控分析,以及复制.扩展和备份/还原等主题 schema设计 索引优化 查询优化 事务 [扩展应用]集群:复制-备份-恢复,负载均衡,高可用-高可扩展性,容灾技术 [知识点] InnoDB存储引擎 备份和恢复的策略 云端的MySQL数据库 高可用的冗余系统 高可扩展性设计 第1 章 mysql 架构与历史 1 存储引擎架构:这种架构的…

温习<高性能MySQL>的复制篇. 1 复制概述 Mysql内建的复制功能是构建大型,高性能应用程序的基础.将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的.复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环.这些日志可以记录发送到从服务器的更新.当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取…

高性能MySql进化论(十二):Mysql中分区表的使用总结 http://binary.duapp.com/category/sql 当数据量非常大时(表的容量到达GB或者是TB),如果仍然采用索引的方式来优化查询,由于索引本生的消耗以及大量的索引碎片的产生,查询的过程会导致大量的随机I/O的产生,在这种场景下除非可以很好的利用覆盖索引,否则由于在查询的过程中需要根据索引回数据表查询,会导致性能受到很大的影响,这时可以考虑通过分区表的策略来提高查询的性能. 不同的数据库管理系统对分区的实现可能…

温习<高性能MySQL>的复制篇. 1 复制概述 Mysql内建的复制功能是构建大型,高性能应用程序的基础.将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的.复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环.这些日志可以记录发送到从服务器的更新.当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取…

一.索引类型 在MySQL中,存储引擎使用索引,首先在索引中找到对应值,然后根据匹配的索引记录中找到对应的行. 无论是多么复杂的ORM工具,在精妙和复杂的索引面前都是"浮云".这里只详细描述B-Tree,其他的简要说明.... 1.1 B-Tree 前面介绍过B+树这种数据结构: 大多数引擎都支持这种索引.Arch引擎是一个例外:5.1之前Archive不支持任何索引.我们使用B-Tree,是因为这是MySQL中的关键字.实际上底层很可能不同,例如NDB集群存储引擎使用的是T-Tree…

本文是关于MySQL中索引的基础知识.主要讲了索引的意义与原理.创建与删除的操作.并未涉及到索引的数据结构.高性能策略等. 一.概述 1.索引的意义:用于提高数据库检索数据的效率,提高数据库性能. 数据库在检索数据时,如果没有索引,则只能从第一条记录开始逐条查找,效率很低,添加索引可以明显提升效率. 2.索引的原理:索引存储了数据库的表中的关键字的值.关键字是索引用来搜索数据的依据,可以是一列,也可以是几列,还可以是一列的开头部分(前缀索引). 需要查找某条记录时,先在索引中查找该记录关键字的值…

内容简介 <高性能mysql(第3版)>是mysql 领域的经典之作,拥有广泛的影响力.第3版更新了大量的内容,不但涵盖了最新mysql5.5版本的新特性,也讲述了关于固态盘.高可扩展性设计和云计算环境下的数据库相关的新内容,原有的基准测试和性能优化部分也做了大量的扩展和补充.全书共分为16章和6 个附录,内容涵盖mysql 架构和历史,基准测试和性能剖析,数据库软硬件性能优化,复制.备份和恢复,高可用与高可扩展性,以及云端的mysql和mysql相关工具等方面的内容.每一章都是相对独立的主题…

前言 mysql数据库是现在应用最广泛的数据库系统.与数据库打交道是每个Java程序员日常工作之一,索引优化是必备的技能之一. 为什么要了解索引 真实案例 案例一:大学有段时间学习爬虫,爬取了知乎300w用户答题数据,存储到mysql数据中.那时不了解索引,一条简单的"根据用户名搜索全部回答的sql"需要执行半分钟左右,完全满足不了正常的使用. 案例二:最近线上应用的数据库频频出现多条慢sql风险提示,而工作以来,对数据库优化方面所知甚少.例如一个用户数据页面需要执行很多次数据库查询,…

本文由  网易云发布. 作者:范鹏程,网易考拉海购 InnoDB是 MySQL最常用的存储引擎,了解InnoDB存储引擎的索引对于日常工作有很大的益处,索引的存在便是为了加速数据库行记录的检索.以下是我对最近学习的知识的一些总结,以及对碰到的以及别人提到过的问题的一些分析,如有错误,请指正,我会及时更正. 目录 InnoDB表结构 B树与B+树 聚簇索引和二级索引 SQL执行顺序 SQL优化建议 一些问题分析 参考资料 1. InnoDB表结构 此小结与索引其实没有太多的关联,但是为了便于理解索…

来源:http://www.yunweipai.com/archives/21232.html 构建高性能MySQL系统涵盖从单机.硬件.OS.文件系统.内存到MySQL 本身的配置,以及schema 设计.索引设计 ,再到数据库架构上的水平和垂直拓展. 内容描述: 硬件(1)CPUCPU亲和性:确保每个io都被其发起的CPU处理echo 2 > /sys/block/<block device>/queue/rq_affinity选择最大性能模式,避免节能模式导致性能不足关闭NUMA,…

下载地址: <高性能MySQL(第3版)>编辑推荐:"只要你不敢以MySQL专家自诩,又岂敢错过这本神书?""一言以蔽之,写得好,编排得好,需要参考时容易到爆!""我可是从头到尾看了一遍上一版,可还是毫不犹豫拿起了这本书,而且看完后一点都不后悔--" 内容提要 <高性能MySQL(第3版)>是MySQL 领域的经典之作,拥有广泛的影响力.第3 版更新了大量的内容,不但涵盖了最新MySQL 5.5版本的新特性,也讲述了关于固…

<高性能Mysql>原文 聚簇索引如下图为聚簇所有的存储方式,聚簇实际不是一种索引,而是一种数据的存储方式,InnoDB的聚簇事假在同一个结构中保存了B-Tree索引和数据行. 当表有聚簇索引时,他的数据行实际存在放叶子页.InnoDb通过主键聚集数据,如果没有定义主键则InnoDB会选择一个唯一的非空索引代替.  1.聚簇索引的特性 1.1当表存在主键时,Innodb 使用 主键作为聚簇索引 1.2当表没有主键时,Innodb 使用第一个唯一约束索引(这个唯一索引必须是不包含null列的)作…

有时候需要索引很长的字符列,这会让索引变得大且慢.通常可以索引开始的部分字符,这样可以大大节约索引空间,从而提高索引效率.但这样也会降低索引的选择性.索引的选择性是指不重复的索引值(也称为基数,cardinality)和数据表的记录总数的比值,范围从1/#T到1之间.索引的选择性越高则查询效率越高,因为选择性高的索引可以让MySQL在查找时过滤掉更多的行.唯一索引的选择性是1,这是最好的索引选择性,性能也是最好的. 一般情况下某个前缀的选择性也是足够高的,足以满足查询性能.对于BLOB,TEXT…

此文已由作者朱笑天授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 笔者在工作之余阅读了一下高性能mysql,以下的内容对mysql的介绍以及书中涉及一些概念的总结归纳. 1.mysql架构 1.最上层负责链接处理.认证授权.安全等 2.中间一层涵盖了mysql的大多数核心功能.包括查询解析.分析.优化.缓存.内置函数:所有的夸存储引擎的功能都在这一层实现(存储过程.触发器.视图等) 3.第三层包含了存储引擎,存储引擎与上层使用API进行通讯,引擎之间不会有交互. 1.1…

在MySQL的where条件中,有时会用到很多的条件,通常为了加快速度会把这些字段放到联合索引中,可以更快的提高搜索速度: 但是对联合索引中字段顺序的合理排序,便更能提高速度 例子:select * from table where (groupid=1000) and (userid=500) and (time=140012345) 建立的索引也通常很随性的就按照where条件中字段的顺序建立 ALTER  TABLE  table  ADD  INDEX g_u_time_index(gr…

由于数据库的复杂性,以讹传讹的空间非常大,快赶上中医养生了.避免使用 NULL 的理由,在高性能MySQL里有提到一段.建议大家多读些书,少看网上的奇技淫巧.特意把书翻出来摘录了下以供参考: 要尽量避免 NULL 要尽可能地把字段定义为 NOT NULL.即使应用程序无须保存 NULL(没有值),也有许多表包含了可空列(Nullable Column),这仅仅是因为它为默认选项.除非真的要保存 NULL,否则就把列定义为 NOT NULL. MySQL难以优化引用了可空列的查询,它会使索引.索引…

目录: 第一章.MySQL架构与历史 第二章.MySQL基准测试 第三章.服务器性能剖析 第四章.Schema与数据类型优化 第五章.创建高性能的索引 第六章.查询性能优化 第七章.MySQL高级特性 第八章.优化服务器设置 第九章.操作系统和硬件优化 第十章.复制 第十一章.可扩展性MySQL 第十二章.高可用性 第十三章.云端的MySQL 第十四章.应用层优化 第十五章.备份与恢复 第十六章.MySQL用户工具  先贴图以后用到哪一块再总结. 引用与参考:<高性能MySQL> 第一章.My…

前言 之前看了很多关于MySQL索引的文章也看了<高性能MySQL>这本书,自以为熟悉了MySQL索引使用原理,入职面试时和面试官交流,发现对复合索引的使用有些理解偏颇,发现自己的不足整理一下这方面的内容. 实例表: CREATE TABLE `test` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT, `uId` int(10) unsigned NOT NULL, `chatId` smallint(5) unsigned NOT N…