此书不但帮助MySQL初学者提高使用技巧,更为有经验的MySQL DBA指出了开发高性能MySQL应用的途径.全书包括14章,内容覆盖MySQL系统架构.设计应用技巧.SQL语句优化.服务器性能调优.系统配置管理和安全设置.监控分析,以及复制.扩展和备份/还原等主题. MySQL为名的数据库是从1994年开始开发,并与1995年第一次呈现在小范围的用户面前,开发者是两个瑞典人Widenius和David Axmark.那时MySQL还非常简陋,除了在一些表上做一些Inser.Update.Del…

前段时间看了<高性能MySQL>中的选择优化的数据类型,这里主要是做一下笔记. 首先数据选择有几个简单原则: 更小的通常更好.一般情况下,应该尽量使用可以正确存储数据的最小数据类型.例如只需要存 0~200,tinyint unsigned 更好.更小的数据类型通常更快,因为它们占用更少的磁盘.内存和 CPU 缓存,并且处理时需要的 CPU 周期也更少. 简单就好.简单数据类型的操作通常需要更少的 CPU 周期.例如,整型比字符操作代价更低,因为字符集和校对规则(排序规则)使字符比较 比 整型…

此文已由作者朱笑天授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 笔者在工作之余阅读了一下高性能mysql,以下的内容对mysql的介绍以及书中涉及一些概念的总结归纳. 1.mysql架构 1.最上层负责链接处理.认证授权.安全等 2.中间一层涵盖了mysql的大多数核心功能.包括查询解析.分析.优化.缓存.内置函数:所有的夸存储引擎的功能都在这一层实现(存储过程.触发器.视图等) 3.第三层包含了存储引擎,存储引擎与上层使用API进行通讯,引擎之间不会有交互. 1.1…

第1章 MySQL架构 MySQL架构与其他数据库服务器大不相同,这使它能够适应广泛的应用.MySQL足够灵活,能适应高要求架构.例如Web应用,同时还适用于嵌入式应用.数据仓库.内容索引和分发软件.高可用的冗余系统.联机事务处理系统OLTP及很多其他应用类型. 为了充分发挥MySQL的性能,顺畅地使用它,就必须理解它的设计.MySQL的灵活性体现在很多方面,它可以再众多硬件平台上良好的配置和运行,还支持多种数据类型.不过MySQL最重要.最不同寻常的特征是它的存储引擎框架,这种架构可以讲查询处…

13.1 系统变量 -- 服务器配置变量 MySQL通过SHOW VARIABLES  SQL命令显示许多系统变量. 13.2 状态变量--SHOW STATUS SHOW STATUS 命令会在一个由两列(名称/值)组成的表格里显示服务器状态变量.这些变量都是只读的. SHOW STATUS默认显示会话变量,SHOW GLOBAL STATUS显示全局变量. 也可以从INFORMATION_SCHEMA.GLOBAL_STATUS和INFORMATION_SCHEMA.SESSION_STAT…

为什么需要锁? 因为数据库要解决并发控制问题.在同一时刻,可能会有多个客户端对Table1.rown进行操作,比如有的在读取该行数据,其他的尝试去删除它.为了保证数据的一致性,数据库就要对这种并发操作进行控制,因此就有了锁的概念. 锁的分类 从对数据操作的类型(读\写)分 读锁(共享锁):针对同一块数据,多个读操作可以同时进行而不会互相影响. 写锁(排他锁):当当前写操作没有完成前,它会阻断其他写锁和读锁. 从锁定的数据范围分 表锁 行锁 为了尽可能提高数据库的并发度,每次锁定的数据范围越小越好…

事务的四大特性原子性.一致性.隔离性.持久性, 事务隔离的四大隔离级别: READ UNCOMMITTED(未提交读), 在 read uncommitted级别,事务中的修改,及时没有提交,对其他事务也都是可见的.事物可以读取未提交的数据,这也被称为脏读,你想如果所有的未提交的数据事物它读取了,性能上是不是会差,所以在实际应用场景中很少应用 READ COMMITTED(提交读), 提交读是大部分数据库的默认隔离级别,mysql却不是,因为它所执行的是 一个数据至未提交事务之前 事务是看不到它…

4.5 加快ALTER TABLE 操作的速度 原理: MySQL 的ALTER TABLE 操作的性能对大表来说是个大问题. MySQL 执行大部分修改表结构操作的方法是用新的结构创建一个空表,从旧表中查出所有数据插入新表,然后删除旧表.这样操作可能需要花费很长时间,如果内存不足而表又很大,而且还有很多索引的情况下尤其如此 特点: 大部分ALTER TABLE 操作将导致MySQL 服务中断 ALTER TABLE 本质是建新结构的表,从旧表插入数据到新表 (SHOW STATUS 显示这个语…

传送门 什么是事务? 事务就是一组原子性的SQL查询,或者说一个独立的工作单元.如果数据库引擎能够成功地对数据库应用该组查询的全部语句,那么就会执行该组查询.如果其中有任何一条语句因为崩溃或其他原因无法执行,那么所有的语句都不会执行.简单的说,一个事务内的语句,要么全部执行成功,要么全部执行失败. 事务的ACID特性 ACID表示事务的原子性(atomicity).一致性(consistency).隔离性(isolation).持久性(durability).一个运行良好的事务处理系统,必须具备…

BLOB和TEXT都是为存储很大的数据而设计的字符串数据类型,分别采用二进制和字符方式存储. 实际上,它们分别属于两组不同的数据类型家族: 字符类型是TINYTEXT,SMALLTEXT,TEXT,MEDIUMTEXT,LONGTEXT:对应的二进制类型是TINYBLOB,SMALLBLOB,BLOB,MEDIUMBLOB,LONGBLOB.BLOB是SMALLBOLB的同义词,TEXT是SMALLTEXT的同义词. 与其他类型不同,MySQL把每个BLOB和TEXT值当做一个独立的对象处理.存…

mysql的服务器逻辑架构图如下: 目前工作用的5.5版本,5.5版本开始mysql开始将innoDB作为默认的存储引擎,innoDB的表是基于聚簇索引建立的. mysql的存储引擎锁管理非常重要,在给定的资源上,锁定的数据量越少,则系统的并发程度越高,只要相互之间不发生冲突即可. 共享锁也叫读锁,排他锁也叫写锁. 事务的特性ACID,A原子性(atomicity)C一致性(consistency)I隔离性(isolation)D持久性(durability) 事务的隔离级别有:1.read u…

组合索引和sql中的顺序有关 单列索引和sql中的顺序无关…

复制解决的问题 1,数据分布 MySQL复制通常不会对带宽造成很大的压力,但在5.1版本引入的基于行的复制会比传统的基于语句的复制模式的带宽压力更大.你可以随意地停止或开始复制,并在不同的地理位置来分布数据备份,例如不同的数据中心.即使在不稳定的网络环境下,远程复制也可以工作.但如果未来保持很低的复制延迟,最好有一个稳定的.低延迟连续. 2,负载均衡 通过MySQL复制可以将读操作分布到多个服务器上,实现对读密集型应用的优化,并且很方便,通过简单的代码修改就能实现基本的负载均衡.对于小规模的应用…

温习<高性能MySQL>的复制篇. 1 复制概述 Mysql内建的复制功能是构建大型,高性能应用程序的基础.将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的.复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环.这些日志可以记录发送到从服务器的更新.当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取…

1.锁 为什么需要锁?因为数据库要解决并发控制问题.在同一时刻,可能会有多个客户端对表中同一行记录进行操作,比如有的在读取该行数据,其他的尝试去删除它.为了保证数据的一致性,数据库就要对这种并发操作进行控制,因此就有了锁的概念. 1.1锁的分类 从对数据操作的类型(读\写)分 读锁(共享锁):针对同一块数据,多个读操作可以同时进行而不会互相影响. 写锁(排他锁):当前写操作没有完成前,它会阻断其他写锁和读锁. 大多数时候,MySQL锁的内部管理都是透明的. 1.2锁粒度(Lock granula…

温习<高性能MySQL>的复制篇. 1 复制概述 Mysql内建的复制功能是构建大型,高性能应用程序的基础.将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的.复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环.这些日志可以记录发送到从服务器的更新.当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取…

温习<高性能MySQL>的复制篇. 1 复制概述 Mysql内建的复制功能是构建大型,高性能应用程序的基础.将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的.复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环.这些日志可以记录发送到从服务器的更新.当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取…

目录 mysql复制那点事 - Seconds_behind_Master参数调查笔记 0. 参考文献 1. 问题背景 2. 调查结论 3. 调查与分析过程 3.1 轮转binlog时的运行逻辑 3.2 da执行与本实例serverid一致的binlog时的运行逻辑 3.3 小结 4. 总结 mysql复制那点事 - Seconds_behind_Master参数调查笔记 0. 参考文献 序号 文献 1 MySQL 5.7 MTS源码分析 2 MySQL · 答疑解惑 · 备库Seconds_B…

第5章 创建高性能的索引 本文为<高性能Mysql 第三版>第四章读书笔记,Mysql版本为5.5 索引基础 索引的重要性:找一本800面的书的某一段内容,没有目录也没有页码(页码也可类比是索引) 索引类型 B-Tree 索引 : 可用于全值匹配.最左前缀匹配.列前缀匹配.范围值匹配.精确匹配某一列并范围匹配另外一列.只访问索引的查询 ,原文截图: 哈希索引 : 只适用于精确匹配查询,不适用于范围查询 空间数据索引 : 可以有效地使用任意维度来组合查询 全文索引 : 做的事情类似于搜索引擎,而…

第4章 Schema 与数据类型优化 本文为<高性能Mysql 第三版>第四章读书笔记,Mysql版本为5.5 选择优化的数据类型 选择合适数据类型的三个原则 更小的通常更好 - 速度更快,占用更少 简单就好 - 简单数据类型占用更少的CPU周期,例如整型的比字符串操作代价更低 尽量避免NULL - 查询包含NULL的列,对Mysql来说更难优化,因为会使得索引,索引统计和值比较更为复杂 整数类型 整数的类型有:TINYINT .SMALLINT.MEDIUMINT.INT.BIGINT,分别…

第1章 Mysql架构与历史 MYSQL最重要.最与众不同的特性是它的存储引擎架构,这种架构的设计将查询处理( Query Processing)及其他系统任务( Server Task)和数据的存储/提取相分离.这种处理和存储分离的设计可以在使用时根据性能.特性.以及其他需求来选择数据存储的方式. MySQL逻辑架构 第一层: 大多数基于网络的C/S的工具或服务都是类似的结构,比如连接处理 授权认证 安全 第二层: 大多数MySQL 的核心服务功能都在这一层,包括查询解析.分析.优化.缓存以及…

一.MySQL的复制是将主数据库(master)的数据复制到从(slave)数据库上,专业一点讲就是将主数据库DDL和DML操作的二进制日志传到从库上,然后从库对这些二进制日志进行重做,使得主数据库与从数据库的数据保持同步. 二.MySQL复制的一些优点: 可以将大部分的查询任务放在从库上进行,降低主库的负载,提高性能,但要注意实时性要求高的数据仍需在主库上读取. 如果主库出现了宕机,可以快速切换到从库上,提高了可用性. 可以在从库上进行数据备份,降低在备份期间对主库的影响. 将数据挖掘和分析等…

1.三个线程 MYSQL复制是从主服务器复制到一个或多个从服务器的异步过程,在主服务器与从服务器之间实现整个复制过程主要由三个线程来实现,其中一个线程I\O在主服务器器端,另两个线程(SQL线程和I\O线程)在从服务器端 2.实现过程 首先要在主服务器上打开MySQL的Binary Log(产生二进制日志文件),因为整个复制过程实际上就是从服务器从主服务器端获取该日志,然后在自身上将二进制文件解析为SQL语句并完全顺序地执行SQL语句 所记录的各种操作…

mysql: c:底层 C++:相对上层 主备复制:主库通知备库来取 MYSQL复制源代码代码:SQL文件夹 int start_slave_thread( #ifdef HAVE_PSI_INTERFACE PSI_thread_key thread_key, #endif pthread_handler h_func, mysql_mutex_t *start_lock, mysql_mutex_t *cond_lock, mysql_cond_t *start_cond, volatile…

<>mysql复制特性:既可以实现整个服务(all databases)级别的复制,也可以只复制某个数据库或某个数据库中的某个指定的表对象.即可以实现A复制到B(主从单向复制),B再复制到C.也可以实现A直接复制到B和C(单主多从复制),甚至A的数据复制给B,B的数据也复制会A(双主复制) <>mysql复制处理数据时,有三种不同的模式: 1.基于语句复制(Statement Based Replication):基于实际执行的sql语句的模式方案简称SBR 2.基于记录复制(Ro…

要点:ab复制 mysql集群架构流程: ABB(主从复制)-->MHA(实现mysql高可用.读写分离.脚本控制vip飘逸)-->haproxy(对slave集群实现分发,负载均衡)-->keepalive(预防一台haproxy单点故障,对两台及以上的haproxy实现高可用) 1.MySQL复制特性 --MySQL AB复制,即主从复制 master slave 备份(容灾) 减轻master压力 AB 读写分离 拓展: AA master-master 主主复制 ABBB 一主多…

第12章 MySQL复制 本章将为读者讲述MySQL的复制技术,首先,介绍最基础的主从复制,它是其他所有复制技术的基础,接着再为读者讲述各种复制架构的搭建,最后,列举了一些常见的复制问题及处理方式.复制技术是大部分MySQL高可用技术的基础,熟练掌握各种复制架构有助于制定适合自己公司的高可用方案,第13章将讲述MySQL的迁移.升级.备份和恢复,这些技能同样极大地依赖于对复制架构的理解. 12.1 基础知识 12.1.1 原理及注意事项 MySQL支持单向.异步复制,复制过程中一个服务器充当主服…

innodb以前不支持高并发,在搞病房下就是悲剧,全部卡在mutex(缓冲池mutex)上,现在通过线程调度器控制线程怎么进入内核访问数据,参数为innodb_thread_concurrency,它有计算公式:CPU数量*磁盘数量*2. 如果无法进入内核会休眠innodb_thread_sleep_delay微妙.还有一个参数成为高并发瓶颈:innodb_commit_concurrency,就是提交的时候,如果设置太小,容易导致大量线程冲突,最后通过线程池(经验值:thread_pool_s…

构建高性能WEB站点笔记三 第10章 分布式缓存 10.1数据库的前端缓存区 文件系统内核缓冲区,位于物理内存的内核地址空间,除了使用O_DIRECT标记打开的文件以外,所有对磁盘文件的读写操作都要经过它,所以也可看做是磁盘的前端设备.又称作 页高速缓冲 读缓冲区 保存最近系统从磁盘上读取的数据. 写缓冲区 主要在于减少磁盘的物理写操作.通过将多次写操作的指令累积起来,使用一次物理磁头的移动来完成. 10.2 使用memcached 分布式缓存系统 key-value memcached使用物理…

构建高性能WEB站点笔记 因为是跳着看的,后面看到有提到啥epoll模型,那就补充下前面的知识. 第三章 服务器并发处理能力 3.2 CPU并发计算 进程 好处:cpu 时间的轮流使用.对CPU计算和I/O操作进行很好的重叠利用. 进程的调度有内核进行.从内核的观点看,进程的目的就是担任分配系统资源的实体.同时,进程也可以理解为记录程序实例当前运行到什么程度的一组数据.多个程序通过不同的进程描述符与这些数据进行关联. 每个进程都有自己的独立内存空间和生命周期.当子进程被父进程创建后,便将父进程地…