MySQL系列(一)：谈谈MySQL架构

MySQL系列：高可用架构之MHA

前言从11年毕业到现在,工作也好些年头,入坑mysql也有近四年的时间,也捣鼓过像mongodb.redis.cassandra.neo4j等Nosql数据库.其实一直想写博客分享下工作上的零零碎碎(日记倒是有坚持写),无奈比较懒,也就一直搁着了:近来心血来潮,着手整理之前的笔记就顺便把写博客的事补上,也算是温故知新,巩固之前学过用过的知识.从这篇<MySQL系列:高可用架构之MHA>开始后面会陆陆续续的分享一些关于MySQL高可用架构的东西. MHA介绍 MHA(Master High A…

mysql系列之6.mysql主从同步

普通文件的数据同步 nfs: 网络文件共享 samba: 共享数据定时任务或守护进程结合 rsync.scp inotify(sersync)+rsync 触发式实时数据同步 ftp数据同步 ssh key + scp / rsync svn版本管理 rsync,sersync,inotify,union(双向同步),csync2(多向同步) mysql主从同步逻辑图 1. 单向主从同步主-从一主多从 2. 双向主主同步: 互为主从 (一般不采用) 3. 线性: 级联单向双主同步 4. 环…

mysql系列之2.mysql多实例

使用场景资金紧张; 并发访问不大; 门户网站; 实现生产硬件配置: mem 32G / 双cpu 8核 / 磁盘6*600G sas 15k, 2-3个实例安装组件 #yum install ncurses-devel -y #yum install libaio-devel -y 结束旧mysql #cd ~ #pkill mysqld #ps -ef | grep mysql #rm –f /etc/init.d/mysqld 建立多实例环境 #mkdir -p /data/{3306…

mysql系列之4.mysql字符集

针对mysql语句的临时办法: 先查看下mysql的各种编码设置情况, 如果结果显示有几项的编码不一致, 请先调整linux的系统编码 mysql> show variables like 'character_set%'; 登录mysql后, 先手动设置编码, 然后才开始执行insert/update等操作 mysql> set names 'utf8'; 在.sql文件中指定编码(set names 'utf8'), 然后登入mysql, 用source或mysql命令来导入sql语句 m…

mysql系列之7.mysql读写分离

准备下载如下linux安装包 jdk-6u31-linux-x64-rpm.bin amoeba-mysql-binary-2.2.0.tar.gz # crontab -e //同步时间 */ * * * * /usr/sbin/ntpdate 172.16.0.1 &>/dev/null # service iptables stop //这几台服务器都要关闭防火墙配置主从复制架构: 多主机 (ip和名称定义) 192.168.1.25 master 192.168.1.30 …

mysql系列之8.mysql高可用 (mha4mysql)

环境: 三台机器主服务器: 192.168.1.130 主备机器: 192.168.1.131 监控机器: 192.168.1.132 130和131, 是mysql双主架构 1.在三台机器上安装mha4mysql-node yum -y install perl-DBD-MySQL tar -zxvpf mha4mysql-node-0.56.tar.gz mha4mysql-node-0.56.tar.gz cd mha4mysql-node-0.56 perl Makefile.PL -…

mysql系列之8.mysql高可用 (keepalived)

环境: centos6.5_x64 准备: 两台mysql机器主1 master: 192.168.32.130 主2 backup: 192.168.32.131 VIP: 192.168.32.100 步骤: 1.配置mysql的双主架构 2.安装keepalived keepalived-1.2.23.tar.gz yum -y install openssl openssl-devel wget http://www.keepalived.org/software/keepaliv…

mysql系列十一、mysql优化笔记：表设计、sql优化、配置优化

可以从这些方面进行优化: 数据库(表)设计合理 SQL语句优化数据库配置优化系统层.硬件层优化数据库设计关系数据库三范式 1NF:字段不可分; 2NF:有主键,非主键字段依赖主键; 3NF:非主键字段不能相互依赖; 解释: 1NF:原子性字段不可再分,否则就不是关系数据库; 2NF:唯一性一个表只说明一个事物; 3NF:每列都与主键有直接关系,不存在传递依赖; - 不符合第一范式的例子(关系数据库中create不出这样的表): [表]字段1, 字段2(字段2.1, 字段2.2), 字…

mysql系列十、mysql索引结构的实现B+树/B-树原理

一.MySQL索引原理 1.索引背景生活中随处可见索引的例子,如火车站的车次表.图书的目录等.它们的原理都是一样的,通过不断的缩小想要获得数据的范围来筛选出最终想要的结果,同时把随机的事件变成顺序的事件,也就是我们总是通过同一种查找方式来锁定数据. 数据库也是一样,但显然要复杂许多,因为不仅面临着等值查询,还有范围查询(>.<.between.in).模糊查询(like).并集查询(or)等等.数据库应该选择怎么样的方式来应对所有的问题呢?我们回想字典的例子,能不能把数据分成段,然后分段查询…

mysql系列九、mysql语句执行过程及运行原理（分组查询和关联查询原理）

一.背景介绍了解一个sql语句的执行过程,了解一部分都做了什么,更有利于对sql进行优化,因为你知道它的每一个连接.where.分组.子查询是怎么运行的,都干了什么,才会知道怎么写是不合理的. 大致执行顺序: select[distinct] from join(如:left join) on where group by having union order by limit 二.数据表准备 1.创建表 DROP TABLE IF EXISTS student; CREATE TABLE `…

mysql系列八、mysql数据库优化、慢查询优化、执行计划分析

mysql的性能优化无法一蹴而就,必须一步一步慢慢来,从各个方面进行优化,最终性能就会有大的提升. 一.介绍对mysql优化是一个综合性的技术,主要包括表的设计合理化(符合3NF) 添加适当索引(index) [四种: 普通索引.主键索引.唯一索引unique.全文索引] 分表技术(水平分割.垂直分割) 读写[写: update/delete/add]分离存储过程 [模块化编程,可以提高速度] 对mysql配置优化 [配置最大并发数my.ini, 调整缓存大小 ] mysql服务器硬件升级…

mysql系列七、mysql索引优化、搜索引擎选择

一.建立适当的索引说起提高数据库性能,索引是最物美价廉的东西了.不用加内存,不用改程序,不用调sql,只要执行个正确的'create index',查询速度就可能提高百倍千倍,这可真有诱惑力.可是天下没有免费的午餐,查询速度的提高是以插入.更新.删除的速度为代价的,这些写操作, 增加了大量的I/O. 是不是建立一个索引就能解决所有的问题?ename上没有建立索引会怎样? select * from emp where ename='研发部'; ---测试案例命令如下 (最好以 select *…

mysql系列六、mysql创建用户、授权、备份及恢复命令

一.创建用户和授权下面的操作中,其中someusername为用户名,somepassword为密码,somedbname为数据库名 1.创建用户 create user 'someusername' identified by 'somepassword'; 2.授权 GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,DROP,ALTER ON somedbname.* TO 'someusername'; 或者 grant all privileges on…

mysql系列四、mySQL四舍五入函数用法总结

一.MySQL四舍五入函数ROUND(x) ROUND(x)函数返回最接近于参数x的整数,对x值进行四舍五入. 实例: 使用ROUND(x)函数对操作数进行四舍五入操作.SQL语句如下: mysql>SELECT ROUND(-2.34),ROUND(-4.56),ROUND(2.34),ROUND(4.56) 进行四舍五入处理以后,只保留了各个值的整数部分. 二.MySQL四舍五入函数ROUND(x,y) ROUND(x,y)函数返回最接近于参数x的数,其值保留到小数点后面y位,若y为负值,则…

mysql系列三、mysql开启缓存、设置缓存大小、缓存过期机制

一.开启缓存 mysql 开启查询缓存可以有两种方法来开启一种是使用set命令来进行开启,另一种是直接修改my.ini文件来直接设置都是非常的简单的哦. 开启缓存,设置缓存大小,具体实施如下: 1.修改配置文件my.ini windows下是my.ini,linux下是my.cnf; 在配置文件的最后追加上: query_cache_type query_cache_size 需要重启mysql生效: 2.命令方式那么采用第二种方式: b) 开启缓存,两种方式: a)使用mysql命令: ;…

mysql系列二、mysql内部执行过程

向MySQL发送一个请求的时候,MySQL到底做了什么客户端发送一条查询给服务器. 服务器先检查查询缓存,如果命中了缓存,则立刻返回存储在缓存中的结果.否则进入下一阶段. 服务器端进行SQL解析.预处理,再由优化器生成对应的执行计划. MySQL根据优化器生成的执行计划,再调用存储引擎的API来执行查询. 将结果返回给客户端一.缓存策略和相关配置 MySQL查询缓存保存查询返回的完整结构.当查询命中该缓存时,MySQL会立刻返回结果,跳过了解析.优化和执行阶段. 查询缓存系统会跟踪查询中涉及…

mysql系列一、mysql数据库规范

一. 表设计库名.表名.字段名必须使用小写字母,“_”分割. 库名.表名.字段名必须不超过12个字符. 库名.表名.字段名见名知意,建议使用名词而不是动词. 表必须使用InnoDB存储引擎. 表必须使用“t_”开头命名. 表字符集选择UTF8. 存储精确浮点数必须使用DECIMAL替代FLOAT和DOUBLE.金额建议使用BIGINT. 建议使用UNSIGNED存储非负数值. 建议使用INT UNSIGNED存储IPV4. 整形定义中不添加长度,比如使用INT,而不是INT(4). 使用短数据…

mysql系列之9.mysql日志&存储引擎

mysqlbinlog 是什么? 数据目录下的如下文件: mysql-bin.xxxxxx 作用? 记录数据库内部增删改查对mysql数据库有更新的内容的记录三种模式? statement level 模式: 缺点是不够细致 row level 模式: 日志会记录每一行数据被修改的形式 (一下子修改多行其实就一条语句, 但是它会记录成多行) 优点: 记录每一行的细节, 可以记录function/trigger/存储过程 mixed level 模式: 混合模式, 自动判断该使用statemen…

mysql系列之1.mysql基础

非关系型(NOSQL)数据库键值存储数据库: memcached / redis / memcachedb / Berkeley db 列存储数据库: Cassandra / Hbase (大公司才会用) 面向文档数据库: mongodb / couchdb 图形数据库: neo4j / infogrid (用的少) 数据库种类层次式数据库网络式数据库关系型数据库: 把复杂的数据结构归结为简单的二元关系, 对数据的操作全部建立在一个或多个关系表格上而当今互联…

mysql系列之3.mysql进阶

启动原理 mysqld脚本-->mysqld_safe脚本-->mysqld服务-->启动mysql 强制关闭mysql: 三种方法, 不建议用! killall mysqld pkill mysqld killall -9 mysqld 优雅关闭mysql: 三种方法 mysqladmin -uroot -pabc123 shutdown /etc/init.d/mysqld stop kill -USR2 `cat path/pid` 登录 mysql -uroot -p 强制不记录…

mysql系列之5.mysql备份恢复

备份数据: mysqldump #mysqldump -uroot -p123456 test > /test_bak.sql #egrep -v "#|\*|--|^$" /test_bak.sql 指定对应字符集 #mysqldump -uroot -p123456 --default-character-set=utf8 test > /test_bak.sql 加 -B 参数: 备份多个库 (增加创建数据库和连接数据库的命令) #mysqldump -uroot -…

mysql系列十三、mysql中replace into和duplicate key的使用区

一.创建测试表 1.创建唯一索引"b" CREATE TABLE `test2` ( `id` int(10) NOT NULL AUTO_INCREMENT, `a` varchar(5) DEFAULT NULL, `b` varchar(5) DEFAULT NULL, `c` varchar(5) DEFAULT NULL, PRIMARY KEY (`id`), UNIQUE KEY `unique_b` (`b`) ) ENGINE=InnoDB AUTO_INCREMEN…

mysql系列五、mysql中having的用法

HAVING 子句对 GROUP BY 子句设置条件的方式与 WHERE 和 SELECT 的交互方式类似.WHERE 搜索条件在进行分组操作之前应用:而HAVING 搜索条件在进行分组操作之后应用.HAVING 语法与 WHERE 语法类似,但 HAVING 可以包含聚合函数.HAVING 子句可以引用选择列表中显示的任意项. 下面的示例按产品 ID 对 SalesOrderDetail 进行了分组,并且只包含那些订单合计大于 $1,000,000 且其平均订单数量小于 3 的产品组. USE…