一 zabbix功能简介 1.zabbix三大监控组件 zabbix server web gui database zabbix_server zabbix proxy agent client 2.监控流程 agent client安装在被监控的主机 agent负责定期收集客户端本地各项数据,并发送到server端 zabbix server收到数据,将数据存储到数据库中 用户基于zabbix web看到图形数据 3.zabbix组件功能 zabbix server 负责接收agent发送的…

监控mysql存活 1.配置agent自定义参数 vi /usr/local/zabbix/etc/zabbix_agentd.conf Include=/usr/local/zabbix/etc/zabbix_agentd.conf.d/ cd /usr/local/zabbix/etc/zabbix_agentd.conf.d vi userparameter.conf UserParameter=mysql.check_mysql_status,sh /usr/local/zabbix/e…

thread pool的原理是什么? 为什么用double write就能解决page坏的问题? Innodb redo log 与 binlog有什么区别?有了Innodb redo log为什么还要binlog? 1. thread pool的原理是什么? 高并发.高性能 每一个连接到数据库都需要CPU分配线程栈,进行身份验证.建立上下文信息.执行请求.返回结果,关闭连接,释放资源 并发访问时,资源会被不断请求和释放,请求释放会大量消耗资源,导致资源率用率降低 线程池 预先创建一定是数量的线…

1.重现故障5---线上执行update报错,并处理.(表结构和UPDATE语句自己构造,请给出详细步骤) 1)update故障出现ERROR 1206 (HY000): The total number of locks exceeds the lock table size root@slave01 15:34: [test]> select count(*) from AZ2C_D01600_1; +----------+ | count(*) | +----------+ | 10394…

Online DDL: 一.FIC之前的添加删除二级索引: 1.首先创建临时表,定义目标新表的选项和索引 2.逐行拷贝数据到临时表 3.插入行时更新索引信息 4.数据全部被拷贝到新表后,删除旧表,rename新表 为保证数据一致性,旧表复制数据到新表的全程只允许读,不允许改 二.5.1 5.5FIC新特性 fast index creation 1.创建二级索引给表加上共享S锁 2.创建过程不需要重建表 3.删除二级索引只需要更新内部视图,并标记索引的空间可用,去除数据库元数据的关于该索引的定义…

压测 1.查看机器负载load top - load average 1m 5m 15m cat /proc/loadavg 与CPU个数有关,1个load表示1个CPUcat /proc/cpuinfo |grep processor 2.CPU使用率 top us sy id wa hi si st cat /proc/stat 3.QPS SSD查询QPS约2w 评估qps=(总pv * 80%)/(24 * 60 * 60 * 20%) 机器数=总qps/单台机器极限qps sysben…

一.MHA是什么?能干什么的 (1)以Perl语言写的一套Mysql故障切换方案,一个脚本管理工具 (2)保障数据库的高可用性 (3)修复多个slave之间的差异日志,最终使所有的slave保持数据一致 (4)能在0-30秒内选定新Master,实现mysql故障转移 二.MHA组成部分 MHA manager 管理节点 可以部署在一台单独的机器上,管理多套一主多从的集群,也可以部署在一台slave之上,作用: (1)运行一些管理和监控工具 (2使用masterha_manager工具自动监控m…

1.如何解决主从复制延迟的问题? (1)主从复制原理 http://www.cnblogs.com/jenvid/p/8410922.html 1.salve执行slave start,salve服务IO线程会通过授权的用户连接上master,并请求master从指定的文件和位置之后发送bin-log日志内容 2.master服务器接收到来自slave服务器的IO线程请求后,master服务器上的IO线程根据slave服务器发送的指定bin-log日志之后的内容,然后返回给slave的IO线程,…

一 服务器参数调优,有哪些关键点? 1. 应用访问优化 优化方法 性能提升效果 优化成本 说明 减少数据访问能不访问就不访问-减少磁盘IO 1~1000 低 缓存服务器缓存mysql数据,Redis.memorycache 返回更少的数据较少网络传输和磁盘IO 1~100 低 光折射损耗,请求距离/光速=响应时间 减少交互次数 较少网络传输 1~20 低 存储过程(缺乏扩展性),但很少使用,因此应用层实现 IOPS的一些数据 SAS的IOPS 100-200,顺序读写吞吐量大,通常放置顺序写的l…

1.MySQL参数autocommit生产环境设1还是0?为什么? 2.MySQL参数tx_isolation生产环境上大多数是设什么值,为什么? 3.与MySQL锁相关的有哪些因素? 1.MySQL参数autocommit生产环境设1还是0?为什么? mysql> show variables like 'autocommit'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | au…

http://blog.csdn.net/leshami/article/details/46815553 https://www.cnblogs.com/zhoujinyi/p/3423641.html 编译安装mydumper https://launchpad.net/mydumper https://github.com/maxbube/mydumper wget https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.…

1.使用mydumper工具全库备份. 1)源码编译安装 2)全库备份 2.误操作truncate table gyj_t1;利用mysqldump的备份和binlog日志对表gyj_t1做完全恢复. 如下场景: create table gyj_t1(id int,name varchar(10)); insert into gyj_t1 values(1,'AAAAA'); commit; mysqldump全库备份... insert into gyj_t1 values(2,'BBBBB…

mysql启动/关闭 my.cnf的调用顺序 [root@docker02 bin]# ./mysql --help Default options are read from the following files in the given order: /etc/mysql/my.cnf /etc/my.cnf ~/.my.cnf 推荐启动 ./mysqld_safe --defaults-file=/data/my3306/my.cnf --user=mysql & 其他启动/关闭 #SU…

1.为什么创建一个InnoDB表只分配了96K而不是1M? 2.解析第2行记录格式?(用下面的表定义和数据做测试) mysql> create table gyj_t3 (),name2 varchar(),name3 varchar(),name4 varchar(),name5 varchar()); Query OK, rows affected (0.11 sec) mysql> insert into gyj_t3 (,'A','BB','CCC','DDDD'); Query OK…

mysql打开.查看.清理binlog 1.开启日志 log_bin=/var/lib/mysql/mysql-bin mysql> show variables like '%log_bin%'; +---------------------------------+--------------------------------+ | Variable_name | Value | +---------------------------------+--------------------…

问题: 1.为什么数据目录和日志目录需要分开? 2.如何标准化配置多实例?(例如:一台物理主机上部署3306与3307两个实例) 3.详细描述MySQL编译安装的过程(截图安装步骤) 1.为什么数据目录和日志目录需要分开? 不同作用的文件放到不同的磁盘.目录之上 数据文件 随机读写,可以放在高速盘上,如ssd.raid10 追求响应时间 日志文件 顺序写,可以放在raid5上 如果用rsync同步到远端时,可以同步整个日记目录 如果跟数据文件放在一起,数据文件会被一起同步过去 追求吞吐量 2.如…

1.ssh_user 使用VIP方式需要在新的master主机上对网卡启alias并设置IP,普通用户没权限 2.VIP问题 配置以后主从后,在MHA管理节点启动masterha_manager,VIP并没有在master上启起来 change master后,新的master上VIP起来了 再次change master后,VIP还是在原来的master上,并没有进行摘除重启启动 3.slave的只读 最开始的slave需要配置为只读set global read_only=1 slave提升…

1.什么是MVCC?有什么作用? Multi-Version Concurrency Conrol 多版本并发控为解决数据库并发读写可能会出现不一致数据的情况,需要实现数据库的并发访问控制,写时复制产生数据副本. 2.ACID中的I是怎么实现在的? Isolation隔离性 读未提交 A事务更改了某个数据但并未提交,B事务可以访问这个数据的旧值. 读已提交 A事务更改了某个数据并提交,B事务只能读到更改后的数据. 可重复读 A事务更改某个数据前,B事务能读到这个数据,A更改这个数据后,B事务能读…

一部编程发展史就是一部程序员偷懒史,MapReduce(下称MR)同样是程序员们用来偷懒的工具. 来了一份大数据,我们写了一个程序准备分析它,需要怎么做? 老式的处理方法不行,数据量太大时,所需的时间无法忍受,所以,必须并行计算.好比1000块砖,1个人搬需要1小时,10个人同时搬,只需要6分钟. 不过进行并行计算,面临几个细思头大问题: 如何切分数据 如何处理部分任务失败 如何对多路计算的结果进行汇总 不过不用担心,世界就是这样的,少部分人发明创造工具,大部分人使用工具.总有聪明人在合适的时候…

这里是大数据小白系列,这是本系列的第四篇,来看一个真实世界Hadoop集群的规模,以及我们为什么需要Hadoop Federation. 首先,我们先要来个直观的印象,这是你以为的Hadoop集群: 这是真实世界的Hadoop集群: 因为,NameNode(下称NN)中的元数据记录了各个数据块的存储位置. 所以,元数据的大小,与数据块的数量成正比. 当集群存储的数据规模到达一定程度时,NN将成为整套系统中的瓶颈所在.NN的存储能力是有限的,不管是磁盘存储还是内存存储. 为了解决这个问题,HDFS…

这里是大数据小白系列,这是本系列的第三篇,介绍HDFS中NameNode选举,JournalNode等概念. 上一期我们说到了为解决NameNode(下称NN)单点失败问题,HDFS中使用了双NN的机制,一个Active NN,一个Standby NN. 现实常常是,解决一个问题的同时,免不了又引入了另外的问题. 谁来担任Active,谁来担任Standby? 两个NN谁也说服不了谁,这个时候需要引入一个外部角色:一个Zookeeper(下称ZK)集群. ZK也是个很有趣的东西,大数据小白系列后…

这里是大数据小白系列,这是本系列的第二篇,介绍一下HDFS中SecondaryNameNode.单点失败(SPOF).以及高可用(HA)等概念. 上一篇我们说到了大数据.分布式存储,以及HDFS中的一些基本概念,为了能更好的理解后续介绍的内容,这里先补充介绍一下NameNode到底是怎么存储元数据的. 首先,在启动的时候,将磁盘中的元数据文件读取到内存,后续所有变化将被直接写入内存,同时被写入一个叫Edit Log的磁盘文件.(如果你熟悉关系型数据库,这个Edit Log有点像Oracle Re…

[注1:结尾有大福利!] [注2:想写一个大数据小白系列,介绍大数据生态系统中的主要成员,理解其原理,明白其用途,万一有用呢,对不对.] 大数据是什么?抛开那些高大上但笼统的说法,其实大数据说的是两件事:一.怎么存储大数据,二.怎么计算大数据. 我们先从存储开始说,如果清晨起床,你的女仆给你呈上一块牛排,牛排太大,一口吃不了,怎么办?拿刀切小. 同样的,如果一份数据太大,一台机器存不了,怎么办?切小了,存到几台机器上. 想要保存海量数据,无限地提高单台机器的存储能力显然是不现实,就好比我们不能把…

Hadoop 系列(一)基本概念 一.Hadoop 简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构,它可以使用户在不了解分布式底层细节的情況下开发分布式程序,充分利用集群的威力进行高速运算和存储. 从其定义就可以发现,它解決了两大问题:大数据存储.大数据分析.也就是 Hadoop 的两大核心:HDFS 和 MapReduce. HDFS(Hadoop Distributed File System)是可扩展.容错.高性能的分布式文件系统,异步复制,一次写入多次读取,…

前面有两篇文章详细介绍了mysql优化举措:Mysql优化系列(0)--总结性梳理Mysql优化系列(1)--Innodb引擎下mysql自身配置优化 下面分类罗列下Mysql性能优化的一些技巧,熟练掌握这些设置,将有利于Mysql性能提升: MySQL服务器硬件和操作系统优化调节1)拥有足够的物理内存来把整个InnoDB文件加载到内存中--在内存中访问文件时的速度要比在硬盘中访问时快的多.2)不惜一切代价避免使用Swap交换分区 – 交换时是从硬盘读取的,它的速度很慢.3)使用电池供电的RAM…

Mysql最常用的三种备份工具分别是mysqldump.Xtrabackup(innobackupex工具).lvm-snapshot快照.前面分别介绍了:Mysql备份系列(1)--备份方案总结性梳理Mysql备份系列(2)--mysqldump备份(全量+增量)方案操作记录Mysql备份系列(3)--innobackupex备份mysql大数据(全量+增量)操作记录 lvm-snapshot:基于LVM快照的备份1.关于快照:1)事务日志跟数据文件必须在同一个卷上:2)刚刚创立的快照卷,里面…

mysql数据库备份有多么重要已不需过多赘述了,废话不多说!以下总结了mysql数据库的几种备份方案: 一.binlog二进制日志通常作为备份的重要资源,所以再说备份方案之前先总结一下binlog日志~~1.binlog日志内容1)引起mysql服务器改变的任何操作.2)复制功能依赖于此日志.3)slave服务器通过复制master服务器的二进制日志完成主从复制,在执行之前保存于中继日志(relay log)中. 4)slave服务器通常可以关闭二进制日志以提升性能. 2.binlog日志文件的…

原文:MySQL学习系列2--MySQL执行计划分析EXPLAIN 1.Explain语法 EXPLAIN SELECT …… 变体:   EXPLAIN EXTENDED SELECT …… 将执行计划“反编译”成SELECT语句,运行SHOW WARNINGS 可得到被MySQL优化器优化后的查询语句 2.执行计划分析和实例 创建员工表Employee create table Employee ( ID int auto_increment, Ename ), Age int, Salar…

Storm 系列(一)基本概念 Apache Storm(http://storm.apache.org/)是由 Twitter 开源的分布式实时计算系统. Storm 可以非常容易并且可靠地处理无限的数据流.对比 Hadoop 的批处理, Storm 是一个实时的.分布式的.具备高容错的计算系统. Storm 的使用场景非常广泛,比如实时分析.在线机器学习.分布式 RPC.ETL 等.Storm 非常高效,在一个多节点集群上每秒钟可以轻松处理上百万条的消息. Storm 还具有良好的可扩展性和…

Zookeeper 系列(一)基本概念 https://www.cnblogs.com/wuxl360/p/5817471.html 一.分布式协调技术 在给大家介绍 ZooKeeper 之前先来给大家介绍一种技术--分布式协调技术.那么什么是分布式协调技术?那么我来告诉大家,其实 分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制,让他们有序的去访问某种临界资源,防止造成"脏数据"的后果. 这时,有人可能会说这个简单,写一个调度算法就轻松解决了.说这句话的人,可能对分布式…