root@localhost:3306.sock [performance_schema]>select version();+------------+| version()  |+------------+| 5.7.24-log |+------------+1 row in set (0.00 sec)   root@localhost:3306.sock [performance_schema]>show tables from information_schema;+-------…

1.去重统计数据表行数: select count(distinct col_name) from table_name; 2.统计行数 select count(*) from table_name; 3.可以使用mysql的数据库INFORMATION_SCHEMA查询关于数据库或者数据表的各类信息 4.还有个默认的数据库PERFORMANCE_SCHEMA,主要用于收集数据库服务器性能参数 数据库INFORMATION_SCHEMA,提供了访问数据库元数据的方式. 元数据是关于数据的数据,…

ACCOUNTS NOT PROPERLY CLOSING CONNECTIONS [ 1 ] Works since 5.6 SELECT ess.user, ess.host , (a.total_connections - a.current_connections) - ess.count_star as not_closed , ((a.total_connections - a.current_connections) - ess.count_star) * 100 / (a.tot…

SELECT tables.table_schema, tables.table_name, tables.table_rows FROM information_schema.tables LEFT JOIN ( SELECT table_schema, table_name FROM information_schema.statistics GROUP BY table_schema, table_name, index_name HAVING SUM( CASE WHEN non_uni…

--查看创建的索引的CARDINALITY比率 --通常cardinality达到表数据的10%左右建索引会有意义--如果是一个组合索引,索引第一位的cardinality表示第一个列的cardinality大小,第二列表示第一列和第二列共同的cardinality值SELECT T1.TABLE_SCHEMA, T1.TABLE_NAME, T2.INDEX_NAME, , ) AS RATE FROM INFORMATION_SCHEMA.TABLES T1, INFORMATION_SCH…

搭建环境说明: master1:192.168.175.210 主 master2:192.168.175.211 备 keepalived的vip: 192.168.175.11(注意这是虚拟IP,无需存在这台主机,只要保证这个ip是没有人用的即可) 一.MySQL数据库安装(两台主机都要操作) 本次笔者是在Centos7上安装的是mysql的,如果有其他需求可以自行下载. 1.下载安装包,如果下载不了请自己到官网下载相匹配的rpm,我下载的不需要安装其他依赖,如果去官网下载可能要安装一些依赖…

1.mysqldump 在日常工作中,我们会使用mysqldump命令创建sql格式的转储文件来备份数据库.或者我们把数据导出后做数据迁移,主备搭建等操作.mysqldump是一个逻辑备份工具,复制原始的数据库对象定义和表数据产生一组可执行的SQL语句. 默认情况下,生成insert语句,也能生成其它分隔符的输出或XML格式的文件.shell> mysqldump [arguments] > file_name 我们简单的来看一下日常的用法:备份所有的数据库:shell> mysqldu…

一:服务器配置 1.1修改root密码: ALTER USER 'root'@'localhost' IDENTIFIED BY 'xxxx'; 1.2添加远程登陆用户: GRANT ALL PRIVILEGES ON *.* TO 'abc'@'%' IDENTIFIED BY 'xxxx' WITH GRANT OPTION; 1.3统一默认编码: vim /etc/my.cnf 在 [mysqld]下添加编码配置: [mysqld] character_set_server=utf8 in…

本文根据DBAplus社群第104期线上分享整理而成. 原文:http://dbaplus.cn/news-11-1267-1.html 讲师介绍   冯帅 点融网高级DBA 获有Oracle OCM.MySQL OCP: 目前从事MySQL相关的运维和架构工作,擅长异构数据库交互. 分享大纲: mysqldump mysqlbackup mysqlhotcopy xtrabackup/innobackupex 备份高于一切,今天汇总一下常用的几种备份方法,以及恢复的步骤. 一.mysqldum…

-- 生成报告文件到/tmp目录中 tee /tmp/mysql_performance_stat.txt -- 统计性能指标前先开启下列参数,该参数使用IS数据库来存放数据库信息,由于使用PS库存放还存在BUG,信息统计不全 show variables like 'show_compatibility_56'; set global show_compatibility_56=on; show variables like 'show_compatibility_56'; -- QPS 计算…

truncate某个库的表数据 show full processlist; select concat('truncate table ',table_schema,'.',table_name,';') sqltext from information_schema.tables where table_schema not in ('mysql','information_schema','performance_schema','sys') and table_schema='vodb'…

第2章 SQL 语句 2.1 选择2.1.1 DELETE FROM S WHERE 年龄>60 语句的功能是( A ) A.从 S 表中彻底删除年龄大于 60 岁的记录B.S 表中年龄大于 60 岁的记录被加上删除标记C.删除 S 表D.删除 S 表的年龄列 2.1.2 使用什么命令可以清除表中所有的内容? ( CD ) A.INSERT  B.UPDATE C.DELETE D.TRUNCATE 2.1.3 以下哪个表不用于 mysql 的权限管理( D ) A.HOST         …

1.数值类型 TINYINT --极小整数SMALLINT --较小整数MEDIUMINT --中型整数INT --常规整数BIGINT --较大整数FLOAT --小型单精度DOUBLE --常规双精度DECIMAL --精确值数值(含整数和小数)DIB --位字段值 2.字符类型 CHAR --固定长字符VARCHAR --可变长TINYTEXT --TEXTMEDIUMTEXTLONGTEXTENUM -枚举值SET --集合 3.时间类型 DATE --YYYY-MM-DDTIME --…

目录 一.MHA简介和架构 1.1 MHA简介 1.2 MHA工具包的组成 1.3 MHA架构 二.准备MHA环境 2.1 下载MHA镜像 2.2 编辑yml文件,创建MHA相关容器 2.3 安装docker-compose软件(若已安装,可忽略) 2.4 创建MHA容器 2.5 初始化MHA环境 2.5.1 添加网卡 2.5.2 修改Manager节点的hosts文件 2.5.3 主库131添加VIP 2.5.4 分别进入132和133启动复制进程 三.测试MHA相关功能 3.1 检查MHA环…

#创建基表 CREATE TABLE `table_sum` (   `id` int(11) NOT NULL AUTO_INCREMENT,   `table_name` varchar(50) DEFAULT NULL,   `table_rows` int(11) DEFAULT NULL,   `total_size` int(11) DEFAULT NULL,   `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,…

1. 上传并解压 Sqoop 安装文件 将 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 安装包上传到 node-01 的 /root/ 目录下并将其解压 [root@node-01 ~]# tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C apps/ [root@node-01 ~]# rm -rf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz [root@node-01 ~]# cd /r…

数据库很重要,没有备份,数据丢失只能跑路.所以还是做好备份吧! 目录 一.工具介绍 二.工具特点 三.备份权限 四.工具使用限制 五.已知BUG 六.备份前注意事项 6.1 需要长时间备份或导入时,请使用 screen 窗口工具 6.2 检查数据库参数 6.3 检查数据库角色 7.使用方法举例 7.1 全库备份 进行mysql.proc 单表导出: 进行mysql.proc 单表导入: 7.2 单库备份 7.3 单表备份 7.4 生成单独的数据文件(-T) 生成文件示例: 7.5 根据条件备份(…

#!/bin/bash source /etc/profile DATE="$(date +%F_%H-%M-%S)" DB_IP="172.16.1.122" HOST="localhost" PORT="3306" USER="root" PASS="Liuchang@2020" BACKUP_DIR="/data/db_backup" [ ! -d $BACKU…

一.infomation_schema库 把 information_schema 看作是一个数据库,确切说是信息数据库.其中保存着关于MySQL服务器所维护的所有其他数据库的信息.如数据库名,数据库的表,表栏的数据类型与访问权 限等.在INFORMATION_SCHEMA中,有数个只读表.它们实际上是视图,而不是基本表,因此,你将无法看到与之相关的任何文件.表:元数据+数据行元数据存储在"基表",是我们没法直接访问mysql给我们提供了DDL,DCL来进行对元数据修改提供了infom…

MySQL优化哲学 1 为什么优化? 为了获得成就感? 为了证实比系统设计者更懂数据库? 为了从优化成果来证实优化者更有价值? 但通常事实证实的结果往往会和你期待相反!优化有风险,涉足需谨慎! 2 优化风险 优化不总是对一个单纯的环境进行!还很可能是一个复杂的已投产的系统 优化手段本来就有很大的风险,只不过你没能力意识到和预见到! 任何的技术可以解决一个问题,但必然存在带来一个问题的风险! 对于优化来说解决问题而带来的问题控制在可接受的范围内才是有成果 保持现状或出现更差的情况都是失败! 稳定性…

information_schema.tables视图 DESC information_schema.TABLES /** TABLE_SCHEMA ---->库名 TABLE_NAME ---->表名 ENGINE ---->引擎 TABLE_ROWS ---->表的行数 AVG_ROW_LENGTH ---->表中行的平均行(字节) INDEX_LENGTH ---->索引的占用空间大小(字节) **/ -- 查询整个数据库中所有库和所对应的表信息 SELECT…

1 概述 1.1 MHA 简介 MHA - Master High Availability 是由 Perl 实现的一款高可用程序,出现故障时,MHA 以最小的停机时间(通常10-30秒)执行 master 的故障转移以及 slave 的升级.MHA 可防止复制一致性问题,并且易于安装,不需要改变现有部署. MHA 由MHA manager和MHA node组成, MHA manager是一个监控管理程序,用于监控MySQL master状态; MHA node是具有故障转移的工具脚本,如解析…

数据库在任何业务中都是最重要的环节之一,这就对数据库架构提出的较高的要求.单点数据库永远不应该出现在生产环境,我们已经目睹过太多由于单点.备份缺失造成的损失,所以,搭建高可用 MySQL 集群是非常有必要的. 搭建集群有以下几点好处: 高可用性,在主节失效时自动切换,不需要技术人员紧急处理 高吞吐,可以多个节点同时提供读取数据服务,降低主节点负载,实现高吞吐 可扩展性强,支持在线扩容 无影响备份,在备节点进行备份操作不会对业务产生影响 要说缺点,有以下几点: 架构复杂,在部署.管理方面对技术人员…

文章首发于[博客园-陈树义],点击跳转到原文Canal同步异常分析:Could not find first log file name in binary log index file. 公司搜索相关的业务系统采用了ElasticSearch + Canal实现了实时搜索(详情可参考文章:ElasticSearch + Canal 开发千万级的实时搜索系统). 最近在查看线上Canal Server日志的时候发现了异常,这直接导致了其中一个数据库停止了数据同步. 从异常信息可以看到是实例为db…

数据库备份 mysqldump [args] > file_name 例如:备份所有数据库 shell> mysqldump --all-databases > dump.sql #(不包含INFORMATION_SCHEMA,performance_schema,sys,如果想要导出的话还要结合--skip-lock-tables和--database一起用)li'r 例如2:备份指定数据库 shell> mysqldump --databases db1 db2 db3 >…

此脚本,在01点进行一次逻辑全备份,03点进行一次物理全备份,中午12点进行一次增量物理备份 #! /bin/bash #05 01,03,12 * * * mysql /data/mysqldata/scripts/mysql_backup_dump_xtra.sh >> /data/mysql/backup/log/mysql_back2.log 2>&1 ############################################################…

mysqldump逻辑备份,按照db.sql文件区分,并压缩 #! /bin/bash #35 02 * * * mysql /data/mysqldata/scripts/mysqldump_per_db.sh >> /data/mysql/backup/mysql_back1.log 2>&1 ############################################################ # Define the variables the scri…

在MySQL跨版本升级时,建议使用mysqldump方式导出用户权限和用户数据,即使是小版本升级,导出过程中也应忽略系统数据库,避免系统表不兼容. 导出用户数据库脚本和用户创建脚本 ##====================================================================## # MySQL Dump导出数据和权限脚本 # 如果在主库上备份使用--master-data=2参数 # 如果在从库上备份使用--dump-slave=2参数 ##===…

一.需求背景 朋友的公司需要每天定时从源端定时同步一部分数据到目标端,库中存在company_id列的表,只将指定的company_id列导入到目标端数据库:存在company_id列的表,将表中所有的数据导入到目标端.   二.实现思路 1 远端与目标端的ip地址.账号.密码.端口号等信息保存在配置文件中,由我朋友自己填写: 2 通过information_schema.`COLUMNS`获取需要导出的表数据: 3 通过mysqldump导出表 4 通过通过mysql -e 的方式导入数据 5…

最近项目需要定时备份mysql数据库的数据,根据需求写了一份定时备份mysql数据库的脚本. -h mysql的地址  默认为localhost -P 端口号  默认为3306 -u 用户  默认为root -p 密码 默认为123456 -f  备份存放地址  默认为 /bak 下面 -n 指定数据库  默认为所有数据库(除开mysql系统自带数据库) #!/bin/bash now=$(date "+%Y-%m-%d_%H:%M:%S") echo "==========…