当把mysql容器销毁,在新建一个容器,进行之前的数据恢复. 因为之前建立了数据卷,那么现在就可以利用这个数据卷进行数据恢复. 使用docker volume create volume_name命令新建一个数据卷 docker volume ls查看数据卷列表 注意:使用数据卷进行挂载的时候,数据卷必须是一个空的目录,也就是说不能有任何数据. docker inspect volume_name查看数据的相关信息,例如挂载位置 在恢复数据之前需要把刚刚建立的数据卷里面关联的内容删除掉,然后把之

docker+mysql 更改配置后重启不了的解决方案 前提:在最近的项目中,决定将项目改造成数据库读写分离的架构,于是擅自更改生产环境的数据库的配置文件my.cnf,由于我是用docker进行部署的,执行docker restart mysql后发现没有起来,执行docker logs -f --tail 10 your-mysql,出现如下的错误: 这里我提一句,docker restart mysql基本不会造成数据丢失(高并发场景下除外).不慌,既然配置文件出错了,那我改过来就好了,于是

mysql批量删除大量数据 假设有一个表(syslogs)有1000万条记录,需要在业务不停止的情况下删除其中statusid=1的所有记录,差不多有600万条, 直接执行 DELETE FROM syslogs WHERE statusid=1 会发现删除失败,因为lock wait timeout exceed的错误. 因为这条语句所涉及的记录数太多,因此我们通过LIMIT参数分批删除,比如每10000条进行一次删除,那么我们可以利用 MySQL这样的语句来完成: DELETE FROM s

不知道大家有没有想过下面这件事? 我们平时调用 DELETE 在 MySQL 中删除的数据都去哪儿了? 这还用问吗?当然是被删除了啊 那么这里又有个新的问题了,如果在 InnoDB 下,多事务并发的情况下,如果事务A删除了 id=1 的数据,同时事务B又去读取 id=1 的数据,如果这条数据真的被删除了,那 MVCC 拿啥数据返回给用户呢? 没错,这就需要了解一下 MySQL 的多版本并发的原理相关的东西,感兴趣的可以去看我之前写的这篇文章. 所以,实际情况中,调用了 DELETE 语句删除的数

开发环境 Yii1版本 MySQL PHP5.6.27 前言 物流规则匹配日志表记录订单匹配规则相关日志信息,方便管理员维护和查阅不匹配的订单,四个月时间,该日志表数据就有174G,当前,这么大的数据量,不仅对数据库造成了很大的负载压力,同时查询等维护也缓慢,所以采取将日志记录移出到文件进行存储.但是短期内,还需要数据库中的部分日志记录,故而有了下面的删除记录.优化表操作. 日志表大小一览 表本身有六七百万条数据,从六七百万删到五百多万,发现数据占用空间大小一点也没变,如下图所示.网上查到需要释

1.Docker namespace 1.1 namespace介绍 namespace是Linux提供的用于分离进程树.网络接口.挂载点以及进程间通信等资源的方法.可以使运行在同一台机器上的不同服务能做到完全隔离,就像运行在多台不同的机器上一样. 当Docker创建一个容器时,它会创建新的以上六种NameSpace的实例,然后把容器中的所有进程放到这些NameSpace之中,使得容器这个父进程只对自己的子进程有感知,而对于宿主机其他进程一无所知,从而产生一种它就是一个独立的系统的"错觉&quo

一.前言 和docker容器一样,Swarm集群中运行的服务也能够做数据持久化.我们可以通过volume.bind和nfs等方式来实现swarm集群应用数据的持久化.其实和docker数据持久化的形式是一样的. 二.系统环境 节点名称 IP 操作系统 内核版本 manager 172.16.60.95 CentOs7 4.16.1-1.el7.elrepo.x86_64 node-01 172.16.60.96 CentOs7 4.16.1-1.el7.elrepo.x86_64 node-02

docker拉取镜像的命令为 docker pull image[:TAG] 如果我们想安装的mysql版本不是最新的版本,则需要填充TAG,如果不带上TAG,则默认安装的为最新版本,虽然可以通过docker search查询相关的镜像信息,但该命令不会显示其TAG,我们可以通过docker hub官网来获取到docker中镜像的TAG,如查询mysql的TAG 1.登录docker hub网站https://hub.docker.com/,并搜索mysql,得到mysql相关的Containe

MYSQL里有五百万数据,但大多是重复的,真实的就180万,于是想怎样把这些重复的数据搞出来,在网上找了一圈,好多是用NOT IN这样的代码,这样效率很低,自己琢磨组合了一下,找到一个高效的处理方式,用这个方式,五百万数据,十来分钟就全部去除重复了,请各位参考. 第一步:从500万数据表data_content_152里提取出不重复的字段SFZHM对应的ID字段到TMP3表 create table tmp3 as select min(id) as col1 from data_content

在日常运维工作中,对于数据库的备份是至关重要的!数据库对于网站的重要性使得我们对 MySQL 数据库的管理不容有失!然而是人总难免会犯错误,说不定哪天大脑短路了,误操作把数据库给删除了,怎么办? 下面,就 MySQL 数据库误删除后的恢复方案进行说明. 一.工作场景 (1)MySQL数据库每晚12:00自动完全备份. (2)某天早上上班,9点的时候,一同事犯晕drop了一个数据库! (3)需要紧急恢复!可利用备份的数据文件以及增量的binlog文件进行数据恢复. 二.数据恢复思路 (1)利用全备

症状每次删除mysql容器重启没两分钟又报标题错 df -h 命令查看各个挂载空间应用情况发现root home var 三个文件目录挂载的空间满了 网上百度了一下liunx磁盘扩容操作,fdisk -l 命令最终发现本机有一块270的磁盘并未挂载 于是创建pv ,通过pvcreate命令将磁盘/dev/xvdb创建为一个系统PV [root@localhost home]# pvcreate /dev/xvdb Physical volume "/dev/xvdb" successf

笔者最近工作中遇见一个性能瓶颈问题,MySQL表,每天大概新增776万条记录,存储周期为7天,超过7天的数据需要在新增记录前老化.连续运行9天以后,删除一天的数据大概需要3个半小时(环境:128G, 32核,4T硬盘),而这是不能接受的.当然如果要整个表删除,毋庸置疑,用 TRUNCATE TABLE就好. 最初的方案(因为未预料到删除会如此慢),代码如下(最简单和朴素的方法): delete from table_name where cnt_date <= target_date 后经过研究

所报的错误为:pymysql.err.OperationalError: (1213, 'Deadlock found when trying to get lock; try restarting transaction') 产生这个问题的原因: 多个线程同时执行,且是先删除后插入,因为删除获取一种锁,插入获取一种锁,而这两种锁都没有解锁,就会冲突,导致报错,注意并不是所有的先删除后插入都会报错,具体参考: https://blog.csdn.net/weixin_34049948/artic

Docker 容器镜像删除   1.停止所有的container,这样才能够删除其中的images: docker stop $(docker ps -a -q) 如果想要删除所有container的话再加一个指令: docker rm $(docker ps -a -q) 2.查看当前有些什么images docker images 3.删除images,通过image的id来指定删除谁 docker rmi <image id> 想要删除untagged images,也就是那些id为&l

程度从强到弱 1.drop  table tb        drop将表格直接删除,没有办法找回 2.truncate (table) tb       删除表中的所有数据,不能与where一起使用 3.delete from tb (where)       删除表中的数据(可制定某一行) 区别:truncate和delete的区别          1.事务:truncate是不可以rollback的,但是delete是可以rollback的:               原因:trunc

1.查看mysql容器 docker ps 比如我的是:94df84cbaaaa 2.复制sql文件到docker mysql里面的tmp文件夹 docker cp ./admin.sql 94df84cbaaaa:/tmp/ 3.然后进入docker mysql里面执行命令登录mysql docker exec -ti 94df84cbaaaa /bin/bash msyql -u root -p 回车输入密码 4.然后选择数据库 use admin; 5.执行命令导入 source /tmp

DELETE FROM '表' WHERE '字段'=1 会发现删除失败,因为lock wait timeout exceed的错误: 通过LIMIT参数分批删除,因为如果不用limit,删除大量数据很有可能造成死锁,DELETE FROM '表' WHERE '字段1'=1 ORDER BY '字段2' LIMIT 10000: 如果delete的where语句不在索引上,可以先找主键,然后根据主键删除数据库: 平时update和delete的时候最好也加上limit 1 来防止误操作.

//显示重复的所有条 SELECT * FROM 表名 WHERE (字段1,字段2,...) IN (SELECT 字段1,字段2,...FROM 表名 GROUP BY 字段1,字段2,... HAVING COUNT(*)>1) //只显示重复中的一条 SELECT * FROM 表名 GROUP BY CONCAT(字段1,字段2,...) HAVING COUNT(*)>1 //删除重复数据(保留ID最小的一条) DELETE FROM 表名 WHERE (字段1,字段2,...)

//首先我们需要知道我们重复的都有哪些数据, //第一步:进行对数据表进行分组,group by. //第二步:进行后通过having进行限制筛选,条数大于等于2的 //第三步:进行多表删除. //案例: //第一步,进行对数据分组,并通过having进行限制筛选,获得存在重复数据老王,如下: //第二步,进行删除,请仔细看删除语句,我们把筛选出来的 AS t2 当做子表.来进行筛选. 例如id和id的下一位进行比较,如果name相同,就删除. //请仔细看下面这句代码,删除的关键 mysql>

sql去重 先根据需要去重的字段进行分组,取到主键值最小的记录(id 是主键,删除重复的 record_id 的记录) select min(id) from tb_traffic_wf_record t group by t.record_id 然后删除不在上面的记录里的数据,就行了 delete from tb_traffic_wf_record where id not in (select min(id) from tb_traffic_wf_record as t group by t

最近因为发现数据库中的表有脏数据,需要维护.这些脏数据就是重复数据,需要将其删除. 现假设有一张test表,主键字段为num,还有id,one,two三个字段.假设id规定只能有一条记录(即需要为id建立联合唯一索引).表中数据如下: 可以看出:表中数据明显有不满足条件的重复数据. 解决方法:使用一个中间临时表过渡~~ 先查看需要保留的记录的id 先查看重复记录的最小id SELECT id from test where id in (SELECT MIN(id) from test GROU