一个执着于技术的公众号 前言 在上一章节,我们学习了LVM逻辑卷管理技术,知道了LVM能够通过增减PE的数量来弹性调整文件系统的大小.除此之外,LVM还有另一个重要功能「LVM快照技术」,也就是可以给文件系统做一个备份. LVM快照原理 ❝ 在讲LVM之前,大家先思考一个问题:为什么不管多大的逻辑卷进行备份,快照都会在几秒之内完成? ❞ 其实LVM快照采用写时复制技术(copy-on-wire,COW),即当LVM快照创建的一瞬间,系统会记录那个时间点逻辑卷的状态.数据等.此时拍下的快照相当于一…

本文由秀依林枫提供友情赞助,首发于烂泥行天下. 最近一段时间一直在学习有关LVM逻辑卷方面的知识,前几篇文章介绍了有关LVM的逻辑卷的基本相关知识,包括逻辑卷及卷组的扩容与缩小.今天我们再来介绍LVM快照的功能. 注意:本次实验是与虚拟化KVM进行集成测试,通过KVM虚拟机是否正常启动来检查LVM的备份与恢复. 有关LVM的快照功能,我们可以通过lvcreate –help命令,查看帮助文档.如下: 先来查看系统中逻辑卷,使用lvs命令.如下: 通过上图,我们可以看到目前系统中只有一个逻辑卷/d…

这里我们讨论Linux操作系统的备份. 在生产环境,客户都会要求做全系统的数据备份,用于系统崩溃后的一种恢复手段.这其中就包含操作系统数据的备份恢复. 由于是生产环境,客户都会要求备份不中断业务,也就是在线备份. 今天我们介绍使用LVM快照实现Linux操作系统在线备份的一种方法. 使用LVM实现操作系统在线备份的简要原理是:LVM是Linux自带的卷管理软件,LVM支持快照,而Linux又支持将LVM卷作为操作系统分区,因此可以使用LVM的快照功能实现操作系统的在线备份. 1. 分区规划 上面…

lvm快照有多种实现方法,其中一种是COW(Copy-On-Write),不用停止服务或将逻辑卷设为只读就可以进行备份,当一个 snapshot创建的时候只是拷贝原始卷里的元数据,而不是物理上的数据,所以snapshot的创建特别快.原始卷写入数据snapshot记录哪些数据发生变化,并备份旧数据,当恢复的时候就可以把旧数据恢复到对应位置. 介绍下LVM管理的相关命令 pvcreate ,pvmove ,pvremove ,pvscan ,pvdisplay vgcreate ,vgremove…

本文由秀依林枫提供友情赞助,首发于烂泥行天下. 上一篇文章介绍了有关KVM利用LVM快照备份和恢复虚拟机的功能,这篇文章我们来介绍,如何利用LVM快照功能为KVM快速部署虚拟机. 部署虚拟机需要以下几个步骤: 1. 创建LVM快照 2. 修改虚拟机的XML配置文件 3. 通过virsh define命令定义虚拟机 4. 启动虚拟机,并修改相关网络设置 既然是利用LVM的快照功能,那么我们就先创建一个快照.如下: lvcreate -L 100M -s -n lvmsp2 /dev/vg1/lvm…

备份的目的 能够防止由于机械故障以及人为误操作带来的数据丢失,例如将数据库文件保存在了其它地方. 备份的分类 以操作过程中服务的可用性分: 冷备份:cold backup mysql服务关闭,mysql离线 温备份:warm backup mysql服务在线,但是不允许写请求,例如 read lock,在线的某些功能需要中止. 热备份:hot backup 备份同时,业务读写请求继续,业务不受干扰.(没有绝对的热备份,无限接近,停止的时间忽略不计) myisam :不支持热备 innodb :…

简介   最近在做数据备份方面的工作,用到两个工具,一个是dd,而另一个是lvm的快照(snapshot).由于数据比较大,直接是用dd非常耗时,而lvm的快照可以在几秒内轻松搞定,而且可以达到实时的效果,但是使用lvm快照的代价就是以空间换取时间. 下面我们就先来了解下原理: LVM中snapshot通过“写时复制”(copy on write) 来实现,即当一个snapshot创建的时候,仅拷贝原始卷里数据的元数据(meta-data):创建的时候,并不会有数据的物理拷贝,因此snapsho…

LVM 机制还提供了对 LV 做快照的功能,也就是说可以给文件系统做一个备份,这也是设计 LVM 快照的主要目的.LVM 的快照功能采用写时复制技术(Copy-On-Write,COW),这比传统的备份技术的效率要高很多.创建快照时不用停止服务,就可以对数据进行备份.说明:LVM 还支持 thin 类型的快照,但是本文中的快照都是指 COW 类型的快照. LVM 采用的写时复制,是指当 LVM 快照创建的时候,仅创建到实际数据的 inode 的硬链接(hark-link)而已.只要实际的数据没有…

目录1.数据库全备份2.准备LVM卷3.数据恢复到LVM卷4.基于LVM快照备份数据5.数据灾难恢复6.总结 写在前面:测试环境中已安装有mysql 5.5.36数据库,但数据目录没有存放在LVM卷,此次要演示基于LVM的数据备份和恢复,所以就把mysql的数据先迁移到LVM上再做快照卷的备份.如果innodb表基于LVM来做备份,那事务日志文件和数据文件要在同一个LVM的逻辑卷上,因为在同一时刻我们只能对一个逻辑卷做快照,如果事务日志与数据文件不在同一卷上,那做快照后会导致事务日志的事件与真正…

lvm-snapshot: 基于LVM快照的备份 1.事务日志跟数据文件必须在同一个卷上          2.创建快照卷之前,要请求mysql的全局锁,在快照创建完成之后释放锁          3.在请求全局锁完成之后,做一次日志滚动:做二进制日志文件及位置标记(手动进行) 步骤:        1.请求全局锁,并滚动日志        mysql> FLUSH TABLES WITH READ LOCK;        mysql> FLUSH LOGS;        2.做二进制日志…

https://www.jianshu.com/p/854d111670b6 纯干货:深度学习实现之空间变换网络-part1 在第一部分中,我们主要介绍了两个非常重要的概念:仿射变换和双线性插值,并了解到这两个概念对于理解空间变换网络(Spatial Transformer Networks)非常重要. 在这篇文章中,我们将详细介绍一篇空间变压器网络这一论文——Go ogle Deepmind的研究人员Max Jaderberg,Karen Simonyan,Andrew Zisserman和K…

MySQL的备份和恢复-基于LVM快照的备份(lvm-snapshot) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.什么是快照卷 如上图所示,原卷和快照卷可以不一样大,因为快照卷只保存变化中的数据,但是你得提前预估快照卷的存储空间有多大,一旦快照卷存储空间溢出就意味着快照卷的崩溃!快照卷拥有以下特点: 1>.逻辑卷快照,事实上它本身是一个逻辑卷,但是它仅仅是作为原卷的另外一个访问路径; 2>.刚刚创建快照卷时,快照卷中是没有任何数据的,所有数据都执行了原卷的数据块,…

使用lvm快照实现物理备份 优点: 几乎是热备(创建快照前把表上锁,创建完后立即释放) 支持所有存储引擎 备份速度快 无需使用昂贵的商业软件(它是操作系统级别的) 缺点: 可能需要跨部门协调(使用操作系统级别的命令,DBA一般没权限) 无法预计服务停止时间 数据如果分布在多个卷上比较麻烦(针对存储级别而言) 操作流程: 1.flush table with read locak; 2.create snapshot 3.show master status; show slave status;…

备份类型: 热备份:读写不受影响 温备份:仅可执行读备份 冷备份:离线备份,读写均不能执行,关机备份 物理备份和逻辑备份 物理备份:复制数据文件,速度快. 逻辑备份:将数据导出之文本文件中,必要时候,把他还原回去. 完全备份.增量备份.差异备份 完全备份:备份全部数据 增量备份:仅备份上次完全备份以来变化的数据 差异备份:仅备份上次备份或增量备份以后变化的数据 备份是什么?数据.配置文件.二进制日志.事务日志.-+ MyISAM:不支持热备份,借助逻辑卷(LV),否则只能用温备份. Innodb…

快照备份原理(从其他博客看的): 原理:通过lvm快照给lvm真身拍个照片,当lvm真身发送改变时,lvm快照把lvm真身改变之前的内容存放在快照上,这样在lvm快照有效的这段时间内,我们看到的lvm快照上的内容始终是lvm真身在创建lvm快照时内容,通过备份lvm快照即可达到在线备份lvm真身的目的.需要注意的是,当lvm快照比lvm真身小时,若lvm真身发生的改变大于lvm快照,则lvm快照将变得无法读取而失效; 若lvm快照大于等于lvm真身,则不会发生前面的情况.当一个snapshot创…

一.实验环境 一台测试机:A(172.18.30.1) 操作系统:Centos7 操作对象数据库版本:mariadb-10.2 二.实现目的 从A机器(172.18.30.1)简单搭建数据库,创建测试数据,使用逻辑卷快照实现数据的备份,执行误操作,通过备份实现数据的还原 三.简单实验步骤 创建卷组和逻辑卷 挂载逻辑卷到指定位置 配置mysql的rpm源 A机器yum安装maraidb 配置mysql配置文件 创建测试数据 锁定数据库写操作 执行LVM的快照操作,对数据库状态进行快照 记录当前bi…

使用mysqldump备份时,如果存储引擎为MyISAM,则只能实现温备份,并需使用选项--lock-all-tables锁定所有表.如果存储引擎为InnoDB,则加上--single-transaction选项,可以实现热备.使用mysqldump进行逻辑备份,还存在如下问题:浮点数据丢失精度: 备份出的数据更占用空间:不过可压缩后以大大节省空间 不适合对大数据库(如一个库超过10G)做完全备份 另外对InnoDB而言,需要使用mysql> FLUSH TABLES WITH READ LOC…

转载自:http://wenku.baidu.com/link?url=cbioiMKsfrxlzrJmoUMaztbrTelkE0FQ8F9qUHX7sa9va-BkkL4amvzCCAKg2hBv5ZmYL_ERp3Wprd1jVxG-333s6tCJn2LGqCAvFmJ6dXC Logical VolumeManager (LVM)提供了对任意一个LogicalVolume(LV)做“快照”(snapshot)的功能,以此来获得一个分区的状态一致性备份. 在某一个状态下做备份的时候,可能…

1.查看磁盘数 ls /dev/ | grep sd 2.快照备份 pvcreate /dev/sdb #制作成物理卷vgcreate testvg /dev/sdblvcreate -L200M -n testlv testvg #创建逻辑卷mkfs -t ext4 /dev/testvg/testlv #格式化lvmount /dev/testvg/testlv /mnt #挂载目录 mount -t  ext3  /dev/myvg1/mylv1  /mnt/mylv1    #挂载lvm…

一 快照介绍 快照就是将当时的系统信息记录下来,就好像照相一样,未来若有任何资料变动了,则原始资料会被移动到快照区,没有被改动的区域则由快照区与档案系统共享. 二 快照原理 当建立快照区时,LVM会预留一个区域作为数据存放处,此时快照区内并没有任何数据,而快照区与系统区共享所有的PE 数据, 因此快照区的内容与文件系统是一模一样的.假设某区域的数据有修改,则修改前系统会将该区域的数据移动到快照区,而其他区域的区块则还是与文件系统共享. 注意:快照区与被快照的LV必须在同一VG里. 三 建立LV…

目录: Keras简介 Keras学习手册 Keras学习视频 Keras代码案例 Keras&NLP Keras&CV Keras项目 一.Keras简介 Keras是Python中以CNTK.Tensorflow或者Theano为计算后台的一个深度学习建模环境.相对于其他深度学习的框架,如Tensorflow.Theano.Caffe等,Keras在实际应用中有一些显著的优点,其中最主要的优点就是Keras已经高度模块化了,支持现有的常见模型(CNN.RNN等),更重要的是建模过程相当…

源地址 国内的专业Linux网站(GB) ChinaUnix Linux中国 实验楼: 免费提供了Linux在线实验环境,不用在自己机子上装系统也可以学习Linux,超方便实用!. 国内的专业Linux网站(BIG5) 香港Linux用户协会:了解香港Linux的好网站. Linux@Taiwan:台湾的Linux爱好者组织,CLDP的家,列有翻译的Linux HOWTO 中文版. Chinese Linux Extensions Website :中文Linux扩展(CLE),基于Red Ha…

目录 LVM构架 分区 pvcreat vgcreat lvcreat 格式化文件系统 挂载至目录 已经学过很多很多遍LVM了,每次都觉得自己学会了,每次都是得查询才能搞定,这次给LVM做个专题,在有道云笔记上也开个专题,专门就记录LVM的使用. 郁闷死了~ LVM构架 LVM的构架如下图: LVM不同阶段描述 LVM操作基本命令 分区 fdisk -l lsblk fdisk /dev/sdb n p [回车] [回车] [回车] p w fdisk -l lsblk 这样就给sdb分了一个区…

磁盘快照的使用(快照好像只可以使用一次,用过后自动删除) 首先在 /bplvm 下随便创建一个文件,如a.txt 然后执行命令 lvcreate -L 120M -s -n SNAP /dev/storage/vo   #生成一个快照,-L指定大小,-s生成快照,-n命名 .如果将这个分区挂载到某一个目录下,挂载目录下的内容和vo分区的内容一样.其中这个120M是指vo里面变动的内容大小最大值.变动的内容超过120M,那么该快照lv自动失效.其实实际大小和vo的lv大小一样,只是可读写的大小为1…

lvm是逻辑卷管理的简称,它将一个或多个物理硬盘分区(PV)组成一个逻辑硬盘(VG)来使用,  然后从这个VG中划分出逻辑分区(LV), 以上概念是我理解的东西,可能和书上的不一样. 以下所有命令都是在CENTOS6.5上进行操作的 1:对磁盘进行分区 使用fdisk对磁盘进行分区.注意分区的格式,LVM对应的是8e, 创建完成后记得重启电脑. Command (m for help): p Disk /dev/vda: bytes heads, sectors/track, cylinders…

一个执着于技术的公众号 地方 背景 在Linux虚拟化技术中,网络层面,通常重要的三个技术分别是Network Namespace.veth pair.以及网桥或虚拟交换机技术.今天就通过实验带大家一起学习下Linux网络虚拟化技术. 我们首先了解下Network Namespace,它是由Linux内核提供,是实现网络虚拟化的重要功能.通过创建多个隔离的网络空间,实现网络资源的隔离. 不同的Network Namespace的资源互相不可见,彼此之间无法通信.如下图所示: Network Na…

一个执着于技术的公众号 简介 本文主要为大家讲解 CentOS 7系统中执行yum命令失败等常见问题的排查方法. 1.执行yum命令报404错误 1)检查yum仓库是否配置正确,可以到阿里云下载repo配置文件. wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 2)如果报错中包含$releasever变量, 则执行rpm -qa | grep centos-release…

一个执着于技术的公众号 在网际层中,利用 IP 地址将数据传输到目的地.为了能够使数据正确地发送到目标主机上,网络上的 IP 地址必须有一定的规则来识别主机的位置. IP地址的基本构成 为了便于寻址,了解目标主机的位置,每个 IP 地址包括两个标识码(ID),即网络 ID 和主机 ID.同一个物理网络上的所有主机都使用同一个网络 ID,网络上的一个主机(包括网络上的工作站.服务器和路由器等)有一个主机 ID 与其对应.网络 ID 和主机 ID 含义如下: 网络 ID:用于识别主机所在的网络,网络…

一个执着于技术的公众号 一.背景 随着云计算.虚拟化相关技术的发展,传统网络无法满足大规模.灵活性要求高的云数据中心的要求,于是便有了overlay网络的概念.overlay网络中被广泛应用的就是vxlan技术.首先我们了解下随着云计算的发展,传统网络面临哪些挑战. 1.虚拟机迁移范围受到网络架构限制 虚拟机迁移,顾名思义,就是将虚拟机从一个物理机迁移到另一个物理机,但是要求在迁移过程中业务不能中断.要做到这一点,需要保证虚拟机迁移前后,其IP地址.MAC地址等参数维持不变.这就决定了,虚拟机迁…

一个执着于技术的公众号 实战1 服务器禁止ping iptables -A INPUT -p icmp --icmp-type 8 -s 0/0 -j DROP // 禁止任何人ping通本机 " 除了上面禁止PING的方法,我们还可以通过修改内核配置实现,如下: echo net.ipv4.icmp_echo_ignore_all=1 >> /etc/sysctl.conf sysctl -p // 如果允许PING,则将 `ignore_all=1`,修改成 `ingore_al…