什么是 Delta 文件 Delta 文件应用很广泛,特别是在数据库领域 What Is a Delta File? During most computer operations, copying, downloading or uploading a file requires duplicating the entire file every time. For example, if you copy a file to a USB drive, then modify one line…

在今天的文章里,我想谈下使用内存中OLTP的内存优化文件组来获得持久性,还有如何配置它来获得高性能.在进入正题前,我想简单介绍下使用你数据库里这个特定文件组,内存OLTP是如何获得持久性的. 内存中OLTP的持久性 早些天对内存中OLTP(代号Hekaton)的一个大误解是,人们认为内存中OLTP是不具有ACID属性的——只有ACI属性,没有D属性(Durability).但这不是真的,因为在内存中OLTP里,每个在内存中的操作都是完全日志的.如果你的数据库崩溃,内存中OLTP可以将你的数据库和…

目录 Delta Lake源码分析 Delta Lake元数据 snapshot生成 日志提交 冲突检测(并发控制) delete update merge Delta Lake源码分析 Delta Lake元数据 delta lake 包含Protocol.Metadata.FileAction(AddFile.RemoveFile).CommitInfo和SetTransaction这几种元数据action. Protocol:这是delta lake自身的版本管理,一般只出现在第一次的co…

背景: 一次客户现场突然掉电,导致虚拟机文件夹里面的文件丢失,只剩余-flat.vmdk和-delta.vmdk文件,其他文件全部丢失,文件格式原本为"文件"格式.新建虚拟机无法直接使用此文件夹里面的文件. 知识普及: xx-delta.vmdk是快照磁盘数据文件 xx-flat.vmdk是磁盘数据文件 -flat.vmdk文件:这是个默认的大型虚拟磁盘数据文件,创建于你添加虚拟硬盘驱动到虚拟机时,而不是RDM.当使用厚磁盘时,这个文件的大小相当于你创建虚拟硬盘驱动时所指定的大小. -…

阅读思路: 1.源码编译 2.功能如何使用 3.实现原理 4.源码阅读(通读+记录+分析) 源码结构 源码分析 元数据 位置:org.apache.spark.sql.delta.actions下的actions文件 Protocol: 当对协议进行向后不兼容的更改时,用于阻止旧客户端读取或写入日志.在执行任何其他操作之前,readers和writers负责检查它们是否满足最低版本 SetTransaction: 设置给定应用程序的提交版本 AddFile: 往table中添加一个新文件 Rem…

SQL Server 2014 新特性——内存数据库 目录 SQL Server 2014 新特性——内存数据库 简介: 设计目的和原因: 专业名词 In-Memory OLTP不同之处 内存优化表 内存优化表的索引 并发能力的提升 和竞争对手相比几点 Getting Start 内存数据库的使用 存储 TSQL支持 简介: 内存数据库(In-Memory OLTP),代号Hekaton 设计目的和原因: 1.将请求的负荷放到内存中 2.减少数据延迟 3.来适应特殊的负荷类型 如果数据都是在内存…

本文来自:http://mysql.taobao.org/monthly/2016/03/07/ 前言 Percona XtraBackup(简称PXB)是 Percona 公司开发的一个用于 MySQL 数据库物理热备的备份工具,支持 MySQL(Oracle).Percona Server 和 MariaDB,并且全部开源,真可谓是业界良心.我们 RDS MySQL 的物理备份就是基于这个工具做的. 项目的 blueprint 和 bug 讨论放在 Launchpad,代码之前也放在 Lau…

本系列文章会介绍云与备份之间的关系,包括: (1)VMware 虚机备份和恢复 (2)KVM 虚机备份和恢复 (3)云与备份 (4)OpenStack 与备份 (5)公有云与备份 1. 与备份有关的VMWare基础知识 1.1 VMware 虚机磁盘在 ESXi 宿主机上的文件 简单来说,虚机的每个虚拟磁盘由ESXi 宿主机上的三个文件组成(这里的虚机名字是 sammy-target-win-small,下面是其第一个磁盘对应的三个文件): sammy-target-win-small.vmdk…

声明:本文由我的同事@fiona514编写,是我看过的最用心的中文说明介绍,强烈推荐大家学习使用. Percona Xtrabackup 2.4.1 编译及软件依赖 centos5,6 需要升级cmake至2.8.2版本以上,解决:安装cmake版本3.4.3测试通过 centos5 gcc g++ 需要升级gcc至4.4以上上 ,解决:安装4.4.7测试通过 另外xtrabackcup另外Boost版本需要1.59.0版本或以上,目前centos5,6默认是1.41.0.解决:升级至1.59.…

XtraBackup XtraBackup 2 安装XtraBackup 2.1 安装XtraBackup binary版本 2.1.1 yum的安装方法: 2.1.2 直接下载rpm包安装 3 XtraBackup使用手册 3.1 使用innobackupex脚本 3.1.1 备份预备工作 3.1.2 全备和全备还原 3.1.2.1 使用innobackupex创建全备 3.1.2.2 使用innobackupex预备全备 3.1.2.3 使用innobackupex还原备份 3.1.3 增量…