AppBoxFuture: Raft快照及日志截断回收

AppBoxFuture的存储引擎依赖Raft一致性协议来保证各个分区副本的一致性,如果不处理Raft日志将不断增长,因此需要特定的机制(定期或每处理一定数量的日志)来回收那些无用的日志数据.通过学习Raft协议内的Log Compaction,并参考TiKV等实现,作者初步实现了分区快照与日志截断回收功能. 一.快照流程: 每个分区对应一个Raft组,由不同的Raft节点分布在集群的不同机器上,每个RaftNode都在循环处理Ready(如下图所示): 在达到快照创建条件时(上图步骤6…

SQL Server 事务日志截断、回绕与收缩（转载）

每个 SQL Server 数据库都具有事务日志,用于记录所有事务以及每个事务对数据库所做的修改. 必须定期截断事务日志以避免它被填满. 但是,一些因素可能延迟日志截断,因此监视日志大小很重要. 某些操作可以最小日志量进行记录以减少其对事务日志大小的影响. 事务日志是数据库的重要组件,如果系统出现故障,则可能需要使用事务日志将数据库恢复到一致状态. 删除或移动事务日志以前,必须完全了解此操作带来的后果. 事务日志支持以下操作: 恢复个别的事务. 在 SQL Server 启动时恢复所有未完成的事…

SQL Server 日志截断

截断事务日志是逻辑操作,只是把日志的一部分标记为‘不再需要’所以可以重用这个空间,截断不是物理操作,不会减少磁盘上文件的大小, 要减小物理大小必定要进行收缩. ----------- 有时就算是备份都不可以截断日志: 这是因为用户打开了一个事务,而又忘记自己打开子它,引起的(这个事务不会提交也不会回滚,它还会是一个活动事务)…

Flume 自定义拦截器多行读取日志+截断

前言: Flume百度定义如下: Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据:同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力. 搭建并使用flume不是特别难,而且网上也有技术文章分享,我不再赘述了.本文主要建立在已经搭建并使用flume的情况. 业务场景: flume读取日志是按行读取,无法进行多行读取,当出现如下日志时将无法读到日志的正确时间与类型信…

SQL Server 2012 清理日志截断日志的方法

MEDIA数据库名 ALTER DATABASE MEDIA SET RECOVERY SIMPLE WITH NO_WAIT ALTER DATABASE MEDIA SET RECOVERY SIMPLE --简单模式 DBCC SHRINKFILE (N'MEDIA_Log' , 11, TRUNCATEONLY) -- 11是大小 11M ALTER DATABASE MEDIA SET RECOVERY FULL WITH NO_WAIT ALTER DATABASE MEDIA SE…

rsyslog 解决日志截断不读取问题

reopenOnTruncate [on/off] (requires v8.16.0+) Default: off 这是一个实验性的东西告诉rsyslog 重新input file 当它被truncated(inode 没有改变但是文件大小是小于当前偏移量在内存里) input(type="imfile" File="/var/log/nginx/scan.log" Tag="uat-scan" Severity="info&quo…

SqlServer 2012 清理日志截断日志的方法

ALTER DATABASE test SET RECOVERY SIMPLE WITH NO_WAITALTER DATABASE test SET RECOVERY SIMPLE --简单模式DBCC SHRINKFILE (N'test_Log' , 1, TRUNCATEONLY) -- 11是大小 11MALTER DATABASE test SET RECOVERY FULL WITH NO_WAITALTER DATABASE test SET RECOVERY FULL --还原…

MIT 6.824 Lab2D Raft之日志压缩

书接上文Raft Part C | MIT 6.824 Lab2C Persistence. 实验准备实验代码:git://g.csail.mit.edu/6.824-golabs-2021/src/raft 如何测试:go test -run 2D -race 相关论文:Raft Extended Section 7 实验指导:6.824 Lab 2: Raft (mit.edu) 实验目标实现Snapshot.CondInstallSnapshot.InstallSnapshot RPC…

Raft 实现日志复制同步

Raft 实现日志复制同步本篇文章以 John Ousterhout(斯坦福大学教授) 和 Diego Ongaro(斯坦福大学获得博士学位,Raft算法发明人) 在 Youtube 上的讲解视频及 ppt 为蓝本,深入分析 Raft 的内部机制,并以日志复制同步(Replicated Logs)为背景,详细介绍使用 Raft 协议实现日志复制的共识性问题. 目标:日志复制同步 Raft 的目标是将日志完整地复制到集群内的所有服务器,这些复制的日志会被状态机所使用.假设我们希望程序或应用能可靠…

SQL 2008 R2数据库变为REPLICATION，日志不断增长并且不能截断和收缩的解决方式

执行环境:windows server2003,sql server2008 R2,数据库上布置CDC 用户反应系统报错是日志已满,系统不能执行. 查看日志文件时.发现日志文件已经达到15G,后来为了解决这个问题,干脆把数据库移到还有一个F盘,D盘专门放日志文件.空间有80G. 当时想这80G至少保证系统执行一周吧.谁知道系统刚执行两天.日志文件已爆涨到80G,D盘空间仅剩余10MB.数据库做不论什么动作都不能够. 重新为了应急把日志文件直接删除(先停掉服务,删除日所文件,再通过DBC…

SQL Server如何截断(Truncate)和收缩(Shrink)事务日志

当SQL Server截断事务日志时,它仅仅是在虚拟日志文件中做个标记,以便不再使用它,然后准备以重用形式来做备份(假如运载在完整或是批量日志恢复模型).也就是说,在使用简单恢复模型时,事务日志包括如下的日志记录: 当checkpoint发生时,虚拟日志文件1.2不再被使用,因为事务1.2已经被提交了,而且日志记录也不再需要回滚了.然后SQL Server重用虚拟日志文件1.2,如下图: 这就是我们所熟知的事务日志截断.基本上,事务日志的活动区间已经被截断了,但是事务日志的物理大小不会改变,除非…

redis快照持久化和aof日志持久化

持久化就是即使断电/重启需要存储的数据不会丢失,即将数据存储在设备中,一般存在硬盘内 redis的持久化有2种方式 :1-rdb快照 2-aof日志,可以通过配置redis.conf文件进行配置 rdb快照的配置选项: 配置完成后重启redis即可生效,使用rdb持久化有一个弊端,假如在即将达到300秒时正好有了10个写入操作,这时就会生成快照,快照生成完毕后又有新的写入操作,就在这个时候断电啦, 来电后启动redis自动导入rdb文件,数据只有快照生成之前的数据,之后的部分数据丢失,这就用到…

ZooKeeper系列(5)：ZooKeeper的日志和快照

ZooKeeper系列文章:https://www.cnblogs.com/f-ck-need-u/p/7576137.html#zk ZooKeeper有两种日志.一种快照.日志分为事务日志和ZooKeeper运行时的系统日志. 1.事务日志和快照 ZooKeeper集群中的每个服务器节点每次接收到写操作请求时,都会先将这次请求发送给leader,leader将这次写操作转换为带有状态的事务,然后leader会对这次写操作广播出去以便进行协调.当协调通过(大多数节点允许这次写)后,leader…

SqlServer 2014该日志未截断，因为其开始处的记录是挂起的复制操作或变更数据捕获

环境:AlwaysOn集群操作系统:Windows Server 2008 R2 数据库: SQL Server 2014 错误提示:“该日志未截断,因为其开始处的记录是挂起的复制操作或变更数据捕获.请确保日志读取器代理或捕获作业正在运行,或使用 sp_repldone 将事务标记为分布式或捕获.BACKUP LOG 成功处理了 19424 页,花费 2.428 秒(62.497 MB/秒).” 用语句查看同步状态,如果是replication,则不能截断. SELECT ag.name AS…

Etcd中Raft日志复制的实现

Raft state of log commitIndex : A log entry is committed once the leader that created the entry has replicated it on a majority of the servers. 在大多数服务器上复制了该条日志,则该条日志的index可以被认为是commited lastApplied : 上一个被状态机应用的index 这2个属性都被标注了 volatile Impl in Etcd 日…

SQL Server中的事务日志管理(7/9)：处理日志过度增长

当一切正常时,没有必要特别留意什么是事务日志,它是如何工作的.你只要确保每个数据库都有正确的备份.当出现问题时,事务日志的理解对于采取修正操作是重要的,尤其在需要紧急恢复数据库到指定点时.这系列文章会告诉你每个DBA应该知道的具体细节. 这篇文章会列出导致事务日志过度增长的常见的问题和错误管理形式,包括: 在完整恢复模式里,没有进行日志备份进行索引维护长时间运行或未提交的事务阻止事务日志里空间重用当然,如果增长没检查,日志文件会扩展直到吞没所有可用磁盘空间或日志文件的最大大小,在这个时候你…

分布式一致性算法--Raft

前面一篇文章讲了Paxos协议,这篇文章讲它的姊妹篇Raft协议,相对于Paxos协议,Raft协议更为简单,也更容易工程实现.有关Raft协议和工程实现可以参考这个链接https://raft.github.io/,里面包含了大量的论文,视屏已经动画演示,非常有助于理解协议.概念与术语leader:领导者,提供客户提供服务(生成写日志)的节点,任何时候raft系统中只能有一个leader.follower:跟随者,被动接受请求的节点,不会发送任何请求,只会响应来自leader或者candida…

SQL Server中的事务日志管理(8/9)：优化日志吞吐量

当一切正常时,没有必要特别留意什么是事务日志,它是如何工作的.你只要确保每个数据库都有正确的备份.当出现问题时,事务日志的理解对于采取修正操作是重要的,尤其在需要紧急恢复数据库到指定点时.这系列文章会告诉你每个DBA应该知道的具体细节. 对于日志文件的最大日志吞吐量,我们从存储架构思路的简单回顾开始,然后进一步看下日志碎片如何影响需要日志读取操作的性能,例如日志备份,或者故障恢复过程. 最后,我们会谈下在日志大小和增长管理的最佳实践,还有对过渡日志增长和碎片的正确处理. 物理架构正确的物理硬件…

SQLServer日志无法收缩原因分析及解决

SQL Server中的事务日志无疑是SQL Server中最重要的部分之一.因为SQL SERVER利用事务日志来确保持久性(Durability)和事务回滚(Rollback).从而还部分确保了事务的ACID属性.在SQL Server崩溃时,DBA还可以通过事务日志将数据恢复到指定的时间点.当SQL Server运转良好时,多了解一些事务日志的原理和概念显得并不是那么重要.但是,一旦SQL SERVER发生崩溃时,了解事务日志的原理和概念对于快速做出正确的决策来恢复数据显得尤为重要.本系列…

SQL Server中的事务日志管理(5/9)：完整恢复模式里的日志管理

当一切正常时,没有必要特别留意什么是事务日志,它是如何工作的.你只要确保每个数据库都有正确的备份.当出现问题时,事务日志的理解对于采取修正操作是重要的,尤其在需要紧急恢复数据库到指定点时.这系列文章会告诉你每个DBA应该知道的具体细节. 在这篇文章里,我们会回顾下当运行在完整恢复模式时,为什么和如何进行日志备份,还有如何使用这些日志备份文件和完整数据库备份一起,进行数据库恢复.完整恢复模式支持数据库数据库还原到有效日志备份里的任何时间点,在尾日志已经备份的情况下,直到上一个提交事务的时间,在灾难…

SQL Server中的事务日志管理(2/9)：事务日志架构概述

当一切正常时,没有必要特别留意什么是事务日志,它是如何工作的.你只要确保每个数据库都有正确的备份.当出现问题时,事务日志的理解对于采取修正操作是重要的,尤其在需要紧急恢复数据库到指定点时.这系列文章会告诉你每个DBA应该知道的具体细节. 虽然我们想回避它,去讨论下事务日志的内部结构和内部运行机制,但适当的理解下日志维护技术是有益的.这个话题在Paul Randal的讲座<理解SQL Server里的日志和恢复>里已经讲得很透彻,另外Kalen Delaney的<深入解析Microsoft…

[转]Raft [Why Not Paxos]

http://blog.csdn.net/cszhouwei/article/details/38374603 动画讲解 http://thesecretlivesofdata.com/raft/ Why Not Paxos Paxos算法是莱斯利·兰伯特(LeslieLamport,就是 LaTeX 中的”La”,此人现在在微软研究院)于1990年提出的一种基于消息传递的一致性算法.由于算法难以理解起初并没有引起人们的重视,使Lamport在八年后1998年重新发表到ACM Transact…

SQL Server 日志文件增长原因定位

方法 1.sys.databases; ---------------------------------------------------------------------------------------------------------------------------------------------------------- 日志文件增长原因: 1.数据库的恢复不是simple.但是又长时间没有进行备份. 2.数据库中有一个很长时间没有提交的事务. 3.数据库有一个很大的事…

一致性算法--Raft

分布式一致性算法--Raft 前面一篇文章讲了Paxos协议,这篇文章讲它的姊妹篇Raft协议,相对于Paxos协议,Raft协议更为简单,也更容易工程实现.有关Raft协议和工程实现可以参考这个链接https://raft.github.io/,里面包含了大量的论文,视屏已经动画演示,非常有助于理解协议.概念与术语leader:领导者,提供客户提供服务(生成写日志)的节点,任何时候raft系统中只能有一个leader.follower:跟随者,被动接受请求的节点,不会发送任何请求,只会响应来自…