import ( "fmt" "github.com/allegro/bigcache" "github.com/kooksee/usmint/cmn" "github.com/pingcap/tidb/store/tikv" "github.com/tendermint/tendermint/libs/log" "os" "time" ) var Name = &q…

背景 TIKV使用raft协议来实现副本同步,任何时刻写入一个KEY-VAL键值对,都会基于RAFT协议复制到不同机器的三个副本上,raft协议本身能保证副本同步的强一致性,但是任何系统都可能存在BUG,如果由于程序BUG导致出现副本不一致,我们需要有一个机制能够检测出来,同时这个一致性检测功能不应该影响系统的正常运转. 基本思想 集群中每个TIKV进程都运行有一个检测线程,检测线程周期性的从所有的本地副本中选出一个距离上一次检测时间最老的Leader副本,写一条命令字为AdminCmdType…

Tendermint作为当前最知名且实用的PBFT框架,网上资料并不很多,而实现Tendermint和以太坊的Go语言,由于相对小众,也存在资料匮乏和模糊错漏的问题.本文简单介绍PBFT概念和Go语言[&开发环境]关键知识点,其中大部分都可单独成篇,限于篇幅,文中提供诸多链接供大家深入.日后可能会基于Tendermint出系列博文,此篇纯当基础. 概念 下述一部分在前篇区块链初探中亦有涉及,可结合着看. 分布式系统中的异步和共识 异步:这里的异步不同于通常技术术语中的异步调用的异步,而是指在一个…

本文为 TiKV 源码解析系列的第三篇,继续为大家介绍 TiKV 依赖的周边库 rust-prometheus,本篇主要介绍基础知识以及最基本的几个指标的内部工作机制,下篇会介绍一些高级功能的实现原理. rust-prometheus 是监控系统 Prometheus 的 Rust 客户端库,由 TiKV 团队实现.TiKV 使用 rust-prometheus 收集各种指标(metric)到 Prometheus 中,从而后续能再利用 Grafana 等可视化工具将其展示出来作为仪表盘监控面板…

这两天接到任务说是要进行测试缩减机器给集群带来的负面效果有哪些. 然后我就按照官方的教程将机器进行了缩减,主要是缩减tikv节点 我们先来看看官方的文章是怎么写的: 步骤都没有什么问题,就是进行到第二步的时候,一定要等到节点的状态变成“Tombstone”才可以正常下线.但在刚开始的时候,他的状态一直是“offline”,此时的状态说明节点正在迁移leader节点和数据,官方说是等待几分钟就可以了,而我在进行缩减三个节点中,有一个节点等了两天还是“offline”的状态,我觉得这肯定是有问题的,…

生产环境下,如何缩减机器? 1.首先是检查出来那个tikv节点需要缩减 " -d store { ", "stores": [ { "store": { "id": 1, "address": "172.31.17.203:20171", "labels": [ { "key": "host", "value"…

tiKV 最底层使用的是 RocksDB(tidb3.0版本中将使用tian存储引擎) 做为持久化存储,所以 TiKV 的很多性能相关的参数都是与 RocksDB 相关的.TiKV 使用了两个 RocksDB 实例,默认 RocksDB 实例存储 KV 数据,Raft RocksDB 实例(简称 RaftDB)存储 Raft 数据. TiKV 使用了 RocksDB 的 Column Families (CF) 特性. 默认 RocksDB 实例将 KV 数据存储在内部的 default.wri…

本系列文章主要面向 TiKV 社区开发者,重点介绍 TiKV 的系统架构,源码结构,流程解析.目的是使得开发者阅读之后,能对 TiKV 项目有一个初步了解,更好的参与进入 TiKV 的开发中. 需要注意,TiKV 使用 Rust 语言编写,用户需要对 Rust 语言有一个大概的了解.另外,本系列文章并不会涉及到 TiKV 中心控制服务 Placement Driver(PD) 的详细介绍,但是会说明一些重要流程 TiKV 是如何与 PD 交互的. TiKV 是一个分布式的 KV 系统,它采用 R…

本系列文章主要面向 TiKV 社区开发者,重点介绍 TiKV 的系统架构,源码结构,流程解析.目的是使得开发者阅读之后,能对 TiKV 项目有一个初步了解,更好的参与进入 TiKV 的开发中.本文是本系列文章的第六章节.重点介绍 TiKV 中 Raft 的优化. 在分布式领域,为了保证数据的一致性,通常都会使用 Paxos 或者 Raft 来实现.但 Paxos 以其复杂难懂著称,相反 Raft 则是非常简单易懂,所以现在很多新兴的数据库都采用 Raft 作为其底层一致性算法,包括我们的 TiK…

export HostIP="127.0.0.1" docker run -d -p 2379:2379 -p 2380:2380 --name pd pingcap/pd \ --name="pd" \ --data-dir="pd" \ --client-urls="http://0.0.0.0:2379" \ --advertise-client-urls="http://${HostIP}:2379"…