分布式事务 要支持分布式事务,首先要解决的就是分布式系统时间的问题,也就是我们用什么来标识不同事务的顺序.通常有几种做法: TrueTime,TrueTime 是 Google Spanner 使用的方式,不过它需要硬件 GPS + 原子钟支持,而且 Spanner 并没有在论文里面详细说明硬件环境是如何搭建的,外面要自己实现难度比较大. HLC,HLC 是一种混合逻辑时钟,它使用 Physical Time 和 Logical Clock 来确定事件的先后顺序,HLC 已经在一些应用中使用,但…

https://github.com/pingcap/tidb http://www.pingcap.com/ Quick Start Run TiDB with Docker You can quickly test TiDB with Docker, the source repository contains the Dockerfile which contains local tidb-server. To install Docker on your system, you can…

[编者按]TiDB 是国内 PingCAP 团队开发的一个分布式 SQL 数据库.其灵感来自于 Google 的 F1,TiDB 支持包括传统 RDBMS 和 NoSQL 的特性.在国内 ITOM 管理平台 OneAPM 举办的技术公开课中,TiDB 的高级工程师刘奇从 HBase 特性.TiDB 的优势和系统架构等方面进行了详细阐述.以下为演讲整理: HBase 简介 众所周知,在 SQL 方面处于顶级的有两个公司,一个是 Oracle,他们已经积累了大量的经验,另一个是谷歌,谷歌 F1 在2…

阅读目录 背景 TiDB是什么 环境部署 实战 性能测试 结语 一.背景 在上一篇尝试CockroachDB(传送门在此:http://www.cnblogs.com/Zachary-Fan/p/cockroachdb_net_csharp.html)的过程中,发现如果从常规的RDBMS迁移过去几乎是不太可能的事情,所以掉头开始调研一下也是这2年比较火的一个NewSQL,而且是我们国人做的产品,火爆程度甚不亚于CockroachDB —— TiDB. 二.TiDB是什么 TiDB(https:/…

由于 TiDB 本身兼容绝大多数的 MySQL 语法,所以对于绝大多数业务来说,最安全的切换数据库方式就是将 TiDB 作为现有数据库的从库接在主 MySQL 库的后方,这样对业务方实现完全没有侵入性下使用 TiDB 对现有的业务进行备份,应对未来数据量或者并发量增长带来的单点故障风险,如需上线 TiDB,也只需要简单的将业务的主 MySQL 地址指向 TiDB 即可. 下面我们详细介绍了如何将 MySQL 的数据迁移到 TiDB,并将 TiDB 作为 MySQL 的 Slave 进行数据同步.…

转自:https://my.oschina.net/Kenyon/blog/908370 一.环境 CentOS Linux release 7.3.1611 (Core)172.26.11.91  pd & tidb172.26.11.92  tikv172.26.11.93  tikv172.26.11.94  tikv 二.安装 分别在4台服务器上上传安装包 wget http://download.pingcap.org/tidb-latest-linux-amd64.tar.gz ta…

地址:https://github.com/pingcap/docs-cn/blob/master/op-guide/configuration.md#tidb TiDB --store 用来指定 TiDB 底层使用的存储引擎 默认: "goleveldb" 你可以选择 "memory", "goleveldb", "BoltDB" 或者 "TiKV".(前面三个是本地存储引擎,而 TiKV 是一个分布式存…

http://mp.weixin.qq.com/s?__biz=MzIzNjUxMzk2NQ==&mid=2247484743&idx=1&sn=04337e020d268a951139ea1b36e74854&chksm=e8d7fa85dfa07393964671f307159a0a6eb13598b242e0b2a674b33d6b672d10383cc9ceb9df&mpshare=1&scene=23&srcid=0309zXCe6mDBW…

背景 因为丰巢自去年年底开始在推送平台上尝试了TiDB,最近又要将承接丰巢所有交易的支付平台切到TiDB上.我本人一直没有抽出时间对TiDB的源码进行学习,最近准备开始一系列的学习和分享.由于我本人没有数据库相关的经验,本着学习的心态和大家一起探讨,欢迎高手随时指正.总结一下本次学习分享的目的: 丰巢把最重要的两个基础业务都放到了TiDB上,后续应该会有更多的核心系统跑在TiDB上,我们丰巢中间件团队作为引入TiDB到丰巢的推动人和执行者,对于TiDB的稳定性和突发事件的处理,一定要做足功课:…

此文目的 由于本人最近已经成为TiDB的粉丝,所以就开始各种研究TiDB的源码,研究源码这个事情,首先就需要在自己电脑上不断的调试及修改.TiDB本身的代码是非常容易编译和调试的,但是要把PD.TiKV集群同时在本机上建立起来,还是有一点难度的.好在pingcap官方提供了docker-compose搭建集群的方式,可以快速的在个人电脑上启动一个TiDB的集群.但是,我要的不只是一个集群,我还希望在我的mac上实时编译调试TiDB服务,这个TiDB服务能够和docker-compose的集群里的…

一. TiDB的核心特性 高度兼容 MySQL 大多数情况下,无需修改代码即可从 MySQL 轻松迁移至 TiDB,分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移. 水平弹性扩展 通过简单地增加新节点即可实现 TiDB 的水平扩展,按需扩展吞吐或存储,轻松应对高并发.海量数据场景. 分布式事务 TiDB 100% 支持标准的 ACID 事务. 高可用 相比于传统主从 (M-S) 复制方案,基于 Raft 的多数派选举协议可以提供金融级的 100% 数据强一致性保证,且在不丢失…

由于目前的项目把mysql换成了TiDb,所以特意来了解下tidb.其实也不能说换,由于tidb和mysql几乎完全兼容,所以我们的程序没有任何改动就完成了数据库从mysql到TiDb的转换,TiDB 是一个分布式 NewSQL (SQL . NoSQL 和 NewSQL 的优缺点比较 )数据库.它支持水平弹性扩展.ACID 事务.标准 SQL.MySQL 语法和 MySQL 协议,具有数据强一致的高可用特性,是一个不仅适合 OLTP 场景还适合 OLAP 场景的混合数据库.下面是对有关资料的整…

TiDB已经在项目中使用,从了解来看,它主要解决的是分布式事务的问题,而我们实际使用场景,却是大数据量下不需要关注分表: 最近实在忙加懒,一直没时间看TiDB的原理.今天看了下PingCAP3篇入门介绍,收获挺多: 首先TiDB的存储使用的是KV,名字叫TiKV,实际数据落地使用的是Facebook开源的RocksDB: RocksDB只能支持单机存储,TiDB在此之上实现了副本机制,构成集群模式:但多副本模式下,数据一致性成为一个挑战,目前TiDB使用Raft协议保证副本间的数据一致性:具体是…

TiDB是新一代开源分布式 NewSQL 数据库,相比较于我们常见的数据库MySQL,TiDB具有水平伸缩.强一致性的分布式事务.基于 Raft 算法的多副本复制等特性.同时,TiDB兼容MySQL生态,具有丰富的周边工具.TiDB的设计初衷,并不是想要在小数据量下取代 MySQL,而是尝试去解决基于单机数据库解决不了的一些问题. TiDB 是一个兼容 MySQL 协议和语法的分布式数据库,但是由于其内部实现,特别是支持分布式存储以及分布式事务,使得一些使用方法和 MySQL 有所区别.宽泛的讲…

遇见 TiDB 文章来源:企鹅号 - 塔塔驿站 最近TiDB掀起了一波分布式数据库的热潮,公司也在着手准备TiDB的落地工作,前几天也参与了几场公司针对TiDB的分享会,下面我们了解一下关于TiDB. TiDB 是什么? TiDB 是一个分布式 NewSQL 数据库.它支持水平弹性扩展.ACID 事务.标准 SQL.MySQL 语法和 MySQL 协议,具有数据强一致的高可用特性,是一个不仅适合 OLTP 场景还适合 OLAP 场景的混合数据库. TiDB怎么来的? 著名的开源分布式缓存服务 C…

一:各模块属性 模块名称 状态 建议实例数 功能 负载均衡组件 TiDB 无状态 2 接收SQL请求,处理SQL相关逻辑,并通过PB找到存储数据的TiKV地址 LVS.HAProxy.F5 PB 集群 3 奇数个节点,推荐>3 整个集群的管理模块,存储元信息.对TiKV集群进行调度和负载均衡.分配全局事务ID  Raft TiKV 集群 3 负责存储数据  Raft 二:环境要求 2.1:开发测试环境: 组件 CPU 内存 本地存储 网络 实例数量(最低要求) TiDB 8核+ 16 GB+ 无…

以下是使用jdbc操作TiDB数据库,得到的交互过程和指令的说明 ==>代表发送给数据库的指令 // 加载驱动程序Class.forName(driver); // 连接数据库 Connection conn = DriverManager.getConnection(url, user, password); ==>(cmd=mysql.ComQuery)/* mysql-connector-java-6.0.6 ( Revision: 3dab84f4d9bede3cdd14d57b99e…

操作系统:CentOS7 mysql版本:5.7 TiDB版本:2.0.0 同步方法:使用TiDB提供的工具集进行同步 说明: 单机mysql同步时,可以直接使用binlog同步, 但mysql集群进行同步时,则必须依靠GTID,但开启GTID后,对事物要求更高,导致以下操作会失败: (1) 不能同时揉合多个事件:(2) 事务内部不能创建临时表:(3) 不能在同一事务中即更新InnoDB表,又更新MyISAM表. 下载tidb的同步工具包 # wget http://download.pingc…

 在线安装TiDB集群 服务器准备 说明:TiDB8需要能够连接外网,以便下载各类安装包 TiDB4非必须,但最好是有一台,因为后续测试Mysql数据同步或者进行性能比较时,都要用到 TiKV最好是采用Ext4文件格式,所以使用挂载盘的方式增加(如果没有数据盘,那么不配置也能安装成功) 机器名 IP 操作系统 配置 用途 TiDB1 ***.62 CentOS7.4 X64 4C+8G+60G+200G扩展 TiKV+TiSpark TiDB2 ***.63 CentOS7.4 X64 4C+8…

前言 这里采用了tpc-h一个数据库的数据量来进行查询计划的对比.并借助tpc-h中的22条查询语句进行执行计划分析. mysql采用的是标准安装,TiDB采用的是单机测试版,这里的性能结果不能说明其性能差异 本文章主要目的是对比Mysql与TiDB在执行sql查询时的差异. mysql版本5.7   TiDB版本v2.0.0-rc.4 准备阶段 数据导入TiDB后是缺少统计信息的: SHOW STATS_META 可以手工进行统计信息的刷新 ANALYZE TABLE nation,regio…

Mysql与tidb测试数据为8000万行. 1.修改一个字段的列名,比如将“ctime”修改为“cctime”. Tidb测试: MySQL测试: 2.同一属性之间切换,即修改一个字段的属性大小.比如将int类型修改为bigint类型 Tidb: Mysql: MySQL是创建临时表的方式来加字段,因此这个时间花费已超过40分钟,所以停止了操作. 总结:同一个属性之间切换时,可以对比出来,tidb花费的时间是极少的,在8000万行的数据时依然能表现出极好的性能,但是同比之下MySQL的表现极差…

MySQL是我们日常生活中常见的数据库,他的innodb存储引擎尤为常见,在事务方面使用的是扁平事务,即要么都执行,要么都回滚.而tidb数据库则使用的是分布式事务.两者都能保证数据的高一致性,但是在实现方式上是不一样的. 我们先来看看MySQL的事务机制,采用redo log机制来保证事务更新的一致性和持久性.那我们来看看innodb重做日志的内部机制. 当更新数据时,innodb内部的操作流程是: 而tidb数据库,在事务上采用的是乐观锁: TiDB 使用乐观事务模型,在执行 Update.…

今天启动集群tidb时出现一个错误,是某个tikv节点报错:node_exporter-9100.service  failed 一个节点的问题会导致整个集群启动失败.去此节点下的日志文件中查找,发现没有什么报错原因.无奈此时只能去系统日志中查看发生了什么问题 果然发现了问题 Jan 16 15:35:05 ip-172-31-26-133 systemd-logind: New session 2045 of user tidb. Jan 16 15:35:05 ip-172-31-26-13…

前言 前面三章基本把 TiDB 的环境弄好了,也做了一下简单测试,有兴趣的同学可以看一下: TiDB 入门(一):TiDB 简介 TiDB 入门(二):虚拟机搭建 TiDB-Ansible 部署方案 TiDB 入门(三):简单测试 本来还有一些用 jmeter 压力测试的,后来测试的结果非常不好,就不想写出来了,因为自己毕竟是用虚拟机模拟的和 TiDB 官网推荐的配置差很多,如果自己写出来是有失偏颇的. 为何"跑路" 穷 我们可以看到,TiDB 对性能要求特别高,简单看一下配置.参考:…

一 简介:今天我们继续学习tidb的增量传输 二 说明: tidb高度兼容mysql,可以仿照mysql的主从同步复制机制实现mysql->tidb的增量传输 三 实验: 1 下载tidb官方工具包 2  建立 config.toml进行配置 [from] [to] 模块 填写mysql和tidb的相关信息 replicate-ignore-db 设置过滤的库 replicate-ignore-table 设置过滤的表   replicate-do-db    设置应用的库  replicate…

一 简介:今天我们继续学习tidb 二 集群管理 0 集群配置       验证 4台一组 3个kv 一个pd+server       上线 6台一组   1 动态添加kv服务       nohup tikv-server --pd="IP1:2379" --addr="IP2:20160" --data-dir=/usr/local/tidb/tikv --log-file=/usr/local/tidb/tikv.log & pd指向已存在的pd服务…

tidb集群安装测试1 环境 3台机器2 配置   server1 pd服务+tidb-server   server2 tidb-kv   server3 tidb-kv3 环境配置命令   server1 启动+   nohup pd-server --data-dir=/usr/local/tidb/pd --log-file=/usr/local/tidb/pd.log -peer-urls='http://IP1:2380' -client-urls='http://IP1:2379'…

一 简介:咱们今天来学习导入数据篇 二  导入数据测试   1 工具   mysqldumper   loader   2 下载tidb企业版工具  wget http://download.pingcap.org/tidb-enterprise-tools-latest-linux-amd64.tar.gz 3 使用  1 检测表  checker -host IP -port 3306 -user user -password password db table 2 导出 mydumper…

一 简介:介绍新型NEW SQL数据库tidb 二 目的: tidb出现的目的,就是代替mysql+中间件,实现横向水平扩展 三 核心理论观点 1 MySQL 是单机数据库,只能通过 XA 来满足跨数据库事务,而 TiDB 本身就通过 Google 的 Percolator 事务模型支持分布式事务,性能稳定性比 XA 要高出很多,所以不会也不需要支持 XA.也就是说tidb并不是依靠XA事务实现的分布式一致性 2 三层架构 TiDB 是 Server 计算层,主要负责 SQL 的解析.制定查询计…

一 简介:今天来研究Tidb 二 安装测试: 0 下载Tidb wget http://download.pingcap.org/tidb-latest-linux-amd64.tar.gz   按如下步骤依次启动PD, TiKV, TiDB 1 启动pd 这里如果无法启动,大概率是2379端口被占用,极大可能是redis服务   nohup ./bin/pd-server --data-dir=pd --log-file=pd.log & 2 启动kv 这里如果无法启动 请看文章末尾解决办法 …