一.otter简介 otter是阿里开源的一个分布式数据库同步系统,尤其是在跨机房数据库同步方面,有很强大的功能.它是基于数据库增量日志解析,实时将数据同步到本机房或跨机房的mysql/oracle数据库. 二.安装配置JDK 因为zookeeper和Otter-manager都依赖与java环境 yum install java--openjdk –y 注:将Centos的yum源更换为国内的阿里云源 1.首先安装wget yum install wget 2.备份原有源 mv /etc/yu…

前言 最近研究了一下阿里otter项目(分布式数据库同步),所以就在virualbox 上开始准备学习一下,遇到了不少坑,所以记录一下啊. otter 项目:https://github.com/alibaba/otter win10 无法运行virualbox 5.x版本以上运行 使用Host-only 主机和虚拟机互通,(win10 更新导致桥接不可用) otter 必要软件准备 win10 安装virualbox 安装virualbox 4.3.6 这个是第一个坑,安装5.x版本一直报错,…

otter是阿里的开源数据同步项目,资源地址就不用说了哈,网上找,阿里云论坛关于单方向同步的配置已经很清楚了,理论上说,双主同步也不复杂,但是毕竟 是数据库,比较重要,配置双主的时候,总觉得心里没底,所以记录下来.本文主要来源于https://yq.aliyun.com/articles/58388?spm=5176.100239.blogcont58420.18.Hof0oq 1,  java环境,yum即可 2,  zookeeper配置 修改bin/zkEnv.sh脚本: 将ZOO_LOG…

1 环境说明: 本机ip 192.168.8.3 虚拟机1 ip 192.168.8.5 虚拟机2 ip 192.168.8.6 虚拟机采取桥接模式 虚拟机系统为CentOS 2.6.32-279.el6.i686 java版本 1.6.0-24 mysql版本 5.1.61-log 2 虚拟机8.5搭建otter 2.0配置固定ip和修改host 2.0.1 虚拟机8.5 ip为192.168.8.5 vi /etc/syscnfig/network-script/ifcfg-eth0 DEV…

前言 为了学习otter,上一篇我们讲到了 otter 必要软件的安装,参考:virualbox 安装 otter 必备软件,现在安装otter,相比官方文档,我们尽量简化安装步骤. virualbox clone 之前我们安装的一台虚拟机,我们现在就可以clone 一台出来.这样我们把一台当做manager, 另外一台当做node. 网络链接 同样参照之前 virualbox 配置网络,确保NAT,和host-only 网卡正常工作. manager 安装 环境准备 先到我们第一台虚拟机,我们…

otter双A配置 最近做跨国服务器的数据同步,用了阿里的otter开源框架,遇到了不少问题,写一下文档为以后做参考. 第一步: 下载所需的文件 :otter,zookeeper,aria2 otter下载地址:https://github.com/alibaba/otter zookeeper下载地址:https://github.com/apache/zookeeper aria2下载地址:http://sourceforge.net/projects/aria2/files/stable/…

Canal的简单使用 canal可以用来监控数据库数据的变化,从而获得新增数据,或者修改的数据,用于实际工作中,比较实用,特此记录一下 Canal简介 canal是应阿里巴巴存在杭州和美国的双机房部署,存在跨机房同步的业务需求而提出的. 阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务 基于日志增量订阅&消费支持的业务:数据库镜像数据库实时备份多级索引 (卖家和买家各自分库索引)search build业务cache刷新价格变化等重要业务…

一 简介: 今天咱们来聊聊 canal和otter的组合搭配吧二 概念统计   1. 基于Canal开源产品,获取数据库增量日志数据.   2. 典型管理系统架构,manager(web管理)+node(工作节点)      a. manager运行时推送同步配置到node节点      b. node节点将同步状态反馈到manager上  3. 基于zookeeper,解决分布式状态调度的,允许多node节点之间协同工作.三 机器组成:   1 manager节点(最好自带数据库) 2 nod…

环境IP:10.10.6.171 部署:mysql源库IP:10.10.6.172 部署:mysql目标库IP:10.10.6.173 部署:zookeeper,manager,node,canal (也都部署到源库服务器上) 由于otter进行数据库同步,目前仅支持row,所以需要把源库的binlog_format改为ROWlog-bin=mysql-binexpire_logs_days=3binlog_format=ROW otter为纯java编写(manager,node,canal都…

接上一篇mysql 5.7多源复制(用于生产库多主库合并到一个查询从库). 这一篇详细介绍otter/canal环境搭建以及当同步出现异常时如何排查.本文主要参考https://blog.csdn.net/wudufeng/article/details/78688240搭建,出现异常时,主要参考了otter的官方文档,时候阅读官方文档的时候,发现大家还是可以直接参考官方文档吧,本文和https://blog.csdn.net/wudufeng/article/details/78688240基…