环境篇:数据同步工具DataX 1 概述 https://github.com/alibaba/DataX DataX是什么? DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL.SQL Server.Oracle.PostgreSQL.HDFS.Hive.HBase.OTS.ODPS 等各种异构数据源之间高效的数据同步功能. 设计理念 为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源.…

Redis具有高可靠性,体现在两方面: 一是数据尽量少丢失,通过前面介绍的持久化方式AOF和RDB,在宕机时可以恢复数据. 二是服务尽量少中断,通过副本冗余来实现. 今天我们学习的就是通过主从复制实现副本冗余,从而实现Redis的高可靠性. 什么是主从复制 Redis提供主从库模式,保证数据副本的一致,主从库之间采用的是读写分离的方式. 为什么要读写分离? 如果允许所有节点能够处理读写请求,就需要解决加锁.实例间协商.数据同步等操作,会带来巨额的开销. 因此采用主从库模式时,要配置主库只写,从库…

温馨提示 更佳阅读体验:[决战西二旗]|Redis面试热点之工程架构篇[2] 前言 前面用了3篇文章介绍了一些底层实现和工程架构相关的问题,鉴于Redis的热点问题还是比较多的,因此今天继续来看工程架构相关的问题,感兴趣的可以先回顾一下之前的3篇文章,如下:[决战西二旗]|Redis面试热点之底层实现篇[决战西二旗]|Redis面试热点之底层实现篇(续)[决战西二旗]|Redis面试热点之工程架构篇 通过本文你将了解到以下内容: Redis的数据同步机制持久化和数据同步的关系.Redis分布式存…

引言 今天周末,我在家坐着掐指一算,马上又要到一年一度的金九银十招聘季了,国内今年上半年受到 YQ 冲击,金三银四泡汤了,这就直接导致很多今年毕业的同学会和明年毕业的同学一起参加今年下半年的秋招,这个竞争就比较激烈了. 最近后台有一些朋友给我留言,希望我能写写招聘相关的内容,毕竟虽然说是金九银十,但是很多大公司的校招从 7 . 8 月份就开始了. 本来是想写点面试技巧和简历技巧的,但我转念一想,大家都是搞技术的,问题的核心还是技术能力要过关,面试技巧这东西最多只能用作锦上添花,而技术能力过不去,…

1.redis常见的数据结构 redis是一种以键值对存储的高性能内存数据库,有五种常用的数据类型,string,list,hash,set,zset. 2.redis的过期时间 redis中的key可以设置过期时间,方式有两种,第一种是通过expire命令来设置,expire key seconds.第二种方式是使用setex(string key,int seconds,string value). 3.过期键的删除策略 在redis中,对于过期的键,删除策略有两种,第一种是被动删除,就是在…

1.同步MySQL数据到Redis (1) 在redis数据库设置缓存时间,当该条数据缓存时间过期之后自动释放,去数据库进行重新查询,但这样的话,我们放在缓存中的数据对数据的一致性要求不是很高才能放入缓存当中.       例如:缓存量大但又不常变化的数据,比如商品信息的评论. (2) 基于binlog使用mysql_udf_redis,将数据库中的数据同步到Redis.        无论MySQL还是Redis,自身都带有数据同步的机制,像比较常用的MySQL的Master/Slave模式,…

我们经常听到说Redis是单线程的,也会有疑问:为什么单线程的Redis能那么快? 这里要明白一点:Redis是单线程,主要是指Redis的网络IO和键值对读写是由一个线程来完成的,这也是Redis对外提供键值存储服务的主要流程.但Redis的其他功能,比如持久化.异步删除.集群数据同步等,都是由额外的线程执行的. 我们知道多线程能够提升并发性能,那为什么Redis会采用单线程,而非多线程?为什么单线程能那么快? 下面我们就来学习一下Redis采用单线程的原因. 为什么采用单线程? 使用多线程,…

第二十一节 Rsync数据同步工具 1.1 Rsync介绍 1.1.1 什么是Rsync? 1.1.2 Rsync简介 1.3 Rsync的特性 1.1.4 Rsync的企业工作场景说明 1.2 Rsync的工作方式 1.2.1 本地数据传输模式(local-only mode) 1.2.2 rsync 命令常用参数选项说明: 1.2.3 案例:某DBA做数据同步,带宽占满,导致用户无法访问网站. 1.2.4 保持同步目录及文件属性 1.2.5 使用rsync在本地备份传输数据 1.3 借助ss…

AOF好处是每次执行只需要记录操作命令,记录量不大.但在故障恢复时,需要逐一执行AOF的操作命令,如果日志很大,恢复就很慢. 今天学习另一种持久化方式:内存快照.内存快照,是Redis某一时刻的状态,以文件的形式保存在磁盘上.这个快照文件就称为RDB文件,其中RDB就是Redis Database的缩写. 当故障恢复时,只要把RDB文件读入内存即可,恢复速度很快.但是内存快照并不是最优选项,为什么呢? 我们还需要考虑两个问题: 对哪些数据做快照?这关系到快照的执行效率: 做快照时,数据还能被增删…

现在有一个场景:要用Redis保存5000万个键值对,每个键值对大约是512B,要怎么部署Redis服务呢? 第一个方案,也是最容易想到的,需要保存5000万个键值对,每个键值对约为512B,一共需要25GB空间,选择一台32GB内存的用品来部署Redis,还剩余7GB空间,可以采用RDB对数据做持续久. 但是Redis服务使用不久后出现Redis的响应有时会非常慢.原因是采用了RDB持久化,在前面介绍RDB原理时,我们知道fork子进程的瞬间会阻塞主线程,而且内存越大,阻塞越长. 第一个方案不…