Atlas介绍 Atlas是由Qihoo 360 Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目 它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性 360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条 下载地址 https://github.com/Qihoo360/Atlas/releases 注意: 1.Atlas只能安装运行在64位的系统上 2.Centos 5.X安装 Atlas-XX.el5.

本文转载自:阿里P8架构师谈:数据库分库分表.读写分离的原理实现,使用场景 为什么要分库分表和读写分离? 类似淘宝网这样的网站,海量数据的存储和访问成为了系统设计的瓶颈问题,日益增长的业务数据,无疑对数据库造成了相当大的负载,同时对于系统的稳定性和扩展性提出很高的要求.随着时间和业务的发展,数据库中的表会越来越多,表中的数据量也会越来越大,相应地,数据操作的开销也会越来越大:另外,无论怎样升级硬件资源,单台服务器的资源(CPU.磁盘.内存.网络IO.事务数.连接数)总是有限的,最终数据库所能承载

基于 EntityFramework 的数据库主从读写分离架构       回到目录,完整代码请查看(https://github.com/cjw0511/NDF.Infrastructure)中的目录:      src\ NDF.Data.EntityFramework\MasterSlaves     基于 EntityFramework 的数据库主从读写分离架构 - 需求/功能概述   基于 EntityFramework 的数据库主从读写分离架构(1)- 原理概述和基本功能实现   基

MySQL读写分离-架构 简介 对于很多大型网站(pv值百万.千万)来说,在所处理的业务中,其中有70%的业务是查询(select)相关的业务操作(新闻网站,插入一条新闻.查询操作),剩下的则是写(insert.update.delete,只要能对MySQL的数据造成更改的操作都叫写操作)操作.在使用负载均衡集群之后,可以很大程度的提升网站的整体性能,但是最终的数据处理的压力还是会落到MySQL数据库上,所有很有必要使用一些技术来提升MySQL的负载能力.(读写分离) 写专门交给写服务器处理(一

    回到目录,完整代码请查看(https://github.com/cjw0511/NDF.Infrastructure)中的目录:      src\ NDF.Data.EntityFramework\MasterSlaves       上一回中(http://www.cnblogs.com/cjw0511/p/4398267.html),我们简单讲述了基于 EF 来实现数据库读写分离的原理.当然,这只是一个 demo 级别的简单实现,实际上,在我们工作环境中,碰到的情况远比这复杂多了,

文档结构如下: 1.ProxySQL说明 ProxySQL是mysql的一款中间件的产品,是灵活的mysql代理层,可以实现读写分离,支持query路由器的功能,支持动态指定sql进行缓存,支持动态加载配置,故障切换和一些sql的过滤功能. 其他产品:Dbproxy,MyCAT,OneProxy等. 2.MHA+Proxysql 读写分离实验 2.1. 安装步骤 IP 角色 操作系统 版本 172.16.10.21 Proxysql Redhat6.7 1.4.9 172.16.10.32 Ma

#### 在项目中部署redis的读写分离架构(包含节点间认证口令) ##### 1.配置过程 ---  1.此前就是已经将redis在系统中已经安装好了,redis utils目录下,有个redis_init_script脚本,将redis_init_script脚本拷贝到linux的/etc/init.d目录中,将redis_init_script重命名为redis_6379,6379是我们希望这个redis实例监听的端口号  2.创建两个目录:/etc/redis(存放redis的配置文件

配置主从复制 1. 增加主从配置 # 主库配置文件 server-id = 1 log-bin = /var/lib/mysql/mysql-bin expire_logs_days = 10 skip_name_resolve = 0 # 从库配置文件 server-id = 2 # server id 必须唯一 log-bin=/var/lib/mysql/mysql-bin # 开启binlog skip_name_resolve=0 # 跳过域名解析 expire_logs_days =

目录 简介 相关链接 环境准备 Atlas 环境 MySQL 集群环境 Atlas 安装 和 配置 为数据库的密码加密 修改配置文件 启动 Keepalived 安装配置 安装 master 配置 Keepalive 脚本不执行的坑 slave 配置 测试宕机 简介 Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目. 它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性.而且安装

Atlas介绍 1.png ​ Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目. 它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性; ​ 360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条; 下载地址 https://github.com/Qihoo360/Atlas/releases 注意: 1.Atlas只能安装运行在64位的系统上 2.Centos 5.X安

    回到目录,完整代码请查看(https://github.com/cjw0511/NDF.Infrastructure)中的目录:      src\ NDF.Data.EntityFramework\MasterSlaves       在本上的上一篇博文中(基于 EntityFramework 的数据库主从读写分离服务插 件,http://www.cnblogs.com/cjw0511/p/4391092.html),概述性的介绍了自己基于 EF6 写的一个用于数据库主从读写分离服务的

目录 Atals 介绍 Atlas 主要功能 Atlas 相对于官方 MySQL-Proxy 的优势 Atlas 使用 Atlas 安装 Atlas 目录 Atlas 配置 Atlas 启动 Atlas 使用 Atlas + MHA 故障恢复 Atlas 自动恢复思路 Atlas + MHA 恢复脚本 MHA 恢复脚本 Atals 介绍 Atlas 主要功能 读写分离 从库负载均衡 IP 过滤 自动分表 DBA 可平滑上下线 DB 自动摘除宕机的 DB Atlas 相对于官方 MySQL-Pro

关于数据切分的原理可以参见博客: http://blog.csdn.net/jhq0113/article/details/44226789 关于Atlas的介绍可以参见博客: http://blog.csdn.net/jhq0113/article/details/44239823 Atlas源代码用C语言编写,它对于Web Server相当于是DB,相对于DB相当于是Client,如果把Atlas的逻辑放到Web Server程序里去处理,这样会大大增加Web Server程序的复杂度,同时

Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目.它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性.目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,每天承载的读写请求数达几十亿条. 主要功能:1.读写分离2.从库负载均衡3.IP过滤4.自动分表5.DBA可平滑上下线DB6.自动摘除宕机的DB Atlas是一个位于应用程序与MySQL之间中

读写分离是架构分布式系统的一个重要思想.不少系统整体处理能力并不能同业务的增长保持同步,因此势必会带来瓶颈,单纯的升级硬件并不能一劳永逸.针对业务类型特点,需要从架构模式上进行一系列的调整,比如业务模块的分割,数据库的拆分等等. 集中式和分布式是两个对立的模式,不同行业的应用特点也决定了架构的思路.如互联网行 业中一些门户站点,出于技术和成本等方面考虑,更多的采用开源的数据库产品(如MYSQL),由于大部分是典型的读多写少的请求,因此为MYSQL及其复 制技术大行其道提供了条件.而相对一些传统密

Atlas下载地址: https://github.com/Qihoo360/Atlas/releases Atlas是出于360的, 比mysql-proxy更稳定, 部署起来更方便. 环境: proxy:192.168.99.60 master:192.168.99.61 slave:192.168.99.62 1.安装 由于我使用的是rpm包, 直接安装 rpm -ivh Atlas-2.2.el6.x86_64.rpm 就是这么简单, 安装完成. 目录默认在: /usr/local/my

一 mysql读写分离的概念 写在主库,主库一般只有一个,读可以分配在多个从库上,如果写压力不大的话,也能把读分配到主库上. 实现是基于atlas实现的,atlas是数据库的中间件,程序只需要连接atlas入口,无需读写单独指定,atlas决定在那个数据库进行读或者写操作,可以实现mysql的读写分离 atlas是一台独立的机器,目前实验把atlas配置在192.168.132.122上 主库+从库 给予atlas读写的权限 主库:192.168.132.121 mysql> grant all

1.前置条件 需要配置好mysql 主从 主库:192.168.28.137:16205 从库:192.168.28.135:16205 Atlas:192.168.28.139 2.Atlas 部署 下载Atlas会有两个版本,其中有个分表的版本,但是这个需要其他的依赖,我这边不需要分表这种需求,所以安装普通的版本 Atlas (普通) : Atlas-2.2.1.el6.x86_64.rpm Atlas (分表) : Atlas-sharding_1.0.1-el6.x86_64.rpm 首

1.1 MHA简介 1.1.1 MHA软件介绍 MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于Facebook公司)开发,是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件.在MySQL故障切换过程中,MHA能做到在10~30秒之内自动完成数据库的故障切换操作,并且在进行故障切换的过程中,MHA能在最大程度上保证数据的一致性,以达到真正意义上的高可用. MHA能

声明:本案例仅为评估测试版本 注意:所有服务器之间必须做好时间同步 架构拓扑 IP信息: Heartbeat安装部署 1.安装heartbeat(主备节点同时安装) [root@master1 ~]# yum install heartbeat* -y [root@master2 ~]# yum install heartbeat* -y heartbeat的yum安装完的默认路径为 /etc/ha.d/ [root@master1 ~]# cd /etc/ha.d/ [root@master1