1. 为什么需要分布式数据库2. MySQL Cluster原理3. MySQL Cluster的优缺点4. MySQL Cluster国内应用5. 参考资料 1. 为什么需要分布式数据库 随着计算机和信息技术的迅猛发展和普及,行业应用系统的规模迅速扩大,行业应用所产生的数据量量呈爆炸式增长,动辄达到数百TB甚至数百PB规模,已远远超出现有的传统计算技术和信息系统的处理能力,而集中式数据库面对大规模数据处理逐渐表现出其局限性,因此,人们希望寻找一种能快速处理数据和及时响应用户访问的方法,也希望对

分布式数据库计算涉及到分布式事务.数据分布.数据收敛计算等等要求 分布式数据库能实现高安全.高性能.高可用等特征,当然也带来了高成本(固定成本及运营成本),我们通过MongoDB及MySQL Cluster从实现上来分析其中的设计思路,用以抽象我们在设计数据库时,可以引用的部分设计方法,应用于我们的生产系统 首先说说关系及非关系数据库的特征 MySQL的Innodb及Cluster拥有完整的ACID属性 A 原子性 整个事务将作为一个整体,要么完成,要么回滚 C 一致性 事务开始之前和事务结束以

<?php /* 郑重说明2015年6月11日16:28:14,目前为止MySQL Cluster 社区版不支持INNODB,商业版支持,但是授权价格20W左右,so看此文档之前,考虑下钱 MyISAM支持,至于触发器,存储过程,社区版是否支持,木有验证 MySQL簇的基本概念 NDB是一种“内存中”存储引擎,它具有可用性高和数据一致性好的特点. 能够使用多种故障切换和负载平衡选项配置NDB存储引擎,但以簇层面上的存储引擎开始最简单.MySQL簇的NDB存储引擎包含完整的数据集,仅取决于 簇本身

[http://www.jb51.net/article/50053.htm]   MySQL 数据库的高可用性架构:         集群,读写分离,主备.而后面两种都是通过复制来实现的.下面将简单介绍复制的原理及配置,以及一些常见的问题.   [优点] 1. 如果主服务器出现问题, 可以快速切换到从服务器提供的服务2. 可以在从服务器上执行查询操作, 降低主服务器的访问压力3. 可以在从服务器上执行备份, 以避免备份期间影响主服务器的服务注意一般只有更新不频繁的数据或者对实时性要求不高的数据

参考资料: http://dev.mysql.com/doc/refman/5.1/en/mysql-cluster-privilege-distribution.html http://www.clusterdb.com/mysql-cluster/sharing-user-credentials-between-mysql-servers-with-cluster/ http://blog.chinaunix.net/uid-20639775-id-294484.html -- ======

1.1 mysql-cluster简介 简单的说,MySQLCluster实际上是在无共享存储设备的情况下实现的一种完全分布式数据库系统,其主要通过NDBCluster(简称NDB)存储引擎来实现. MySQLCluster刚刚诞生的时候可以说是一个可以对数据进行持久化的内存数据库,所有数据和索引都必须装载在内存中才能够正常运行,但是最新的MySQLCluster版本已经可以做到仅仅将所有索引和索引数据装载在内存中即可,实际的数据可以不用全部装载到内存中,架构如下图所示: 1.2 请看 Clus

服务器规划: 整套系统全部在rhel5u1 server 64位版本下,由基于xen的虚拟机搭建,其中集群管理节点*2.SQL节点*2.数据节点*4.Web服务节点*2组成,其中数据节点做成2个组,每组两台的形式: 虚拟机mysql_mgm-1, 192.168.20.5:集群管理节点,id=1 虚拟机mysql_mgm-2, 192.168.20.6:集群管理节点,id=2 虚拟机mysql_sql-1,192.168.20.7:SQL节点,mysql服务器节点,id=3 虚拟机mysql_s

1.背景 MySQL的cluster方案有很多官方和第三方的选择,选择多就是一种烦恼,因此,我们考虑MySQL数据库满足下三点需求,考察市面上可行的解决方案: 高可用性:主服务器故障后可自动切换到后备服务器 可伸缩性:可方便通过脚本增加DB服务器 负载均衡:支持手动把某公司的数据请求切换到另外的服务器,可配置哪些公司的数据服务访问哪个服务器 需要选用一种方案满足以上需求.在MySQL官方网站上参考了几种解决方案的优缺点: 综合考虑,决定采用MySQL Fabric和MySQL Cluster方案

Percona XtraDB Cluster(PXC)原理 介绍: PXC曾经属于一套近乎最完美的mysql高可用集群解决方案(现mgr总体上要优于pxc),相比传统的基于主从复制模式的集群架构MHA和MM+keepalived,最突出特点就是解决了数据复制延迟问题,基本上可以达到实时同步.节点间关系是对等的,事务要么在所有节点上执行,要么都不执行,它的实现机制决定了它对待一致性的行为非常严格,这也能非常完美的保证MySQL集群的数据一致性. 1.PXC使用端口 3306 数据库对外服务端口 4

[转]MYSQL索引结构原理.性能分析与优化 第一部分:基础知识 索引 官方介绍索引是帮助MySQL高效获取数据的数据结构.笔者理解索引相当于一本书的目录,通过目录就知道要的资料在哪里, 不用一页一页查阅找出需要的资料. 唯一索引(unique index) 强调唯一,就是索引值必须唯一. 创建索引: create unique index 索引名 on 表名(列名); alter table 表名 add unique index 索引名 (列名); 删除索引: drop index 索引名

Spark基本工作流程及YARN cluster模式原理 转载请注明出处:http://www.cnblogs.com/BYRans/ Spark基本工作流程 相关术语解释 Spark应用程序相关的几个术语: Worker:集群中任何可以运行Application代码的节点,类似于YARN中的NodeManager节点.在Spark on Yarn模式中指的就是NodeManager节点: Executor:Application运行在Worker 节点上的一个进程,该进程负责运行Task,并且

简介 MySQL集群是一种在无共享架构(SNA,Share Nothing Architecture)系统里应用内存数据库集群的技术.这种无共享的架构可以使得系统使用低廉的硬件获取高的可扩展性. MySQL集群是一种分布式设计,目标是要达到没有任何单点故障点.因此,任何组成部分都应该拥有自己的内存和磁盘.任何共享存储方案如网络共享,网络文件系统和SAN设备是不推荐或不支持的.通过这种冗余设计,MySQL声称数据的可用度可以达到99.999%. 实际上,MySQL集群是把一个叫做NDB的内存集群存

数据分布 1.MySQL Cluster自动分区数据表(也可能使用用户自定义分区),将数据分布到分区中: 2.一个数据表被划分到多个Data Node分区中,数据在分区中被”striped”: 3.主键的 hashing 决定哪个分区拥有数据(自动分布): 4.对主键的一部分进行hashing也是可能的(适合sharding和数据局部性): 分区和数据分布 1.如果有两个数据节点(DATA NODE 1和DATA NODE 2),每个数据表都被分到两个分区中. 2.subid是主键,对主键sub

一.环境说明: CentOS6.3(32位) + MySQL Cluster 7.3.5,规划5台机器,资料如下: 节点分布情况: MGM:192.168.137. NDBD1:192.168.137. NDBD2:192.168.137. SQL1:192.168.137. SQL2:192.168.137. 二.下载安装包: 主要有三种类型的安装包:1:rpm安装包:2:预编译二进制安装包: 3:源码包. 这里选择第二种安装包“预编译二进制安装包”,它只需要解压即可. 先官网下载页面 htt

按照前面的教程:MySQL Cluster 7.3.5 集群配置实例(入门篇),可快速搭建起基础版的MySQL Cluster集群,但是在生成环境中,还是有很多问题的,即配置参数需要优化下, 当前生产环境硬件配置参考: Linux下查看操作系统信息.内存情况及cpu信息:cpu个数.核心数.线程数 当前生产环境MySQL Cluster配置参考: # mgm配置(/usr/local/mysql/etc/config.ini) [ndb_mgmd default] DataDir = /usr/

排查问题技巧: MySQL Cluster 自带了一个错误代码的查看的小程序.通过这个小东西我们可以方便的定位问题的原因. 这个程序就是 perror 在MYSQL安装目录的bin下面. 如报错:ERROR 1005 (HY000) at line 474868: Can't create table 'Table Name'(errno: 136) 你可以用perror命令查询 错误原因: #/usr/local/mysql/bin/perror --ndb 136 MySQL error c

MySQL Cluster是一个基于NDB Cluster存储引擎的完整的分布式数据库系统.不仅仅具有高可用性,而且可以自动切分数据,冗余数据等高级功能.和Oracle Real Cluster Application不太一样的是,MySQL Cluster 是一个Share Nothing的架构,各个MySQL Server之间并不共享任何数据,高度可扩展以及高度可用方面的突出表现是其最大的特色.虽然目前还只是MySQL家族中的一个新兴产品,但是已经有不少企业正在积极的尝试使用了.但是好像还不

MySQL Cluster 配置文件(config.ini)详解 ########################################################################### ## MySQL CLuster 配置文件 ## 带有[!]的注释表示该参数有详细说明,建议参考官方描述. ## 带有[!!]的注释表示设置该参数时应该详细阅读官方描述. ## SCI 连接方式的配置请详细阅读官方描述. ## 官方说明: http://dev.mysql.com/

Replication 线程 Mysql的 Replication 是一个异步的复制过程,从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysql instance(我们称之 Slave).在 Master 与 Slave 之间的实现整个复制过程主要由三个线程来完成,其中两个线程(Sql线程和IO线程)在 Slave 端,另外一个线程(IO线程)在 Master 端. 要实现 MySQL 的 Replication ,首先必须打开 Master 端的Binary L

在上篇文章已经详细说明了MySQL Cluster搭建与测试,现在来说说详细的配置参数.在MySQL Cluster 环境的配置文件 config.ini 里面,每一类节点都有两个(或以上)的相应配置项组,每一类节点的配置项都主要由两部分组成,一部分是同类所有节点相同的配置项组,在[NDB_MGM DEFAULT].[NDBD DEFAULT]和[MySQLD DEFAULT]这三个配置组里面,而且每一个配置组只出现一次:而另外一部分则是针对每一个节点独有配置内容的配置项组[NDB_MGM].[