公司的Riak版本是2.0.4,目前已根据CMDB三级业务部署了十几套集群,大部分是跨机房部署.监控采集分为两个大的维度,第一个维度是单机,也就是 「IP:端口」:第二个维度是集群,也就是所有节点指标的统计结果.本文主要介绍采集的指标和采集程序. 一.采集的指标 1.吞吐量指标 1.1 单机 采集方法: /usr/sbin/riak-admin status 指标 功能 node_gets 某节点前一分钟处理的 GET 请求数量,包括该节点上非本地虚拟节点处理的 GET 请求 node_puts…

一.Erlang安装: 1 首先进入www.erlang.org 下载页面,下载otp_src_17.5.tar.gz. IT网,http://www.it.net.cn 2 解压缩:tar -xzvf otp_src_17.5.tar.gz Linux学习,http:// linux.it.net.cn 3 进入解压缩后的文件夹:cd otp_src_17.5.tar.gz 4 如果直接运行./configure,会提示没有curses库,所以首先还得安装这个库:yum install ncu…

必备的组件: gccgcc-c++glibc-develmakepam-devel 使用yum安装相关组件 sudo yum install gcc gcc-c++ glibc-devel make git pam-devel 开始安装 wget http://s3.amazonaws.com/downloads.basho.com/riak/2.0/2.0.0/riak-2.0.0.tar.gztar zxvf riak-2.0.0.tar.gzcd riak-2.0.0make rel 修改…

Riak 是以 Erlang 编写的一个高度可扩展的分布式数据存储,Riak的实现是基于Amazon的Dynamo论文,Riak的设计目标之一就是高可用.Riak支持多节点构建的系统,每次读写请求不需要集群内所有节点参与也能胜任.像这样的系统,我们需要版本机制来确定哪个值是最新的.所以就引入了向量时钟(Vector Clock) 当存储一个对象到Riak时,都被打上向量时钟标签.通过向量空间祖先继承的关系比较,Riak可以自动的修复不同步的值,使数据保持最终一致性. 向量时钟的作用 有个比较经典…

分布式系统中一些主要的副本更新策略. 1.同时更新 类型A:没有任何协议,可能出现多个节点执行顺序交叉导致数据不一致情况. 类型B:通过一致性协议唯一确定不同更新操作的执行顺序,从而保证数据一致性 2.主从式更新 多个副本之间存在一个主副本(Master Replica),其他副本为从副本,这种称为主从更新策略.所有对数据的更新首先提交到主副本,再由主副本通知从副本进行数据更新.如果同时产生多个数据更新操作,由主副本决定不同更新操作的顺序. 类型A:同步方式 主副本等待所有从副本更新完成之后才确…

Cassandra                                                              HBase 一致性 Quorum NRW策略 通过Gossip协议同步Merkle Tree,维护集群节点间的数据一致性 单节点,无复制,强一致性 可用性 1,基于Consistent Hash相邻节点复制数据,数据存在于多个节点,无单点故障. 2,某节点宕机,hash到该节点的新数据自动路由到下一节点做 hinted handoff,源节点恢复后,推送回…

IoT databases should be as flexible as required by the application. NoSQLdatabases -- especially key-value, document and column family databases -- easily accommodate different data types and structures without the need for predefined, fixed schemas.…

Riak VClock 关于向量时钟的概念.在这里就多讲了,大家能够參照一下Dynamo的论文了解一下,向量时钟在分布式主要用于解决一致性性问题.能够和CRDTs一起看. 以下的源码是參照riak中的,就是把它翻译为elixir格式而已.基本不变. 时钟主要出现的情况有网络分区和并行更新. 这样仅仅会丢掉一些向量时钟的信息,即数据更新过程的信息,可是不会丢掉实实在在的数据.仅仅有当一种情况会有问题,就是一个client保持了一个非常久之前的向量时钟,然后继承于这个向量时钟提交了一个数据,此时就会…

转自:http://www.cnblogs.com/alephsoul-alephsoul/archive/2013/04/26/3044630.html 导读:Kristóf Kovács 是一位软件架构师和咨询顾问,他最近发布了一片对比各种类型nosql数据库的文章.文章由敏捷翻译 – 唐尤华编译.如需转载,请参见文后声明. 虽然SQL数据库是非常有用的工具,但经历了15年的一支独秀之后垄断即将被打破.这只是时间问题:被迫使用关系数据库,但最终发现不能适应需求的情况不胜枚举. 但是NoSQL…

出处:http://www.oschina.net/p/riak Riak是以 Erlang 编写的一个高度可扩展的分布式数据存储,Riak的实现是基于Amazon的Dynamo论文,Riak的设计目标之一就是高可用.Riak支持多节点构建的系统,每次读写请求不需要集群内所有节点参与也能胜任.提供一个灵活的 map/reduce 引擎,一个友好的 HTTP/JSON 查询接口. Riak 非常易于部署和扩展.可以无缝地向群集添加额外的节点.link walking 之类的特性以及对 Map/Re…