Cassandra Repair 问题 问1: 文档建议每周或者每月跑一次full repair.那么如果我是使用partition rangerepair,是否还有必要在cluster的每个节点上定期跑full repair ? 答1: 为什么要定期跑full repair 一般在gc_grace_seconds 间隔时间内跑repair - 确保集群的数据保持一致.通常节点的write consistency都不会是ALL.所以集群内的数据可能不一致. 以及保证删除的数据不会恢复 对down…

   Cassandra中数据一致性指的是数据行在各个复制节点(replicas)上的更新和同步程度.通过提供tunable consistency,Cassandra扩展了eventual consistency的概念.针对任何读或写操作,客户端根据对反应时间和数据准确性的要求来决定数据的一致性程度(Per-Request Consistency).除了tunable consistency,Cassandra也提供若干built-in repair mechanisms以确保数据在各repl…

前提: 三台装有docker的虚拟机,这里用VM1,VM2,VM3表达(当然生产环境要用三个独立物理机,否则无高可用可言),装docker可参见Ubuntu离线安装docker. 开始部署: 部署图 如上图所示,三台VM的IP分别为: 192.168.0.101 192.168.0.102 192.168.0.103 客户端将使用这三个IP来连接集群,每个VM通过端口映射由docker网桥myBridge来与Cassandra容器通信,容器的IP会在启动容器时指定 部署步骤: 1. 建docke…

参考文档:http://www.datastax.com/documentation/cassandra/1.2/webhelp/index.html#cassandra/dml/dml_config_consistency_c.html 一致性指的是怎样更新到最新并且在所有副本节点上同步Cassandra的一行数据.Cassandra通过提供可以调节的数据一致性扩充了最终一致性的观点,对于任何读取或写入操作,客户端决定请求数据的一致性. 除了可配置的一致性以外,Cassandra通过很多的bu…

* 设置->技术->数据结构->模型                模型    模型描述    类型    瞬态模型account.account    科目    基础对象    假account.account.template    科目模板    基础对象    假account.account.type    类型    基础对象    假account.addtmpl.wizard    account.addtmpl.wizard    基础对象    真account.a…

了解Cassandra集群的性能特点有助于诊断和维护Cassandra.由于Cassandra使用JAVA开发的,所以它就提供了JMX环境下的一些管理工具来管理Cassandra,它们包括:Cassandra nodetool工具.DataStax OpsCenter管理控制台和JConsole. 使用nodetool工具 nodetool是一个命令行的工具集,它可以监控Cassandra和执行例行的数据库操作.作为内建的工具,nodetool一般用于在节点上直接运行. nodetool工具集支…

之前比较关注如何使用Cassandra,但是真正想大规模使用前提还是需要搞清楚备份机制,确保数据安全. 本文主要内容来自文档 "Cassandra2.2"的翻译.最后部分为真实操作案例. 这里假设你已经了解了Cassandra的压缩.墓碑.数据一致性. 原始文档链接:http://docs.datastax.com/en/cassandra/2.2/cassandra/operations/opsBackupRestore.html 备份和数据恢复 关于镜像 Cassandra 通过直…

更新说明: 本文编写时最新的Cassandra版本为2.2,最新的稳定版本为2.1.8 2016年6月23日,增加一篇译文,当下最新版本为3.7 最新的Cassandra 2.1 或者更高的版本支持3种压缩策略,各有优劣,在2.2的版本的说明文档中,有对这三种策略的详细说明,部分翻译如下. 文档链接:http://docs.datastax.com/en/cassandra/2.2/cassandra/dml/dmlHowDataMaintain.html?scroll=dmlHowDataWr…

转发下..这个哥收集的很全 MongoDB资料汇总专题 作者:nosqlfan http://blog.nosqlfan.com/html/3548.html 最后更新时间:2013-04-22 1.MongoDB是什么 MongoDB介绍PPT分享 MongoDB GridFS介绍PPT两则 初识 MongoDB GridFS MongoDB GridFS 介绍 一个NoSQL与MongoDB的介绍PPT MongoDB:下一代MySQL? 写给Python程序员的MongoDB介绍 又一篇给…

注:本文转自:http://eric100.blog.51cto.com/2535573/1717792 Opscenter用户手册 1.       OpsCenter简介 DataStaxOpsCenter是一个可视化管理和监控Apache Cassandra和DataStax Enterprise工具.OpsCenter简化了管理任务: 添加扩展集群 配置nodes 查看性能指标 修复问题 监控集群情况 主要功能 OpsCenter主要功能如下: Dashboard 概述显示任何警报和多个…

Python 目录: 管理面板 算法和设计模式 反垃圾邮件 资产管理 音频 验证 构建工具 缓存 ChatOps工具 CMS 代码分析和Linter 命令行工具 兼容性 计算机视觉 并发和并行性 组态 密码学 数据分析 数据验证 数据可视化 数据库驱动程序 数据库 日期和时间 调试工具 深度学习 DevOps工具 分配 文档 下载器 电子商务 编辑器插件和IDE 电子邮件 环境管理 文件 外部函数接口 形式 功能编程 游戏开发 地理位置 GUI 硬件 HTML操作 HTTP 意象 实现 互动译员…

Linux系统扩容方法汇总 相信很多朋友都有过这样的经历,本想装个Ubantu玩玩,没想到玩久了反而不习惯Windows了,然而开始装系统的时候只分配了非常小的空间,那应该怎样扩展我们的ubantu呢?下面我为大家总结几种方法(仅在ubantu下测试过) 一.通过系统整体迁移 首先:进入Windows,右键  "此计算机(计算机)"--> "管理" -->计算机管理(本地)--> 存储 -->磁盘管理(本地) -->找到一个比较大的分区…

转载自http://asyty.iteye.com/blog/1202072 一.Cassandra框架二.Cassandra数据模型 Colum / Colum Family, SuperColum / SuperColum Family Colum排序三.分区策略 Token,Partitioner bloom-filter,HASH四.副本存储五.网络嗅探六.一致性 Quorum NRW 维护最终一致性七.存储机制 CommitLog MenTable SSTable附 一.Cassand…

写在前面 cassandra3.x官方文档的非官方翻译.翻译内容水平全依赖本人英文水平和对cassandra的理解.所以强烈建议阅读英文版cassandra 3.x 官方文档.此文档一半是翻译,一半是个人对cassandra的认知.尽量将我的理解通过引用的方式标注,以示区别.另外文档翻译是项长期并有挑战的工作,如果你愿意加入cassandra git book,可以发信给我.当然你也可以加入我们的QQ群,104822562.一起学习探讨cassandra. Gossip Gossip 是一个对等…

写在前面 cassandra3.x官方文档的非官方翻译.翻译内容水平全依赖本人英文水平和对cassandra的理解.所以强烈建议阅读英文版cassandra 3.x 官方文档.此文档一半是翻译,一半是个人对cassandra的认知.尽量将我的理解通过引用的方式标注,以示区别.另外文档翻译是项长期并有挑战的工作,如果你愿意加入cassandra git book,可以发信给我.当然你也可以加入我们的QQ群,104822562.一起学习探讨cassandra. 架构简介 cassandra是为跨多个…

摘要 本文主要介绍cassandra线程技术,cassandra的实现是基于java的,所以线程技术使用的也是jdk包提供的线程类.cassandra是分布式数据库,整个并发架构是基于阶段事件驱动架构(staged envent-driven architecture)它能够利用queue将复杂的事件驱动分解为各个阶段. 一.java并发 Executor 框架 http://docs.oracle.com/javase/7/docs/api/java/util/concurrent/Execu…

摘要 本篇文章主要是介绍cassandra与其他NoSQL的区别以及自身的特点与应用场景.在关系数据库我们没必要选择数据库,通常需要适配oracle/mysql/sql server/db2 等多种数据库.但是今天的NoSQL 还不够成熟,以及每一款的NoSQL 数据库应用领域不是很宽泛,设计理念也有很大差异,所以通常我们需要为我们的应用评估究竟哪款NoSQL数据库比较合适.个人认为各个NoSQL数据库并没有谁好谁差,需要从自己的应用本身出发来考量. NoSQL比较--华山论剑,谁与争锋 排名…

Cassandra最初源自Facebook,结合了Google BigTable面向列的特性和[Amazon Dynamo](http://en.wikipedia.org/wiki/Dynamo(storagesystem) ) 分布式哈希(DHT)的P2P特性于一身,具有很高的性能.可扩展性.容错.部署简单等特点. 它虽然有多的优点,但国内使用的公司貌似不多,远没有Hbase和MongoDB火,从百度指数上可以明显看到这三个系统在国内的热度对比.相对国内冷静的市场来说,Cassandra在国…

分布式数据库会面临着一个独特的挑战,就是数据必须要严格的按照读,写顺序执行.如创建用户,转账,两个潜在的写操作竞态条件必须要确保一个写操作必须在另外一个之前发生.在Cassandra中,使用Paxos协议来实现轻量级的事务来处理并发操作. Paxos协议是用来实现线性一致性,这是实时约束的顺序一致性.线性一致性保证事务的隔离性类似于RDBMS提供的串行level的隔离性.这种类型的事务就是众所周知的compare and set(CAS):副本数据被拿来进行比较,发现有任何数据过期了,就设置为最…

写在前面 cassandra3.x官方文档的非官方翻译.翻译内容水平全依赖本人英文水平和对cassandra的理解.所以强烈建议阅读英文版cassandra 3.x 官方文档.此文档一半是翻译,一半是个人对cassandra的认知.尽量将我的理解通过引用的方式标注,以示区别.另外文档翻译是项长期并有挑战的工作,如果你愿意加入cassandra git book,可以发信给我.当然你也可以加入我们的QQ群,104822562.一起学习探讨cassandra. 如何写 Cassandra写的时候分好…

这篇文章主要介绍了MySQL实现批量检查表并进行repair与optimize的方法,结合实例形式分析了MySQL批量修复与优化表的相关技巧,需要的朋友可以参考下 本文实例讲述了MySQL实现批量检查表并进行repair与optimize的方法.分享给大家供大家参考,具体如下: 以下是shell的参考代码: #!/bin/bash host_name=192.168.0.123 user_name=xiaomo user_pwd=my_pwd database=my_db_name need_o…

前言 传统数据库遇到的问题,数据量很大的时候无法存储:没有很好的备份机制:数据达到一定数量开始缓慢,很大的话基本无法支撑:因此我们需要探究更加合适的数据库来支撑我们的业务. HBase 什么是HBase Hbase(Hadoop Database)是建立在HDFS之上的分布式.面向列的NoSQL的数据库系统. HBase特点 优点: 海量存储:适合存储PB级别的海量数据,采用廉价PC存储的情况下,能在几十到百毫秒内返回数据. 列式存储(半结构化或非结构化数据):即列族存储,对于数据结构字段不够确…

和cassandra数据库交互的方式有两种,一种是通过类似于cassandra-cli命令的thrift api,或者通过cassandra提供的cql(cassandra query lanugage),. 注意:cassandra-cli客户端命令从cassandra V2.2已经弃用,所以想使用cassandra-cli命令的话只能安装cassandra V2.2之前的版本.cassandra-cli命令比较难懂,和传统的sql有很大的区别,对于我们学习起来是比较头疼的事情.cql api…

Cassandra是一个开源的.分布式.无中心节点.弹性可扩展.高可用.容错.一致性协调.面向列的NoSQL数据库 Cassandra集群(Cluster) Cluster Data center(s) Rack(s) Server(s) Node (more accurately, a vnode) Node(节点):一个运行cassandra的实例 Rack(机架):一组nodes的集合 DataCenter(数据中心):一组racks的集合 Cluster(集群):映射到拥有一个完整令牌圆…

Cassandra如何保证数据最终一致性:1.逆熵机制(Anti-Entropy)使用默克尔树(Merkle Tree)来确认多个副本数据一致,对于不一致数据,根据时间戳来获取最新数据. 2.读修复机制(Read Repair)当Cassandra读数据时,需要根据读一致级别设定读取N个节点的副本数据,并按照时间戳返回最新数据给用户后,会对所有副本数据进行检测和修复,确保所有副本数据一致. 3.提示移交机制(Hinted Handoff)当Cassandra写数据时,需要根据写一致性级别将数据写…

cassandra读性能优化:1.禁用read repair每次读操作,无论读请求设置读一个节点还是多个节点,cassandra返回给客户端最新的数据后,都会后台对比所有副本的数据并对差异数据进行修复.read repair操作会占用服务器CPU和IO资源,影响读性能.禁用read repair后,cassandra仍可以通过其他方式进行数据一致性检查和修复. 2.使用Leveled compaction,并设定multithreaded_compaction,提高compaction的速度Le…

========================================================= gossip协议1.点对点(peer to perr)的网络通信协议,节点间地位相同.2.两个节点间断性地交换自身信息及其知道的信息,每秒最多和群集中三个节点交换信息.3.每条交换信息中包含版本信息,新版本的信息会覆盖掉就版本的信息.4.通过多次交换各节点能获取到整个群集其他节点的信息. ===============================================…

转自Spring Boot干货系列:常用属性汇总 附录A.常用应用程序属性 摘自:http://docs.spring.io/spring-boot/docs/current/reference/html/common-application-properties.html 可以在application.properties/application.yml文件中或作为命令行开关指定各种属性.本节提供了常用的Spring Boot属性列表,以及对使用它们的底层类的引用. 属性贡献可以来自您的类路径…

今天在操作cassandra集群数据迁移时发生了一些意料之外的事情,服务器迁移前与迁移后同样为5台,但是不知道是什么原因导致的,迁移过后的节点居然多出了一台cassandra节点,个人瞬间感觉莫名其妙,但是问题节点的ip地址是原平台的cassandra数据库ip,所以感觉很不好,知道可能是因为那个环节出现了问题,因为是迁移演练所以没有决定删除所有数据,重新迁移只是将错误节点剔除了cassandra集群,操作如下: 官方文档建议 查看cassandra集群状态的命令 nodetool status…

目前,主流数据库包括关系型(SQL)和非关系型(NoSQL)两种. 关系数据库是建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据,支持复杂的事物处理和结构化查询.代表实现有MySQL.Oracle.PostGreSQL.MariaDB.SQLServer等. 非关系数据库是新兴的数据库技术,它放弃了传统关系型数据库的部分强一致性限制,带来性能上的提升,使其更适用于需要大规模并行处理的场景.非关系型数据库是关系型数据库的良好补充,代表产品有MongoDB.Memca…