一般人们谈论时间序列数据库的时候指代的就是这一类存储.按照底层技术不同可以划分为三类. 直接基于文件的简单存储:RRD Tool,Graphite Whisper.这类工具附属于监控告警工具,底层没有一个正规的数据库引擎.只是简单的有一个二进制的文件结构. 基于K/V数据库构建:opentsdb(基于hbase),blueflood,kairosDB(基于cassandra),influxdb,prometheus(基于leveldb) 基于关系型数据库构建:mysql,postgresql都可

双汇发展多个分厂的能源管控大数据系统主要采用两种技术栈:InfluxDB/Redis和Kafka/Redis/HBase/Flink,对于中小型研发团队来讲,无论是系统搭建,还是实施运维都非常棘手.经过对InfluxDB/Redis和TDengine大数据平台的功能和性能对比测试,最终将TDengine作为实施方案. 1. 项目背景 基于双汇发展对能源管控的需求,利用云平台技术以及电气自动化处理手段,对双汇发展的一级.二级.三级能源仪表进行整体改造,实现仪表组网,进一步通过边缘网关进行能源在线监

原文: http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=208931479&idx=1&sn=1dc6ea4fa28a3fb527a6204a9a5c23b1&key=c76941211a49ab5849fe180925fd9816350457f931e54a80feca07c081bffea5828ae0bbb2b1f7be41501db7dea48977&ascene=0&uin=Mjk1ODMy

一.Python编写的监控工具 一.多功能系统资源统计工具dstat 1.dstat介绍 dstat是一个用Python语言实现的多功能系统资源统计工具,用来取代Linux下的vmstat.iostat.netstat和ifstat等命令.并且,dstat克服了这些命令的限制,增加了额外的功能.以及更多的计数器与更好的灵活性.dstat可以在一个界面上展示非常全面的监控信息. dstat将以列表的形式显示监控信息,并且用不同的颜色进行输出,以可读性较强的单位展示监控数值.例如,对于字节数值,ds

安装dstat yum install dstat 安装glances yum install python-devel pip install glances 如果我们安装了 Bottle 这个 web 框架,还能够通过 web 浏览器显示和命令行终端相同的监控界面. 安装bottlepip install bottle 1.dstat 使用 man dstat DSTAT(1)DSTAT(1) 名称        dstat - 用于生成系统资源统计信息的通用工具 概要        dst

背景 这两年互联网行业掀着一股新风,总是听着各种高大上的新名词.大数据.人工智能.物联网.机器学习.商业智能.智能预警啊等等. 以前的系统,做数据可视化,信息管理,流程控制.现在业务已经不仅仅满足于这种简单的管理和控制了.数据可视化分析,大数据信息挖掘,统计预测,建模仿真,智能控制成了各种业务的追求. “所有一切如泪水般消失在时间之中,时间正在死去“,以前我们利用互联网解决现实的问题.现在我们已经不满足于现实,数据将连接成时间序列,可以往前可以观其历史,揭示其规律性,往后可以把握其趋势性,预测其

转自:http://www.cnblogs.com/alephsoul-alephsoul/archive/2013/04/26/3044630.html 导读:Kristóf Kovács 是一位软件架构师和咨询顾问,他最近发布了一片对比各种类型nosql数据库的文章.文章由敏捷翻译 – 唐尤华编译.如需转载,请参见文后声明. 虽然SQL数据库是非常有用的工具,但经历了15年的一支独秀之后垄断即将被打破.这只是时间问题:被迫使用关系数据库,但最终发现不能适应需求的情况不胜枚举. 但是NoSQL

最近在搞容器的监控,遇到influxdb这个库,搞了两天,些许明白了些套路,做个记录,备忘.... 小结如下: influxdb go语言编写 默认情况influxdb创建的库关联autogen的RP(存储策略),即数据会保留永久 监控和日志的区别 最近搞监控,所谓监控就是监控服务肉体是否健康(还活着/生病? 各项指标是否正常?) 区分日志搜集: 分析服务的精神状态是健康(服务的一个履历/日记) 如何做一个监控 参考: https://segmentfault.com/a/11900000110

MongoDBDB.Cassandra和 Mysql对比 1.为什么是Nosql? 1.1 Nosql在大数据处理相对于关系型数据库具有优势 1.1.1                  1. 低延迟的读写速度: 大量数据的写入和读取可达 Wops/sec的速率 2. 海量的数据和流量:可以支持高效的查询,应对高并发请求. 3. 大规模集群的管理:分布式应用能更简单的部署和管理; 4. 关系型数据库由于存在类似Join这样多表查询机制,使得数据库在扩展方面很艰难; 5. 关系型数据库读写慢:这种

在1月9日Cassandra中文社区开年活动开始之前的闲聊时间,活动的四位嘉宾就"HBase和Cassandra的对比"这一话题展开了讨论.   总的来说,HBase和Cassandra各有其优势特性以及比较适合的应用场景.不过相比HBase来说,Cassandra的持续在线.稳定性高.易于上手等优势让嘉宾们印象深刻,纷纷给出好评.   刘腾 华为消费者云服务部cassandra数据库运维负责人,2011年加入华为,先后负责过分布式存储,分布式缓存和分布式消息队列的运维工作,2014年

架构对比 HBase和Cassandra几乎是一个年份发起,又都是在2010年成为Apache的顶级项目,不过如果我们去细品其内部机制,我们会发现其实两者是完全不同的架构风格. HBASE起源于Google BigTable,几乎遵从了BigTable论文的大多数架构设计.Cassandra则是采纳了BigTable的数据模型,同时吸收了Amazon Dynamo的分布式设计. 因此从存储结构模型的微观上看,HBASE和Cassandra在单点存储数据的机理是类似的,但是从分布式架构的宏观上看,

https://docs.influxdata.com/influxdb/v0.9/concepts/key_concepts/  #,measurement,就相当于关系数据库中的table,他就是tag,field,time的容器: #,对于influxDb的measurement来说,field是必须的,并且不能根据field来排序: #,Tag是可选的,tag可以用来做索引,tag是以字符串的形式存放的: #,retention policy,保留策略,用于决定要保留多久的数据,保存几个

IoT databases should be as flexible as required by the application. NoSQLdatabases -- especially key-value, document and column family databases -- easily accommodate different data types and structures without the need for predefined, fixed schemas.

不是Cassandra专家, 如果描绘有错误, 请通过邮件列表或者其他方式告知, 我们会修正. Druid对扫描和聚合做了很大程度的优化, 不用提前计算就支持任意的向下钻取, 还可以实时摄入流式数据并实时查询这些进入的数据. Cassandra是很好的键值对数据仓库, 相对于纯粹的key-value数据仓库可以让你做更多的感兴趣的事情.它的使用方法和druid不同, druid经常为一次查询扫描数以十亿的记录. 还有, Druid是完全的读一致性的. Druid将数据分成叫做segment的不变

点击此处观看完整活动视频 大家好,我是360的王峰,我今天主要通过Cassandra在多场景下的应用来介绍一下Cassandra在360落地的情况. 我会从以下这几个方面进行介绍.首先介绍下Cassandra落地的背景和业务情况,接着看看当前业界的一些进展,然后我还会分享对数据库发展趋势的一些个人看法,最后给大家介绍一下Cassandra在360未来的一个定位. 关于我 先介绍下我自己,我大概在2009年就开始接触Cassandra的一些早期版本了,当时也是为了在一些百度的项目中得到一些简单的应

数据模型 1.时序数据的特征 时序数据应用场景就是在时间线上每个时间点都会从多个数据源涌入数据,按照连续时间的多种纬度产生大量数据,并按秒甚至毫秒计算的实时性写入存储. 传统的RDBMS数据库对写入的支持都是按行处理,并建立B树结构的索引,它并不是为了批量高速写入而设计,尤其像多纬度时序数据连续的涌入数据平台,RDBMS的存储引擎必然导致负载.吞吐在写入性能上的极不适应. 因此时序数据的存储设计一般不会考虑传统RDBMS,都会将目光放在以LSM-Tree以及列式的数据结构存储方向. LSM数据模

Cassandra                                                              HBase 一致性 Quorum NRW策略 通过Gossip协议同步Merkle Tree,维护集群节点间的数据一致性 单节点,无复制,强一致性 可用性 1,基于Consistent Hash相邻节点复制数据,数据存在于多个节点,无单点故障. 2,某节点宕机,hash到该节点的新数据自动路由到下一节点做 hinted handoff,源节点恢复后,推送回

导读:Kristóf Kovács 是一位软件架构师和咨询顾问,他最近发布了一片对比各种类型NoSQL数据库的文章. 虽然SQL数据库是非常有用的工具,但经历了15年的一支独秀之后垄断即将被打破.这只是时间问题:被迫使用关系数据库,但最终发现不能适应需求的情况不胜枚举. 但是NoSQL数据库之间的不同,远超过两 SQL数据库之间的差别.这意味着软件架构师更应该在项目开始时就选择好一个适合的 NoSQL数据库.针对这种情况,这里对 Cassandra.Mongodb.CouchDB.Redis.

[实战]五个Docker监控工具的对比 阅读目录 Docker Stats命令 CAdvisor Scout Data Dog Sensu Monitoring Framework 总结 这篇文章作者是Usman,他是服务器和基础架构工程师,有非常丰富的分布式构建经验.该篇文章主要分析评估了五种Docker监控工具,包括免费的和不 免费的:Docker Stats.CAdvisor.Scout.Data Dog以及Sensu.不过作者还是推荐使用Data Dog.另外还有两个工具:Prometh

XP+devOps开发模式与scrum敏捷开发对比,docker虚拟化 我们现在用的就是典型的XP+devOps模式,已经放弃scrum了 现在还很多公司弄docker虚拟化docker非常复杂,当然如果只是用别人的只用记一个docker命令就行了docker虚拟化消耗额外的系统资源较少 传统虚拟化会占用一点系统资源.通常日志是写在挂载进去的盘 或者直接通过其它协议扔给日志中心服务器传统虚拟化 启动 销毁 部署 时间都较长docker部署这些就很短 把一个应用(nginx php node) 等

转自:http://0351slc.com/portal.php?mod=view&aid=12 近期网络上呈现了有关catena.benchmarking boltdb等时刻序列存储办法的介绍,Go社区也有相似的谈论论题,呈现了seriesly.influxDB.prometheus等优异项目.原文作者Jason moiron现在从事Datadog有关工作,文中他关于时刻序列数据库宣布了一些观点,(网友们在Hacker News上也有精彩的谈论)咱们一起来认识下. 时刻序列模型和图形式先于计算