对于DevOps而言,监控是其中重要的一环,上一次的专题内容中,我们与大家分享了大型企业级监控系统的设计.今天我们将和大家从另一个角度进一步探讨互联网工程技术领域的监控设计(monitoring):系统的可观测性(observerbality). 无论监控,还是可观测性,都是工程界的术语,并非严格定义的概念.人们可以描述它,但很难定义它.所以本文不会纠结于这些名词之间的区别. 在实践中,所有这些概念/术语,目标都是增强工程师对于线上系统运行情况的了解. 对工程师而言,监控/可观测性工程存在的意义…

一.前言 时隔一年半,技术变化特别快,学习也要跟上才行.以前写过EMQ数据转存问题,当时用了比较笨的方法,通过写插件的方式,把MQTT里面的数据发送到数据库进行存储.当时也是为了学习erlang和emq.现在随着对物联网的深入,也结合实际需求,不停的学习.下面将介绍我实验测试可行的物联网数据分析解决方案.采用的还是开源方案.通过订阅MQTT的根Topic,把所有物联网数据转存到InfluxDB时序数据库,然后通过Grafana进行图表显示.这应该是目前比较流行的方案.二.安装InfluxDB I…

10月30日,全球权威数据调研机构IDC正式发布<IDCMarketScape: 中国DevOps云市场2019,厂商评估>报告.京东云凭借丰富的场景和实践能力,以及高质量的服务交付和平台稳定性,取得优异出成绩,跻身"Major Players"(核心厂商)位置. 京东云DevOps能力起源于自身的业务实践,针对京东集团的复杂业务场景打造并经受住多次618.11.11电商大促的严峻考验,保证了高效高质的交付和对变化的灵活应对.能够支持复杂场景的自动化运维需求.实现工具链产品…

前言 阿里巴巴提供的控制台只是用于演示 Sentinel 的基本能力和工作流程,并没有依赖生产环境中所必需的组件,比如持久化的后端数据库.可靠的配置中心等.目前 Sentinel 采用内存态的方式存储监控和规则数据,监控最长存储时间为 5 分钟,控制台重启后数据丢失. 企业版 这里推荐一下阿里云的官方版,AHAS Sentinel 控制台 是 Sentinel 控制台的阿里云上版本,提供企业级的控制台服务,包括: 实时请求链路查看 还有各种酷炫的监控图表 可靠的实时监控和历史监控数据查询,无需自…

写在前面 随着互联网的高速发展,企业中沉淀的数据也越来越多,这就对数据存储层的扩展性要求越来越高.当今互联网企业中,大部分企业使用的是MySQL来存储关系型数据.如何实现MySQL数据存储层的高度可扩展性成为了互联网企业必须要解决的问题.那么,如何实现真正意义上的MySQL无限扩容呢?今天,冰河就来以实战的角度为大家讲讲如何实现MySQL数据库的无限扩容. 文章已收录到:https://github.com/sunshinelyz/technology-binghe 和 https://gite…

现在docker在云计算领域发展的势头很猛,各个公司不论大小都开始研究这个开源工具和技术,围绕docker的开源项目和创业公司也多如牛毛,就是一个简单管理container的web ui都有很多开源项目.不过还是一个人说的好,docker必须要是集群才好玩,而且越大越好玩.当然这是从玩技术的人眼中看待的问题,如果要真正用于生产还是有很多问题需要解决,很多方案需要设计,很多容错需要处理.今天看资料学习到了docker是怎样解决容器里面数据存储的问题的方案,以前做PAAS遇到过这种问题,不过自己也设…

一.zabbix数据库 zabbix-server将采集到的数据存储在数据库中,最常用的Mysql,数据存储的大小和每秒处理的数据量有关,数据存储取决于每秒处理的数据量和Housekeeper的删除数据. zabbix-server讲采集到的数据主要存储在History和Trends表中 History表主要存储收集到的历史数据,而Trends主要存储经过计算的历史数据,如每小时数据的最小值.最大值和平均值. 对于超过期限的数据,zabbix用Housekeeper进程进行数据清理,其原理主要是…

Google Chrome浏览器扩展可以使用如下任何一种存储机制: HTML5的localStorage API实现的本地存储(此处略) Google的chrome.storage.* API实现的浏览器存储 Google的chrome.cookies.* API实现的cookie存储 1) chrome.storage API实现的浏览器存储 Chrome浏览器扩展通过chrome.storage.* API,可以存取数据或监听数据的变化. 在manifest.json文件中注册storage…

Hashtable 是一个很常见的数据结构类型,前段时间阿里的面试官说只要搞懂了HashTable,hashMap,HashSet,treeMap,treeSet这几个数据结构,阿里的数据结构面试没问题. 一查才发现,这里面的知识确实不少,都很经典,因此做一个专题 通过此文章,可以了解到一下内容(我去美团,京东,阿里基本每次都问这几个问题) (1) Hashtable的存储结构 (数组+链表) (2)Hashtable的扩容原理,扩容因子0.75,bucket的初始大小11.(扩容的函数为2N+…

本次博文发两块,前部分是怎样搭建一个Elastic集群,后半部分是基于Java对数据进行写入和聚合统计. 一.Elastic集群搭建 1. 环境准备. 该集群环境基于VMware虚拟机.CentOS 7系统,公司目前用的服务器系统基本全是CentOS系统,因此就选了这个.Elasticsearch需要依赖的最低环境就是JDK8,且要配置好环境变量JAVA_HOME. Elasticsearch的安装也可以查看官网给出的安装说明. 虚拟机系统采用的是最小化安装,没有安装桌面程序.安装完程序再安装J…