摘要 最开始做cassandra monitor 方案的选型时,主要是从cassandra 本身入手,后来发现cassandra运行在JVM上,所有的metrics都是通过JMX 暴露出来.所以又可以使用一些通用的Java Application 的监控方案,作者在调查了很多的实现方案后,最终将范围缩小在graphite,newrelic,opscenter三种解决方案.本文只给出各自的优劣势,具体选用哪种,相信读者自有判断. 想了解更多cassandra 知识请访问 http://www.we…

本文介绍两个可行的K8s监控方案:Prometheus和Sensu.两个方案都能全面提供系统级的监控数据,帮助开发人员跟踪K8s关键组件的性能.定位故障.接收预警. 拓展阅读:Kubernetes监控实践(1):K8s的工作原理与监控实践 一.K8s监控之Prometheus 1.1 简介 Prometheus是针对容器和微服务的开源监控预警工具,功能稳健,适用于开发流程中的云端管理员和开发人员等各个相关方.Prometheus定时聚合配置对象中的指标数据,评估规则表达式,展示结果,发送预警.…

移动端性能监控方案Hertz 吴凯 瑞利 富强 徐宏 ·2016-12-19 16:10 性能问题是造成App用户流失的罪魁祸首之一.App的性能问题包括崩溃.网络请求错误或超时.响应速度慢.列表滚动卡顿.流量大.耗电等等.而导致App性能低下的原因有很多,除去设备硬件和软件的外部因素,其中大部分是开发者错误地使用线程.锁.系统函数.编程范式.数据结构等导致的.即便是最有经验的程序员,也很难在开发时就能避免所有导致性能低下的“坑”,因此解决性能问题的关键是在于能不能尽早地发现和定位这些“坑”.…

点这里申请 本文主要介绍Heimdallr对卡死.卡顿异常的监控原理,并结合长时间的业务沉淀发现的问题进行不断迭代和优化,逐步实现全面.稳定.可靠的历程. 作者:字节跳动终端技术--白昆仑 前言 卡死.卡顿作为目前iOS App的重要性能指标,不仅影响着用户体验,更关系到用户留存.DAU等重要产品数据.本文主要介绍Heimdallr对卡死.卡顿异常的监控原理,并结合长时间的业务沉淀发现的问题进行不断迭代和优化,逐步实现全面.稳定.可靠的历程. 一.什么是卡死/卡顿? 卡顿,顾名思义就是在使用过程…

目录 Kubernetes 监控 监控对象 Prometheus 指标 实践 节点监控 部署 Prometheus 部署 Kube State Metrics 部署 Grafana 应用如何接入 Prometheus 和 Grafana 告警 Kubernetes 监控 当你的应用部署到 Kubenetes 后,你很难看到容器内部发生了什么,一旦容器死掉,里面的数据可能就永远无法恢复,甚至无法查看日志以定位问题所在,何况一个应用可能存在很多个实例,用户的一个请求不指定被哪个容器处理了,这使得在…

1. 业界案例 目前前端性能监控系统大致为分两类:以GA为代表的代码监控和以webpagetest为代表的工具监控. 代码监控依托于js代码并部署到需监控的页面,手动计算时间差或者使用浏览器的的API进行数据统计. 影响代码监控数据的因素有以下几种: 浏览器渲染机制: 浏览器对API的实现程度,比如performance API: 工具监控不用将统计代码部署到页面中,一般依托于虚拟机.以webpageTest为例,输入需统计的url并且选择运行次url的浏览器版本,webpageTest后台虚拟…

Contents [hide] 1 监控方案调研过程 1.1 1. 虚拟机里内置监控模块 1.2 2. 通过libvirt获取虚拟机数据监控. 2 a.测试openstack的自待组件ceilometer 3 b. sina的kanyun 4 c. 我们自己根据libvirt的api开发cpu使用率,内存使用率,磁盘空间,磁盘读写,网络出入. 5 d. 天成云的监控方案 监控方案调研过程 选择监控方案: 1. 虚拟机里内置监控模块 测试collectd+rrdtool,获取到比较好的监控效果,但…

Redis 监控最直接的方法当然就是使用系统提供的 info 命令来做了,你只需要执行下面一条命令,就能获得 Redis 系统的状态报告. redis-cli info 内存使用 如果 Redis 使用的内存超出了可用的物理内存大小,那么 Redis 很可能系统会被 OOM Killer杀掉.针对这一点,你可以通过 info 命令对 used_memory 和 used_memory_peak 进行监控,为使用内存量设定阀值,并设定相应的报警机制.当然,报警只是手段,重要的是你得预先计划好,当内…

过去的一年中,关于 Docker 的话题从未断过,而如今,从尝试 Docker 到最终决定使用 Docker 的转化率依然在逐步升高,关于 Docker 的讨论更是有增无减.另一方面,大家的注意力也渐渐从 "Docker 是什么"转移到"实践 Docker"与"监控 Docker"上. 本文转自刘斌博文 「如何选择 Docker 监控方案 」 ,文中刘斌从技术的角度深入解释了 Docker 监控的数据采集原理,介绍了现有开源的监控方案,以及能够对…

前面我们已经介绍了ps/top/stats.Sysdig.Weave Scope.cAdvisor 和 Prometheus 多种容器监控工具和方案,是时候做一个比较了.下面将从五个方面来对比它们之间的优劣. 部署容易度 ps/top/stats 无疑是最容易使用的,它们是 Docker 自带的子命令,随时随地都可以用来快速了解容器的状态.其余几种也都能以容器的方式运行,总的来说都不算复杂.相对而言,Prometheus 涉及的组件比较多,搭建整个方案需要运行的容器数量也要多些,部署和管理的难道…

1.浅析整个监控流程 heapster以k8s内置的cAdvisor作为数据源收集集群信息,并汇总出有价值的性能数据(Metrics):cpu.内存.网络流量等,然后将这些数据输出到外部存储,如InfluxDB,最后就可以通过相应的UI界面显示出来,如grafana. 另外heapster的数据源和外部存储都是可插拔的,所以可以很灵活的组建出很多监控方案,如:Heapster+ElasticSearch+Kibana等等. 2.创建k8s资源对象 使用官方提供的yml文件有一些小问题,请参考以下…

之前在知乎上尝试过回答这个问题,后来问的人挺多,干脆在博客里面保存一下. 目前Kafka监控方案看似很多,然而并没有一个"大而全"的通用解决方案.各家框架也是各有千秋,以下是我了解到的一些内容: Kafka manager Github地址: https://github.com/yahoo/kafka-manager. 这款监控框架的好处在于监控内容相对丰富,既能够实现broker级常见的JMX监控(比如出入站流量监控),也能对consumer消费进度进行监控(比如lag等).另外用…

1.浅析监控方案 heapster是一个监控计算.存储.网络等集群资源的工具,以k8s内置的cAdvisor作为数据源收集集群信息,并汇总出有价值的性能数据(Metrics):cpu.内存.network.filesystem等,然后将这些数据输出到外部存储(backend),如InfluxDB,最后再通过相应的UI界面进行可视化展示,如grafana. 另外heapster的数据源和外部存储都是可插拔的,所以可以很灵活的组建出很多监控方案,如:Heapster+ElasticSearch+Ki…

Docker 最常用的监控方案 当 Docker 部署规模逐步变大后,可视化监控容器环境的性能和健康状态将会变得越来越重要. Docker 自带的几个监控子命令: ps .top .stats 功能更强的开源监控工具: sysdig .Weave Scope . cAdvisor .Prometheus Docker 自带的监控子命令 ---ps docker container ps    查看当前运行的容器 新版的 Docker 提供了一个新命令 docker container ls,其作…

http://jerrypeng.me/2014/08/08/server-side-java-monitoring-java/ 这个漫长的系列文章今天要迎来最后一篇了,也是真正与 Java 有关的部分.前面介绍了我们的监控方案的 Ganglia 和 Nagios 及其整合的部分,这一次则介绍如何记录 Java 应用内的性能参数并将其暴露给监控系统. 主要介绍的内容有 JMX 以及将监控 JMX 并发送数据到 Ganglia 的 jmxtrans,同时还会介绍我实现的一个简单的记录性能参数的方法…

转载自 huxihx,原文链接 关于Kafka监控方案的讨论 目前Kafka监控方案看似很多,然而并没有一个“大而全”的通用解决方案.各家框架也是各有千秋,以下是我了解到的一些内容: 一.Kafka manager Github地址: https://github.com/yahoo/kafka-manager. 这款监控框架的好处在于监控内容相对丰富,既能够实现broker级常见的JMX监控(比如出入站流量监控),也能对consumer消费进度进行监控(比如lag等).另外用户还能在页面上直接…

一.概述 近些天,遇到Redis监控的应用场景,从网上搜罗了一些文章,做了整理. 二.工具列表 2.1 redis-faina 见参考文章1 2.2 redis-live 见参考文章1 2.3 redis-stat 见参考文章1 2.4 redis-monitor 见参考文章1 三.实践 试用了里面的几款工具. 占坑待续 参考文章 Redis监控方案-https://my.oschina.net/guol/blog/182265 此文在我的 Github Pages 上同步发布,地址为:Redi…

1.为何需要监控 监控是运维工程师的眼睛,它可帮助运维工程师第一时间发现系统的问题. 对于服务器的整个生命周期,都要和监控打交道: 当有服务器上架,都需要加入比如CPU负载.内存.网络.磁盘等基础监控项: 当服务器上开始跑应用时,需要加入对应的应用监控,比如Tomcat/Resin,MySQL等: 当服务器进行维护时,需要暂停监控项的告警提示,否则当我们在维护MySQL,监控系统还会给我们报警说MySQL挂了. 以上操作,光靠手动去做将非常繁琐,监控系统需与其他运维系统共同协作来完成.举个例子,…

NET 的 ELK 监控方案 https://www.jianshu.com/p/3c26695cfc38 背景就不多说了,谁家没有个几个十系统在跑啊.如何监控这几十个系统的运行状况,对于非运营人员来说,太TM五花八门了.. 背景就不多说了,谁家没有个几个十系统在跑啊.如何监控这几十个系统的运行状况,对于非运营人员来说,太TM五花八门了... 名词 ELK = ElashticSearch + LogStash + Kibana Lucene 是搜索引擎,搜索引擎的特点就不用说了吧.但是使用起来…

docker相关管理可分为四类:docker基础功能.docker监控.docker集群管理和docker系统认证管理.docker管理的基础或信息来源都是docker命令行或docker API. docker基础功能 docker基础功能,如容器管理.镜像管理,直接调用docker命令或dockerAPI即可实现.humpback和portainer实现了常用docker生命周期管理.镜像管理,可供参考. docker监控 docker监控的基础是docker stats或相关API,通过实…

目录 一.Prometheus 介绍 1.1.Prometheus 架构 1.2.Prometheus Operator 架构 二.Helm 安装部署 2.1.Helm 客户端安装 2.2.Tiller 服务器安装 三.部署 Prometheus Operator 3.1.安装 Prometheus Operator Deployment 3.2.安装 Prometheus 3.3.安装 Alertmanager 3.4.安装 kube-prometheus 四.查看效果图 4.1.查看 kub…

参考https://www.cnblogs.com/CloudMan6/p/7736176.html   前面已经学习了  ps/top/stats.Sysdig.Weave Scope .cAdvisor.Prometheus多种容器监控工具和方案,是时候做一个比较了.   部署难易度   ps/top/stats  无疑是最容易使用的,他们是docker自带的子命令,随时都可以用来快速了解容器的状态.其余几种也都能以容器的方式运行,总得来说不算复杂.相对而言,Prometheus设计的组件比…

一.概要 1.1 背景 虚拟化技术如今已经非常热门,如果你不知道什么是虚拟化,那你应该了解虚拟机.虚拟化技术如同虚拟机一样,用于将某些硬件通过软件方式实现"复制",虚拟出"硬件系统" 并且能够对该虚拟的硬件系统实现一系列骚操作.       docker作为出色的虚拟化技术,其技术发展壮大的同时,使用docker部署主机和服务的情况越来越多.可虚拟化终究是虚拟化,它需要依托与真实的主机之上,所以面对日益庞大的docker服务群应用,需要做好有效的监控.       …

H5 的直播协议和视频监控方案 一.流媒体主要实现方式 二.流媒体技术 2.1 流媒体 2.2 直播 2.3 流协议 2.3.1 HLS 协议 2.3.2 RTMP 协议 2.3.3 RTSP 协议 2.3.4 MPEG-DASH 2.3.5 WebRTC 协议 2.4 服务器端技术 2.4.1 GStreamer 2.4.2 Live555 2.4.3 其它 三.HTML5媒体标签 3.1 <audio> 3.2 <video> 3.3 <canvas> 四.MSE…

随着手机淘汰的速度越来越快,大多数手机功能性能很强劲就不再使用了,以大牛直播SDK现有方案为例,本文探讨下,如何用废旧手机实现实时监控方案(把手机当摄像头做监控之用): 本方案需要准备一个手机作为采集手机(要求摄像头完好就行),采集到的数据,编码,然后推送到服务器,本地也可以实时录像,其他终端,作为远程监控端设备,拉取采集手机的实时音视频即可. 方案1:内网环境 如果只是家用,可以采集端手机,启动个轻量级RTSP服务,摄像头采集到的音视频数据,实时编码,数据汇聚到本地RTSP服务,然后,对外提供…

最近一直在折腾时序类型的数据库,经过一段时间项目应用,觉得十分不错.而Prometheus又是刚刚推出不久的开源方案,中文资料较少,所以打算写一系列应用的实践过程分享一下. Prometheus 是什么? Prometheus是一套开源的监控&报警&时间序列数据库的组合,起始是由SoundCloud公司开发的.随着发展,越来越多公司和组织接受采用Prometheus,社会也十分活跃,他们便将它独立成开源项目,并且有公司来运作.google SRE的书内也曾提到跟他们BorgMon监控系统相…

注:本文转自:http://eric100.blog.51cto.com/2535573/1717792 Opscenter用户手册 1.       OpsCenter简介 DataStaxOpsCenter是一个可视化管理和监控Apache Cassandra和DataStax Enterprise工具.OpsCenter简化了管理任务: 添加扩展集群 配置nodes 查看性能指标 修复问题 监控集群情况 主要功能 OpsCenter主要功能如下: Dashboard 概述显示任何警报和多个…

当 Docker 部署规模逐步变大后,可视化监控容器环境的性能和健康状态将会变得越来越重要. 在本章中,我们将讨论几个目前比较常用的容器监控工具和方案,为大家构建自己的监控系统提供参考. 首先我们会讨论 Docker 自带的几个监控子命令:ps, top 和 stats.然后是几个功能更强的开源监控工具 sysdig, Weave Scope, cAdvisor 和 Prometheus.最后我们会对这些不同的工具和方案做一个比较. Docker 自带的监控子命令 ps docker conta…

作为一款开源的 Redis 图形化监控工具,RedisLive 提供对 Redis 实例的内存使用情况,接收的客户端命令,接收的请求数量以及键进行监控.RedisLive 的工作原理基于 Redis 的 INFO 和 MONITOR 命令,通过向 Redis 实例发送 INFO 和 MONITOR 命令来获取 Redis 实例当前的运行数据. RedisLive 提供的图形化展示界面如下图所示: 安装 RedisLive 使用 Python 实现,使用 Tornado 作为自己的 Web 服务器…

参考https://www.cnblogs.com/CloudMan6/p/7637361.html   当 Docker 部署规模逐步变大后,可视化监控容器环境的性能和健康状态会变得越来越重要.   在本章中,我们将学习几个目前比较常用的容器监控工具和方案,为以后构建自己的监控系统提供参考.  …