使用 grafana+prometheus+jmx 作为普通的监控手段,是比较有用的.我之前的文章介绍了相应的实现办法. 但是,按照之前的实现,我们更多的只能是监控 单值型的数据,如请求量,tps 等等,对于复杂组合型的指标却不容易监控. 这种情况一般带有一定的业务属性,比如想监控mq中的每个topic的消费情况,每类产品的实时订单情况等等.当然,对于看过完整的 prometheus 的监控数据的同学来说,会觉得很正常,因为你会看到如下的数据: # HELP java_lang_MemoryPo

前言 业务监控对许许多多的场景都是十分有意义,业务监控看板可以让我们比较直观的看到当前业务的实时情况,然后运营人员可以根据这些情况及时对业务进行调整操作,避免业务出现大问题. 老黄曾经遇到过一次比较尴尬的"事故". 其中一条业务线,服务着的其中一个商家,把大部分流量切到另外一个地方去了,而我们的运营人员在当天却是完全不知情,第二天看了昨天的统计报表之后才发现这个商家的量少了很多,才能跟进协调处理. ps: 当时实时报表比较欠缺,都是第二天凌晨生成昨天的数据报表,也没有告警机制. 后面就

prometheus 是一个非常好的监控组件,尤其是其与grafana配合之后,更是如虎添翼.而prometheus的监控有两种实现方式.1. server端主动拉取应用监控数据:2. 主动推送监控数据到prometheus网关.这两种方式各有优劣,server端主动拉取实现可以让应用专心做自己的事,根本无需关心外部监控问题,但有一个最大的麻烦就是server端需要主动发现应用的存在,这个问题也并不简单(虽然现在的基于k8s的部署方式可以实现自动发现).而基本prometheus网关推送的实现,

前言 最近有个新项目需要搞一套完整的监控告警系统,我们使用了开源监控告警系统Prometheus:其功能强大,可以很方便对其进行扩展,并且可以安装和使用简单:本文首先介绍Prometheus的整个监控流程:然后介绍如何收集监控数据,如何展示监控数据,如何触发告警:最后展示一个业务系统监控的demo. 监控架构 Prometheus的整个架构流程可以参考如下图片: 整个流程大致分为收集数据,存储数据,展示监控数据,监控告警:核心组件包括:Exporters,Prometheus Server,Al

摘要: 2017云栖大会HBase专场,大搜车高级数据架构师申玉宝带来HBase在大搜车金融业务中的应用实践.本文主要从数据大屏开始谈起,进而分享了GPS风控实践,包括架构.聚集分析等,最后还分享了流式数据统计,包括数据流.数据合流和服务监控等. 2017云栖大会HBase专场,大搜车高级数据架构师申玉宝带来HBase在大搜车金融业务中的应用实践.本文主要从数据大屏开始谈起,进而分享了GPS风控实践,包括架构.聚集分析等,最后还分享了流式数据统计,包括数据流.数据合流和服务监控等.以下是精彩内容

1. 背景 跨平台动态化技术是目前移动互联网领域的重点关注方向,它既能节约人力,又能实现业务快速上线的需求.经过十年的发展,美团App已经变成了一个承载众多业务的超级平台,众多的业务方对业务形态的快速迭代和更新提出了越来越高的要求.传统移动端”静态“的开发方式存在一系列问题,比如包体积增长过快.线上Bug修复困难.发版周期长等,已经不能满足高速发展的业务需要.因此,美团平台自研了一套跨平台动态化方案——MTFlexbox. 目前,MTFlexbox已经广泛应用于美团首页.搜索.外卖等多个业务场景

没有监控 就没有眼睛. 除了k8s的基本监控外(pod运行状况.占用内存.cpu).为了对微服务项目中的(1)各种参数线程池.QPS.RT.业务指标(2)系统负载.thread.mem.class.tomcat.gc.等jvm指标进行监控 采用 promethus 对spring boot业务埋点进行监控. 因为k8s对promethus很好的支持.同时spring boot 集成client很方便.对spring boot actuator 的metrics指标有很好的集成 所以采用了基于 k

评注: 开源的分布式监控系统 转:http://www.infoq.com/cn/articles/distributed-real-time-monitoring-and-control-system?utm_campaign=rightbar_v2&utm_source=infoq&utm_medium=articles_link&utm_content=link_text 2011年底,我加入大众点评网,出于很偶然的机会,决定开发CAT,为各个业务线打造分布式实时监控系统,C

目录 .NET-记一次架构优化实战与方案-梳理篇 .NET-记一次架构优化实战与方案-前端优化 .NET-记一次架构优化实战与方案-底层服务优化 前言 经过上一篇<.NET-记一次架构优化实战与方案-前端优化>与大家分享了对页面加载优化的心得和经历.虽然优化前端的性能效率,但是由于底层服务的触发方式,根本性问题仍然存在的. 问题分析 在本系列第一篇文章我们提到,底层服务是一系列的JOB,那么问题主要存在以下两点: 代码冗余 时效低 代码冗余 例如: 领奖方法不统一,一次性的写一套,可循环的又写

2011年底,我加入大众点评网,出于很偶然的机会,决定开发CAT,为各个业务线打造分布式实时监控系统,CAT的核心概念源自eBay闭源系统CAL----eBay的几大法宝之一. 在当今互联网时代,业务需求旺盛,开发团队往往采用scrum等敏捷开发流程,加班加点快速迭代以满足业务需求,是常态.采用分布式系统设计和服务化,由多台机器协作来共同完成用户请求,是典型的解决方案.网站故障频发,内部关系错综复杂,故障定位缓慢,甚至找不到问题根源,也是常有的事.虽然已经有很多日志监控工具,或许单个工具功能还不

WMRouter是一款Android路由框架,基于组件化的设计思路,功能灵活,使用也比较简单. WMRouter最初用于解决美团外卖C端App在业务演进过程中的实际问题,之后逐步推广到了美团其他App,因此我们决定将其开源,希望更多技术同行一起开发,应用到更广泛的场景里去.Github项目地址与使用文档详见 https://github.com/meituan/WMRouter. 本文先简单介绍WMRouter的功能和适用场景,然后详细介绍WMRouter的发展背景和过程. 功能简介 WMRou

数据分析侠A的成长故事 面包君  同学A:22岁,男,大四准备实习,计算机专业,迷茫期 作为一个很普通的即将迈入职场的他来说,看到周边的同学都找了技术开发的岗位,顿觉自己很迷茫,因为自己不是那么喜欢钻研写代码,而自己又没太多的经验.那年他实习,选择了一家国内一线梯队的电商公司,HR问道想选择什么岗位,而他本人自己也比较困惑,说对数据感兴趣.而恰好那年公司打算成立一个数据部门,就把同学A分配到了市场部的数据组.那时候主管是来自新浪背景的网站分析师.赶上了电商大潮,大家交流的比较多的就是网站分析的P

原文:.NET-架构优化实战-底层服务优化 前言 问题分析 在本系列第一篇文章我们提到,底层问题主要存在以下两点: 代码冗余 时效低 代码冗余 例如: 领奖方法不统一,一次性的写一套,可循环的又写一套.   每个类型任务都需要独自的实现该任务的完成任务 JOB 与发放奖励 JOB 以上问题直接导致了后续开发.日常维护成本过高. 因为早期开发时缺少沟通,没有封装成公共的方法,而JOB每个开发人员都单独实现了一套,当然他们未必那么蠢,可能是某个先完成了,后续的先前COPY后修改一下. 试想一下,没新

CAT总体介绍CAT(Central Application Tracking)是由吴其敏(前大众点评首席架构师,现携程架构负责人)主导设计基于Java开发打造的实时应用监控平台,为大众点评网提供了全面的监控服务和决策支持. CAT作为大众点评网基础监控组件,它已经在中间件框架(MVC框架,RPC框架,数据库框架,缓存框架等)中得到广泛应用,为点评各业务线提供系统的性能指标.健康状况.基础告警等. CAT解决什么问题? 线上发布了服务,怎么知道它一切正常,比如发布5台服务器,如何直观了解是否有请

1 业务架构 风控平台是相对独立的系统,信审的案件可以从借款端平台推过来,也可以从第三方平台推过来.信审案件到达风控平台后,自动创建工作流,根据风控流程处理各流程环节任务. •自动决策 风控流程自动处理案件,访问第三方合作伙伴的接口,获取用户黑名单.欺诈数据和多头借贷等数据,查询名单数据,决策引擎输出各环节处理结果.自动决策后出三个结果,自动通过.转人工.拒绝. • 人工信审 根据决策引擎输出的结果进行转人工处理,人工通过初审和复核岗,给出具体信审结果,信审通过的案件给出风险等级和具体额度. •

作者|  不四(死马)蚂蚁金服 语雀产品技术负责人 语雀是什么? 语雀是一个专业的云端知识库,面向个人和团队,提供与众不同的知识管理,打造轻松流畅的工作协同,它提供各种格式的在线文档(富文本.表格.设计稿等)编辑能力,支持实时在线多人协同编辑,数据云端保存不丢失.而语雀与其他文档工具最大的不同是,它通过知识库来对文档进行组织,让知识创作者更好的管理知识. 语雀技术架构演进 原型阶段 语雀诞生于 2016 年,当时蚂蚁金融云需要一个工具来承载它的文档.当时负责的技术同学利用业余时间,开始搭建这个文

Java能力和面试能力,这是两个方面的技能,可以这样说,如果不准备,一些大神或许也能通过面试,但能力和工资有可能被低估.再仔细分析下原因,面试中问的问题,虽然在职位介绍里已经给出了范围,但针对每个点,面试官的问题是随机想的,甚至同一个面试官在两场相似的面试里,提的问题也未必一样. 也就是说,如果让面试官自由提问,那么一旦问到你不熟悉的点,你可能就答不上,如果运气不好,再外加上不知道面试引导技巧等因素,真有可能面试官的提问全落在你不熟悉的范围内,这样就非常可惜了.与其这样,还不如事先准备外带面试引

前提:由于slave磁盘未及时扩容原因导致磁盘即将写满,为了不影响业务将slave实例里一个10G的库drop了(项目前期建的库,数据现在已不使用了),然后又drop了master上的该库(对于大库建议先drop或truncate表再drop库,否则可能导致磁盘空间不能正常释放).这时查看slave的主从状态,发现sql线程有异常,如下图: 解决:记得该库下有200多张表,由于库已删,当时查询表数量的sql结果也不在了,所以具体有多少张表已无法核实,如果用STOP SLAVE;>SET GLOB

此文记录资源预加载在我们项目的实践,技术难度不算高,重在介绍一套技术方案的诞生与实施,其中都进行了哪些思考,依据什么来做决策,如何进行效果评估,等等.为读者在制定技术方案时提供一定启示. 背景 资源预加载机制很好理解,即在用户访问页面之前,提前加载好相应的资源.这样用户在访问页面的时候,省去了加载资源的时间,达到“秒开”的效果. 资源预加载的方案很多,本文所述的是纯web下的资源预加载,区别于利用容器做资源预置.所以采用的技术都是纯web方案. 另外还有一个背景:项目是SPA架构,webpack

1.什么是微服务? 微服务可谓是这几年比较热门的技术,从2017开始逐渐爆火,逐渐大大小小的公司纷纷将微服务技术引入并在实际业务中落地. 微服务的概念最早是在2014年由Martin Fowler和James Lewis共同提出:微服务是由单一应用程序构成的小服务,拥有自己的进程与轻量化处理,服务依业务功能设计,以全自动的方式部署,与其他服务使用HTTP API通讯.同时,服务会使用最小规模的集中管理 (例如Docker)技术,服务可以用不同的编程语言与数据库等. 1.1.单体应用之痛 为什么要