监控平台SkyWalking9入门实践
简便快速的完成对分布式系统的监控;
一、业务背景
微服务作为当前系统架构的主流选型,虽然可以应对复杂的业务场景,但是随着业务扩展,微服务架构本身的复杂度也会膨胀,对于一些核心的业务流程,其请求链路会涉及到多个业务服务,少则三五个,多则十几个都很常见:
真实的业务场景远比图解复杂,在这种模式下当请求发生故障时,或者进行优化时,需要分析链路性能,追踪调用链路,排查和解决链路故障;
要完成上述流程,需要对请求的链路有完整监控,并且采集和分析各个环节的数据,这样才能清晰的理解系统的行为信息,比如耗时分析,故障原因发现,从而进行优化和解决;能实现这种能力的组件很多,这里来看看基于SkyWalking9的实践方式;
二、组件原理
Skywalking是APM规范的国产开源分布式链路追踪系统,APM(Application-Performance-Management)即应用性能管理,支持对SpringCloud微服务集成,并且无代码层面的侵入:
结构体系
业务机制
SpringCloud:分布式系统中的服务,启动时配置代理即可;
Agent:以探针的方式进行请求链路的数据采集,并向管理服务上报;
OAP-Service:接收数据,完成数据的存储和展示;
Storage:数据的存储层,支持ElasticSearch、Mysql、H2多种方式;
UI界面:数据的可视化展示界面;
工作流程,服务通过探针的方式接入数据采集的功能,之后请求链路的相关处理行为会上报到OAP服务中,进行数据的聚合管理和分析,并存储在持久层,然后可以通过UI界面进行可视化呈现;
三、安装部署
1、版本描述
skywalking在之前的旧版本中,apm与agent是在一个包中的,在9.0的版本中是需要分开下载的;agent包下载解压之后,也将其放到apm包下面维护:
- skywalking-apm-9.1.0.tar.gz
- skywalking-java-agent-8.10.0.tgz
2、配置存储方式
Skywalking数据存储的组件有多种选型方式,这里方便本地调试,就选择MySQL数据库,在生产环境中通常选择ElasticSearch组件;
配置文件:config/application.yml
storage:
selector: ${SW_STORAGE:mysql}
mysql:
properties:
jdbcUrl: ${SW_JDBC_URL:"jdbc:mysql://localhost:3306/swtest?rewriteBatchedStatements=true"}
dataSource.user: ${SW_DATA_SOURCE_USER:username}
dataSource.password: ${SW_DATA_SOURCE_PASSWORD:password}
需要注意的是,要在本地的MySQL中新建swtest数据库,采用latin1字符编码,可以避免索引长度的问题,表的创建是自动的,然后需要在包中添加MySQL依赖;
3、启动与停止
- 启动oap服务:sh bin/oapService.sh
- 启动UI界面:sh bin/webappService.sh
- 服务停止命令:jps查看,kill相关编号;
UI界面服务默认是8080端口,如果存在占用问题,可以修改:webapp/webapp.yml
文件,更换端口;启动完成后访问LocalIP:port
即可;
4、服务集成
在本地存在gateway
,facade
,account
,三个服务,案例围绕account
服务中的请求展开,由于涉及网关服务,还需要添加相关插件的依赖;
将optional-plugins
可选插件目录中的两个网关的依赖包,复制到plugins
插件目录下;
在服务启动类中添加agent
配置,如果在生产环境中,通常会统一在脚本中设置,由于在本地环境演示,基于IDEA工具进行管理;
-javaagent:本地路径/agent/skywalking-agent.jar -Dskywalking.agent.service_name=gateway
-javaagent:本地路径/agent/skywalking-agent.jar -Dskywalking.agent.service_name=facade
-javaagent:本地路径/agent/skywalking-agent.jar -Dskywalking.agent.service_name=account
这样全部的配置就完成了,依次启动skywalking相关服务,与这里配置的三个微服务,下面再来看看功能细节;
四、功能细节
1、服务监控
相关服务启动完成后,访问skywalking界面,主页加载的即上述配置的三个微服务,这样说明整个流程是正常的,点击服务名称可以查看服务相关的细节指标;
2、拓补结构图
请求通过gateway
网关服务,经过facade
门面服务,到达account
业务服务,完成一次调用后,查看请求的拓补结构图(即Topology一栏);
可以清晰的看到请求的路由链路,以及相关服务访问的数据库地址,对于微服务架构中的复杂接口来说,借助该拓补模型,既可以快速理解业务逻辑,同时在出具文档时可以节省很多画图时间;
3、链路跟踪
上面只是请求的拓补结构图,在实际应用中还是更侧重链路跟踪,查看account
服务请求链路(即Trace一栏);
skywalking组件对于开发来说,最常用的就是该功能,这里采集了请求链路上的各个节点,以及执行的耗时分析,点击相关节点可以查看详细信息,针对异常请求同样可以采集到异常信息的描述;
这样可以极大的提升问题排查的效率,尤其对于那种路由十多个服务的业务逻辑;
4、数据库监控
虽然在整个配置中没有显式的添加对MySQL的监控,但是skywalking依旧可以实现对服务中的数据库监控,对于这些指标细节不过多描述,可以自行查阅文档;
本篇文章只是站在开发的角度,总结skywalking的应用方式,并未涉及过多的细节原理,其它强大的功能设计,对于开发来说同样值得参考。
五、源码参考
应用仓库:
https://gitee.com/cicadasmile/butte-flyer-parent
组件封装:
https://gitee.com/cicadasmile/butte-frame-parent
监控平台SkyWalking9入门实践的更多相关文章
- 京东前端:PhantomJS 和NodeJS在网站前端监控平台的最佳实践
1. 为什么需要一个前端监控系统 通常在一个大型的 Web 项目中有很多监控系统,比如后端的服务 API 监控,接口存活.调用.延迟等监控,这些一般都用来监控后台接口数据层面的信息.而且对于大型网站系 ...
- 《开源安全运维平台OSSIM最佳实践》
<开源安全运维平台OSSIM最佳实践> 经多年潜心研究开源技术,历时三年创作的<开源安全运维平台OSSIM最佳实践>一书即将出版.该书用80多万字记录了,作者10多年的IT行业 ...
- 大众点评开源分布式监控平台 CAT 深度剖析
一.CAT介绍 CAT系统原型和理念来源于eBay的CAL的系统,CAT系统第一代设计者吴其敏在eBay工作长达十几年,对CAL系统有深刻的理解.CAT不仅增强了CAL系统核心模型,还添加了更丰富的报 ...
- Cacti+Nagios监控平台完美整合
Cacti+Nagios监控平台完美整合 本博文出自51CTO博客吴光科博主,有任何问题请进入博主页面互动讨论!博文地址:http://wgkgood.blog.51cto.com/1192594/1 ...
- 携程实时计算平台架构与实践丨DataPipeline
文 | 潘国庆 携程大数据平台实时计算平台负责人 本文主要从携程大数据平台概况.架构设计及实现.在实现当中踩坑及填坑的过程.实时计算领域详细的应用场景,以及未来规划五个方面阐述携程实时计算平台架构与实 ...
- 性能测试监控平台:InfluxDB+Grafana+Jmeter
前面的博客介绍了InfluxDB.Telegraf.Grafana的安装和使用方法,这篇博客,介绍下如何利用这些开源工具搭建性能测试监控平台... 前言 性能测试工具jmeter自带的监视器对性能测试 ...
- Kubernetes集群的监控报警策略最佳实践
版权声明:本文为博主原创文章,未经博主同意不得转载. https://blog.csdn.net/M2l0ZgSsVc7r69eFdTj/article/details/79652064 本文为Kub ...
- TOP100summit:【分享实录-Microsoft】基于Kafka与Spark的实时大数据质量监控平台
本篇文章内容来自2016年TOP100summit Microsoft资深产品经理邢国冬的案例分享.编辑:Cynthia 邢国冬(Tony Xing):Microsoft资深产品经理.负责微软应用与服 ...
- 0.Python 爬虫之Scrapy入门实践指南(Scrapy基础知识)
目录 0.0.Scrapy基础 0.1.Scrapy 框架图 0.2.Scrapy主要包括了以下组件: 0.3.Scrapy简单示例如下: 0.4.Scrapy运行流程如下: 0.5.还有什么? 0. ...
随机推荐
- ELK 日志分析系统的部署
一.ELK简介 ElasticSearch介绍Elasticsearch是一个基于Lucene的搜索服务器. 它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口. Elasti ...
- vivo官网APP全机型UI适配方案
vivo 互联网客户端团队- Xu Jie 日益新增的机型,给开发人员带来了很多的适配工作.代码能不能统一.apk能不能统一.物料如何选取.样式怎么展示等等都是困扰开发人员的问题,本方案就是介绍不同机 ...
- VGA显示原理
VGA显示是图像处理的基础,是一开始广泛使用的显示器,大部分机器采用VGA接口驱动,所以后来的显示器需要用VGA-xxx转接口来匹配. 用FPGA来驱动VGA,并不适用于显示动态(如手机显示,GUI) ...
- .NET Core 实现后台任务(定时任务)Longbow.Tasks 组件(三)
原文链接:https://www.cnblogs.com/ysmc/p/16512309.html 在上两篇文章中,简单介绍了怎么使用 IHostedService 与 BackgroundServi ...
- CentOS删除桌面环境
公司有几台虚拟机安装的是CentOS7的桌面环境,平时也是用终端访问,于是在服务器卡住需要重启时,顺便就把桌面环境给卸载了:测试了好多方法均不成功,最终找到了可行的方式,以此记录: [root@yun ...
- ERROR: null value in column "name" of relation "res_company" violates not-null constraint
1 # 创建res.company公司信息的时候,发现它执行了两次create()方法,并且第二次调用create,传了一个[{}]做为参数 2 # 原因是,你创建res.company的时候并没有指 ...
- @Autowired注解 --required a single bean, but 2 were found出现的原因以及解决方法
@Autowired注解是spring用来支持依赖注入的核心利器之一,但是我们或多或少都会遇到required a single bean, but 2 were found(2可能是其他数字)的问题 ...
- ASP.NET Core 5.0中的Host.CreateDefaultBuilder执行过程
通过Rider调试的方式看了下ASP.NET Core 5.0的Web API默认项目,重点关注Host.CreateDefaultBuilder(args)中的执行过程,主要包括主机配置.应用程 ...
- 微服务性能分析|Pyroscope 集合 Spring Cloud Pig 的实践分享
随着微服务体系在生产环境落地,也会伴随着一些问题出现,比如流量过大造成某个微服务应用程序的性能瓶颈.CPU利用率高.或内存泄漏等问题.要找到问题的根本原因,我们通常都会通过日志.进程再结合代码去判断根 ...
- feign的fallback操作
Fallback可以帮助我们在使用Feign去调用另外一个服务时,如果出现了问题,走服务降级,返回一个错误数据,避免功能因为一个服务出现问题,全部失效. 依赖: <dependency> ...