openfalcon源码分析之hbs
openfalcon源码分析之hbs
本节内容
- hbs功能
- hbs源码分析
- hbs设计优劣
1. hbs功能
hbs在整个open-falcon项目中承担的角色就是连接数据库,作为数据库缓存,缓存配置,主要给agent和judge提供服务。
2. hbs源码分析
hbs源码分析将列出其对外提供的rpc服务以及其缓存的数据,并在最后尝试阐述其最重要的两个rpc服务GetExpressions和GetStrategies的执行过程。
对外提供服务
hbs对外提供服务的方式有RPC和http,主要使用的是其rpc服务,其对外提供服务的rpc接口列表如下:
接口名 | 提供对象 | 提供服务 |
---|---|---|
MinePlugins | agent | 通过agent提供的hostname获取其对应的主机组列表,再找到对应plugin list返回 |
ReportStatus | agent | 获取agent的信息缓存并插入或更新到数据库中的host中(hostname, ip, agent_version, plugin_version) |
TrustableIps | agent | 如果配置文件中配置了信任IP,则把信任IP列表发给agent |
BuiltinMetrics | agent | 通过agent的hostname获取其对应的主机组列表,并找到templat list,从strategy表中筛选出('net.port.listen', 'proc.num', 'du.bs', 'url.check.health')这些metric的metric和tags |
GetExpressions | judge | 返回数据库中所有生效的Expressions |
GetStrategies | judge | 获取所有的strategys并按照hostname:strategys的方式组织数据返回 |
缓存数据
hbs启动了一个定时任务,每间隔一分钟去数据库读取数据并缓存起来。下表是其缓存的数据列表:
缓存名称 | 含义 | 执行sql |
---|---|---|
GroupPlugins | 缓存所有的plugins路径 | select grp_id, dir from plugin_dir |
GroupTemplates | 缓存主机组和模板对应关系 | select grp_id, tpl_id from grp_tpl |
HostGroupsMap | 缓存主机和主机组对应关系 | select grp_id, host_id from grp_host |
HostMap | 缓存所有主机 | select id, hostname from host |
TemplateCache | 缓存所有模板 | select id, tpl_name, parent_id, action_id, create_user from tpl |
Strategies | 缓存所有strategys | "select %s from strategy as s where (s.run_begin='' and s.run_end='') or (s.run_begin <= '%s' and s.run_end > '%s')","s.id, s.metric, s.tags, s.func, s.op, s.right_value, s.max_step, s.priority, s.note, s.tpl_id",now,now |
HostTemplateIds | 缓存主机与模板对应关系 | select a.tpl_id, b.host_id from grp_tpl as a inner join grp_host as b on a.grp_id=b.grp_id |
ExpressionCache | 缓存所有正常的Expression | select id, expression, func, op, right_value, max_step, priority, note, action_id from expression where action_id>0 and pause=0 |
MonitoredHosts | 缓存所有不处于维护状态的主机 | "select id, hostname from host where maintain_begin > %d or maintain_end < %d", now, now |
rpc调用GetExpressions过程
GetExpressions
服务调用cache.ExpressionCache.Get()
方法获取缓存中存储的所有Expression
rpc调用GetStrategies过程
GetStrategies
服务先调用cache.HostTemplateIds.GetMap()
方法获取每个主机id对应的所有template id
,再调用cache.MonitoredHosts.Get()
方法获取不处于维护状态的主机名与id列表。调用cache.TemplateCache.GetMap()
方法获取所有的模板,调用cache.Strategies.GetMap()
获取所有的strategies
。调用Tpl2Strategies(strategies)
对tpl_id和strategies做了一个字典映射,这样通过tpl_id就能找到对应的所有strategies。循环每台主机,调用CalcInheritStrategies
方法获取每台主机对应的strategies
,再将主机名和对应的strategies
组合成一个结构体,将所有这些结构体组合在hostStrategies
中返回给judge。Tpl2Strategies
方法循环strategies
,将tplid
作为key
,value
是strategies
组成的array
,返回给调用者,目的是可以直接通过tplid
找到对应的所有strategies
。CalcInheritStrategies
方法首先遍历主机对应的模板列表,对每个模板都寻找其父模板,生成一个模板bucket
,这样,就使得原先的每个模板都变成了一个模板列表。- 遍历新的模板列表,过滤掉有包含关系的模板
bucket
,生成uniq_tpl_buckets
- 循环
uniq_tpl_buckets
,找到所有的strategies
,并用子模板的strategies
覆盖父模板相同的strategies
。 - 最后返回该主机对应的完整的
strategies
。
3. hbs设计优劣
优点:
- hbs作为数据库缓存层,缓存了数据库中关于监控的配置,所有的agent和judge都直接来hbs中读取数据,减轻了数据库的压力。
- hbs接收agent上报过来的信息,并实时写入数据库中,可以立即自动发现安装了agent的机器,功能很不错。
缺点:
- 获取所有的
strategys
功能代码太复杂,建议优化的更简洁。
openfalcon源码分析之hbs的更多相关文章
- openfalcon源码分析之Judge
openfalcon源码分析之Judge 本节内容 Judge功能 源码分析 设计优缺点 1. Judge功能 在open-falcon中,Judge模块的功能是通过从HBS上同步告警的strateg ...
- openfalcon源码分析之graph
openfalcon源码分析之graph 本节内容 graph功能 graph源码分析 2.1 graph中重要的数据结构 2.2 graph的简要流程图 2.3 graph处理数据过程 2.4 gr ...
- openfalcon源码分析之agent
本节内容 agent功能 1.1 agent上报数据 1.2 agent与HBS同步 1.3 agent Http服务 agent源码分析 2.1 初始化config配置 2.2 初始化根目录,本地I ...
- openfalcon源码分析之transfer
本节内容 transfer功能 transfer接收数据来源 transfer数据去向 transfer的一致性hash transfer的一致性hash key的计算 transfer源码分析 2. ...
- ABP源码分析一:整体项目结构及目录
ABP是一套非常优秀的web应用程序架构,适合用来搭建集中式架构的web应用程序. 整个Abp的Infrastructure是以Abp这个package为核心模块(core)+15个模块(module ...
- HashMap与TreeMap源码分析
1. 引言 在红黑树--算法导论(15)中学习了红黑树的原理.本来打算自己来试着实现一下,然而在看了JDK(1.8.0)TreeMap的源码后恍然发现原来它就是利用红黑树实现的(很惭愧学了Ja ...
- nginx源码分析之网络初始化
nginx作为一个高性能的HTTP服务器,网络的处理是其核心,了解网络的初始化有助于加深对nginx网络处理的了解,本文主要通过nginx的源代码来分析其网络初始化. 从配置文件中读取初始化信息 与网 ...
- zookeeper源码分析之五服务端(集群leader)处理请求流程
leader的实现类为LeaderZooKeeperServer,它间接继承自标准ZookeeperServer.它规定了请求到达leader时需要经历的路径: PrepRequestProcesso ...
- zookeeper源码分析之四服务端(单机)处理请求流程
上文: zookeeper源码分析之一服务端启动过程 中,我们介绍了zookeeper服务器的启动过程,其中单机是ZookeeperServer启动,集群使用QuorumPeer启动,那么这次我们分析 ...
随机推荐
- django如何防止csrf(跨站请求伪造)
什么是CSRF 下面这张图片说明了CSRF的攻击原理: Django中如何防范CSRF Django使用专门的中间件(CsrfMiddleware)来进行CSRF防护.具体的原理如下: 1.它修改当前 ...
- Ubuntu18.04下安装比特币客户端
一.下载有两种安装方式:安装包和源码 二.安装1.通过安装包安装在https://bitcoin.org/en/download下载Windows,Mac OSX,Linux对应的安装包.安装过程比较 ...
- MegaCli 监控raid状态
MegaCli 监控raid状态 http://blog.chinaunix.net/uid-25135004-id-3139293.html 简介 MegaCli是一款管理维护硬件RAID软件,可以 ...
- Ambari Rest api 使用
最近由于项目的需要在看一些Ambari的api去获取集群的一些信息,获取集群节点的状态信息以及各个服务和组件的信息.然后在我们的数据服务管理平台上去做一些监控运维,现在把一些使用总结一下:官网rest ...
- (转) SpringBoot非官方教程 | 第二十四篇: springboot整合docker
这篇文篇介绍,怎么为 springboot程序构建一个Docker镜像.docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从Apache2.0协议开源.Docker 可以让开发者打包他们的 ...
- Miller-Rabin素数测试算法(POJ1811Prime Test)
题目链接:http://poj.org/problem?id=1811 题目解析:2<=n<2^54,如果n是素数直接输出,否则求N的最小质因数. 求大整数最小质因数的算法没看懂,不打算看 ...
- VS Code 终端窗口无法输入命令的解决方案
问题 今天打开vs code,打开终端窗口,发现不能输入命令了 解决方法 邮件桌面 vscode的快捷键,打开“兼容性”标签,勾选"以管理员身份运行此程序" 结果 修改之后重启vs ...
- 2.5 The Object Model -- Observers
Ember支持监视任何属性,包括计算的属性.你可以使用Ember.observer为一个对象设置一个监视者: Person = Ember.Object.extend({ //these will b ...
- 基于.net core webapi和mongodb的日志系统
开发环境vs2017,.NET Core2.1, 数据写入到mongodb.思路就是1.提供接口写入日志,2.基于接口封装类库.3.引入类库使用 源码在最后 为什么要写它 很多开源项目像nlog.lo ...
- python使用zipfile解压中文乱码问题
在zipfile.ZipFile中获得的filename有中日文则很大可能是乱码,这是因为 在zip标准中,对文件名的 encoding 用的不是 unicode,而可能是各种软件根据系统的默认字符集 ...