在实际的项目中需要对线上日志做实时分析跟统计,这一套方案可以用现有的ELK(ElasticSearch, Logstash, Kibana)方案既可以满足,关于这个方案的具体的步骤可以参考网上的解决方案.但如果只想统计某个错误码(http状态码,业务错误码)在指定时间内出现多少次然后就触发一个告警或者某个指令动作(邮件或者是调用已经写好的http接口,例如例如微信平台来通知告警信息等),这种需求可以用logstash进行实现,并且这种方案比较轻量级,很容易实现.这里以在linux平台为主. 下载…

处理原始日志 日志从moogoo导出来的 { "mobile" : "13612345678", "isp" : "中国移动_广东", "time" : ISODate("2017-10-16T18:39:51.245Z"), "success" : true } 要解决时间问题: logstash修改时间 发现日志已是json格式,想用date插件实现time字段赋…

logstash->redis->logstash->elasticsearch 1.安装部署redis cd /usr/local/src wget http://download.redis.io/releases/redis-3.2.8.tar.gz tar xf redis-3.2.8.tar.gz cd redis-3.2.8/ make ln -s /usr/local/src/redis-3.2.8 /usr/local/redis cd /usr/local/redis/…

asyncio模块是python之父写的模块,按说应该是靠谱的,python3.6版本定义为稳定版本. 说明书:https://docs.python.org/3/library/asyncio.html?highlight=asyncio#module-asyncio 大概定义:该模块提供了使用协程编写单线程并发代码,通过套接字和其他资源复用I​​ / O访问,运行网络客户端和服务器以及其他相关原语的基础结构. 简单应用(基于wsgi的报警器) #!/usr/bin/env python #…

此次我写的是一个小型的shell, 链接钉钉的机器人, 使用过的应该会比较娴熟的了,下面就简述一下把 主要的功能就是, 当发现本地数据库区块跟网络上的区块差距相差较大的时候就代表, 数据同步有问题, 这个时候, 发出一条告警出来, 对于比特网络来说,我用的是https://blockchair.com/ 注意到的哥们已经发现了, 在首页的下方就是它的API, 我用的是比较愚蠢的方式去调用它, 直接用curl吧, 躁一把. 也可以点进去查询它的相关调用, 这里面所调用的币种也是换汤不换药, 比如以…

什么是运维 术语名词 IDC--(Internet Data Center)互联网数据中心,主要服务包括整机租用.服务器托管.机柜租用.机房租用.专线接入和网络管理服务等.广义上的IDC业务,实际上就是数据中心所提供的一切服务.客户租用数据中心的服务器和带宽,并利用数据中心的技术力量,来实现自己对软.硬件的要求,搭建自己的互联网平台,享用数据中心所提供的一系列服务. ISP--(Internet Service Provider)互联网服务提供商,即向广大用户综合提供互联网接入业务.信息业务.和…

导读: 今天和大家分享京东零售OLAP平台的建设和场景的实践,主要包括四大部分: 管控面建设 优化技巧 典型业务 大促备战 -- 01 管控面建设 1. 管控面介绍 管控面可以提供高可靠高效可持续运维保障.快速部署小时交付的能力,尤其是针对ClickHouse这种运维较弱但是性能很高的OLAP核心引擎,管控面就显示得尤其重要. 2. 架构设计 管控面的整体架构设计如上图所示,从开始请求.域名解析和分流规则,到达后端服务adminServer,adminServer有一层校验层,校验完成后会向队列…

任务内容: 获取Zabbix各用户告警媒介分钟级统计,形成趋势图,便于观察各用户在每分钟收到的告警数量,在后续处理中,可以根据用户在某时间段内(例如3分钟内)收到的邮件总数,来判断是否有告警洪水的现象,以便于我们及时对相关现象做出处理.注释掉短信告警语句,然后产生一次电话告警事件. 任务分析: 查阅完相关资料之后,没有办法直接从zabbix现有的配置中获取到相关的统计值.就只能从zabbix的数据库中获取,毕竟太阳底下无新鲜事,收到的这些告警邮件,也是需要相关底层数据库支撑着.从数据库中找到za…

用logstash 作数据的聚合统计 以spark-streaming 处理消费数据,统计日志经spark sql存储在mysql中 日志写入方式为append val wordsDataFrame = rdd.toDF("supplier", "type", "domain", "pdate", "count", "idate") wordsDataFrame .write .form…

# -*- coding:utf-8 -*-import jsonimport requestsimport time,datetimeimport csv,chardetdef getToken(url, post_headers, url_user, url_password): post_data = { "jsonrpc": "2.0", "method": "user.login", "params&quo…