Zabbix监控系统
前言：
一个初略自动化运维平台，应该实现以下3个层面自动化：
1.操作系统层面自动化
如果想要万台服务器共舞，没有操作系统这个舞台还怎么舞？
1.1:物理环境：
OS预备自动安装（Pxe/KickStart/Cobbler）
1.2:云环境
Iaas实现框架（OpenStack）
2.应用软件层面自动化
拥有操作系统之后万人登场，如何统一指挥（安装、配置、管理、更新），此时一些批量执行shell命令的工具是必不可少的如以下几种；
pupet、saltstack
3.监控系统
万一以上组件出现故障怎么办呢？所以需要对以上2个层面（系统、软件）包含硬件、网络进行实时监控，出现报警即使通知责任人并采取措施，此时监控系统来了；
zabbix
有了监控系统之后，一个基本的自动化运维框架才算大致完整；
一、Zabbix概述
啥是zabbix？
Zabbix是一款可以完成
数据采集（Zabbix-Agent/SNMP/SSH....）
数据存储（MySQL/Oracle）
数据展示(PHP绘图库)
数据分析
报警（zabbix调用媒介 ）
报警升级机制
的分布式监控工具！
Zabbix的特点：
Zabbix支持分布式监控：Agent-----》地域proxy-----》各地域proxy汇报到主server
自动发现需要监控的主机设备：
Zabbix由2部分构成，Zabbix Server与可选组件Zabbix agent。
Zabbix server可以通过SNMP，Zabbix agent，ping，端口监视等方法提供对远程服务器/网络状态的监视和数据采集、汇报、收集、分析、展示/报警等功能，它可以运行在Linux，Solaris，HP-UX，AIX，Free BSD，Open BSD，OS X等平台上。
Zabbix能干啥？
zabbix可以通过各种监控途径，监控主机的各项指标；
作为web开发人员，个人认为zabbix最独具特色的功能是web monitoring
监控web页面是否404
监控页面的请求访问时间
监控页面上数据的下载速度（如果需要用户认证，提供给zabbix账号，自动完成登录认证）
1、Zabbix架构
a.基本架构
b.Zabbix架构体系
0. 无论zabbix server、zabbix proxy、zabbix agent 都有独立的配置文件和日志文件；
1. Zabbix Server端还可以通过zabbix_get 批量向proxy和agent客户端拉取数据；
2. Zabbix proxy和Zabbix agent还可以通过 zabbix_sender和Zabbix Server主动汇报数据；
3. Zabbix的JMX插件还可以监控Java的JVM虚拟机的各项性能指标；
ps:
zabbix有3个核心组件zbbix-server、zabbix-proxy、zabbix-agnt，这3个组件都是独立运行的服务，有都独自的配置文件、日志文件
对于zabbix的配置和查看结果都是基于zabbix的web gui和api接口实现
c.Zabbix工作流程
Zabbix常用术语
主机(host)：要监控的设备（server、router、printer、switch）
主机组(host group)：针对主机的逻辑管理单位（把N个主机归类到1个主机组，便于批量施加templates模板）
监控项（item）：被监控主机需要根据哪些 监控指标 采集数据
键（key)：Zabbix-server和Zabbix-agent之间的数据请求都是通过Key来实现的；
在1个agent上可能有很多item（监控项），例如： item 0监控agent 10分钟内网卡速率，item 1监控agent 20分钟内网卡速率，它们都向zabbix server端汇报数据，如何区别它们呢？我们通过key来唯一标识；
key是支持参数的，这样可以让1个key收集多重信息，
另外可在zabbix-agent端的配置文件，自定义key，调用自己写的脚本，通过这种自定义监控的方式，向zabbix-server汇报信息
图形（graph）:1个item对应1个graph，用于图形展示这个item采集到数据的trend
屏幕（screen）单1个graph看着不爽，例如网卡的入站流量和出站流量分2个item监控，但是可以合并到1个screen
应用（application）：我们可以把多个item归为1类，称之为application
触发器（trigger）： 为某个item创建触发器，用以判断 item采集的数据，是否正在合理阈值；基本评估标准（一个表达式），触发报警的阀值
事件(event)：一旦设置的触发器Trigger超出阀值，Trigger的状态就会由于ok转换为problem，恢复从problem状态恢复为ok状态，就会触发1个事件；
另外事件Event的来源不只有Trigger，discoverry也可以生成1个事件，例如发现1个主机
动作(action)：1个Action由 条件Condition设置的Trigger触发 ----》操作Operation（Remote-command/send-message）-----》通过媒介Midia-------》通知到运维人员；
Action根据我们所关注事件Event判断是否触发1个动作；
这个action无非就是2种类型
通知（notification）通过选择指定好的媒介向用户发送相关的事件信息
操作（operation）触发了动作未必都是得通知啊，也可以执行1个修复操作
条件（condition）指定是否发送通知/操作的条件(已知某些主机已经故障，可以通过设置动作执行的条件，不再让其触发报警，例如zabbix的预维护功能)
说白了就是触发器状态转变之后---------》根据指定的条件判断----------->是否执行操作--------》媒介------》报警
媒介类型（Media-Type）：zabbix 目前通知报警的媒介类型（External-Script/SMS/E-mail/jabber）
媒介（Media）：媒介和媒介类型是 1对多的关系，1个媒介类型下包含N个媒介（注册N个微信公众号，使用不同的脚本，推送到不同的部门）
Zabbix本身无法完成报警功能，Zabbix触发1个动作------》 调用已经配置好的媒介--------->媒介触发脚本（调用Emai/Wechart/Aotophone的API）-------》通知到相关责任人！
报警升级（escalation）：报警通知的机制的唯一目的就是确保 运维人员解决问题；
1个Operation，可持续、间隔、分阶段执行
如果操作1通知1 间隔X时间不处理，就执行操作2通知2 间隔X时间不处理继续。。。。
模板：把监控项、触发器、事件、动作、媒介集合成模板施加给主机组完成批量配置，已到达快速部署的目的；（模板之间支持相互嵌套）
下面把以上术语串联起来：
zabbix报警流程
0.定义好zabbix server 和 zabbix agent
1.定义agent上面应该有哪些需要监控的items
2.zabbix server根据定义的指标去agent上面采集数据，保存到数据库
3.分析数据如果发现数据的指标超出触发器的标准，一旦超出触发器定义的（合理区间）就会触发1个事件
4.一旦超出了触发器定义的合理区间，就意味着可以触发1个事件，进而执行1个动作
5.动作包含条件和操作,如果条件符合了就会执行操作
6.操作可能是发生1个通知，通知基于媒介发送给用户
7.媒介发送的内容（和事件做变量替换）替换的变量在zabbix中称为宏
Item--trger-->event-->action-->notification----->media
定义1个监控的完整流程
添加主机（主机组）、用户、媒介----》添加Iteam（内置的图形）----》Trigger（event:ok---->problem,Recovery）----->Action------》Operation
原来一直搞不懂zabbix用户和媒介的关系
Zabbix报警发送的目标为-----------》zabbix里面创建的用户/组，然后你可以给1用户（也可把1个用户界定为公司里的1个组）--------》关联上N个媒介（1对N的关系，其实1个用户可以有多种联系方式！！）；
下面就是在zabbix创建了1个用户，把我们全组的邮箱加进去，进行报警通知；
2.Zabbix采集数据方式
若想对服务器、交换机、路由器进行监控，首要是如果采集到这些被监控端的 监控指标信息；
a.SNMP：
简单网络管理协议 是一种大多数设备都支持的协议，包括交换机、打印机、路由器等网络设备；
b.Zabbix 专用agent
zabbix-agent默认工作在10050端口而zabbix-server10051端口
c.自定义Zabbxi_agent程序
如果zabbix自带的agent程序无法满足您的监控需求，自己写个Python脚本、shell脚本连上监控主机执行个命令啥的也是可以的嘛！
ps
无论采用以上何种采集数据的方式，都支持主动汇报和Zabbi被动采集的方式
二、Zabbix的安装部署
zabbix无非3大组件嘛（zabbix-server，zabbix-proxy（可选）、 zabbix-agent
既然我们有了大方向就开始打铁吧！！
1.安装zabbix的server端
zabbix的server由 zabbix的数据库、Zabbix web Gui、zabbix-server进程（10050）组成
0、安装zabbix yum源：rpm -i http://repo.zabbix.com/zabbix/3.4/rhel/7/x86_64/zabbix-release-3.4-2.el7.noarch.rpm 1.安装LAMP环境：yum-y install maria*httpd php php-mysql
2.安装zabbix-server 和zabbix-agent：yum -y install zabbix-server-mysql zabbix-web-mysql zabbix-agent 3.创建zabbix数据库并授权zabbix用户
mysql -uroot -p password mysql> create database zabbix character set utf8 collate utf8_bin;
mysql> grant all privileges on zabbix.* to zabbix@localhost identified by 'password';
mysql> quit;
4.迁移数据数据库 ： zcat /usr/share/doc/zabbix-server-mysql*/create.sql.gz | mysql -uzabbix -p zabbix 5.启动LAMP环境： systemctl restart mariadb.service httpd.service
6.启动zabbix server、agent： systemctl start zabbix-server zabbix-agent 参考：https://www.zabbix.com/download
三、judge监控系统
Zabbix报警是运维人员的命脉，我们的zabbix报警主要通过 微信平台 推送给运维人员，zabbix配置、zabbix队列、zabbix-wechart---ops这条报警通道，任何一环出现闪失，我的KPI都是无法设想的；
自研发了一套judge监控系统
，功能如下：
监控zabbix-server进程、API 是否正常？
监控报警 是否已经推送到微信接口
zabbix媒介异常自动调用zabbixAPI进行报警
judge监控每天报告 自我存活状态
1.每次调用微信接口之后，把报警记录到1个json文件里
{"touser": "markguo@bestseller.com.cn", "subject": "PROBLEM: 注意：【Zabbix agent on EMS测试应用22.23 is unreachable for 5 minutes】", "message": "【告警主机】：172.16.22.23\r\n【主机地址】：172.16.22.23\r\n【告警时间】：2019.05.28_09:31:00\r\n【告警等级】：Average\r\n\r\n【告警信息】：Zabbix agent on EMS测试应用22.23 is unreachable for 5 minutes\r\n【告警项目】：Agent ping\r\n【告警详情】：agent.ping：Up (1)\r\n【事件ID】：5115222\r\n【告警URL】：\r\n\r\n【当前状态】：PROBLEM"}
zabbix_to_wchart_log.json
2.配置zabbix用户、密码 微信API的corpid、corpsecret 报警的接收人， 报警推送...的时间间隔
[zabbix]
host=10.150.22.211
port=10050
username=admin
password =123123xxx
action_id=13
windows_log_path=a.json
linux_log_path=/zabbix_alert_log/zabbix_to_wchart_log.json [wechart]
corpid =
corpsecret =
agentid=
to_user=zhanggen@bestseller.com.cn
interval=500 [judge]
collect_alert_interval=120
confirm_different_interval=600
notify_interval_hour=3
judge.conf
3.欢迎拍砖
#!/usr/bin/python
#_*_coding:utf-8 _*_
# Author:Martin import socket, requests, json,sys,re,time,datetime,multiprocessing,os
from configparser import ConfigParser cp = ConfigParser()
cp.read("judge.conf") # 读取配置文件
zabbix_host= cp.get('zabbix', "host")
zabbix_port= cp.getint('zabbix',"port")
zabbix_username = cp.get('zabbix',"username")
zabbix_password= cp.get('zabbix',"password")
zabbix_action_id=cp.get('zabbix','action_id') #监控的action
log_path=cp.get('zabbix','windows_log_path') if sys.platform =='win32' else cp.get('zabbix','linux_log_path')
confirm_different_interval=cp.getint('judge','confirm_different_interval') wechart_corpid=cp.get('wechart','corpid')
wechart_corpsecret=cp.get('wechart','corpsecret')
agentid=cp.get('wechart','agentid')
to_user=cp.get('wechart','to_user')
notify_interval_hour=cp.getint('judge','notify_interval_hour') requests.packages.urllib3.disable_warnings()
requests.adapters.DEFAULT_RETRIES = 5
s = requests.session()
s.keep_alive = False class Zabbix_message(object):
def __init__(self,host,port,username,password,action_id,log_path,confirm_different_interval):
self.host = host
self.port = port
self.user = username # admin
self.pwd = password # '123123xxx
self.action_id=action_id
self.zabbix_api = 'http://%s/zabbix/api_jsonrpc.php' % (self.host)
self.headers = {'content-type': 'application/json-rpc'}
self.log_file =log_path #'/zabbix_alert_log/zabbix_to_wchart_log.json' if sys.platform == 'linux' else "a.json"
self.confirm_different_interval=confirm_different_interval #如果发现 日志文件 和api获取的数据一样，复审的间隔
self.message= {"item": None, "status": None, "log_data": None,"API_data":None,"error":'', "latest_alert_date": '','next_alert_date': ''} def reture_info(self,item,status,info,API_data=False):
self.message['item'] = item
self.message['status']=status
if status:
self.message['log_data'] = info
else:
self.message['API_data']=API_data
self.message['error']=info
return self.message def check_process_available(self): # 检测zabbix-server的进程存活
item_name='Zabbix-server'
try:
sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sk.connect((self.host,self.port))
sk.close()
except Exception:
error = '%s %s:%s was down.'%(item_name,self.host,self.port)
r = self.reture_info(item_name, 0,error)
return r
data='%s %s:%s was active.'%(item_name,self.host,self.port)
r=self.reture_info( item_name,1,data)
return r def check_zabbix_api(self):
item_name = 'Zabbix-API'
data=self.get_token()
if isinstance(data,(str,)):
data = '%s was active.' % (item_name)
r=self.reture_info(item_name,1,data)
else:
error='%s was down.' % (item_name)
r=self.reture_info(item_name,0,error)
return r def check_log_file(self):
os.system("/bin/chown zabbix:zabbix %s" % (self.log_file)) if sys.platform == 'linux' else print('')
#设置zabbix用户对其有写入的权限！
latest_one_log = self.get_log()
return latest_one_log def check_action(self):
item='Zabbix-action'
get_actions_data=json.dumps({
"jsonrpc": "2.0",
"method": "action.get",
"params": {
"output": "extend",
"selectOperations": "extend",
"selectFilter": "extend",
"filter": {
"eventsource": 0
}
},
"auth":self.get_token(),
"id": 1
})
actions = requests.post(url=self.zabbix_api, headers=self.headers, data=get_actions_data).json()['result']
for action in actions:
action_id = action.get('actionid')#遍历所有action
if action_id == self.action_id and action.get('status') == '':
data = self.reture_info(item,1,action)
return data #找到了配置的action直接返回
else:#找不到就说明配置的action_id有问题，或者action已经禁用
data = self.reture_info(item,0, '请检查配置的action，是否处于未激活状态？')
return data def check_alert_log(self): # 检测动作执行的结果
item='Consistence'
latest_one_alert = self.get_latest_one_alert()
alert_message = latest_one_alert['message'] latest_one_log = self.get_latest_one_log()
log_message = latest_one_log
alarm_time = re.findall("【告警时间】：(.*?)\r\n", alert_message)[0]
log_time = re.findall("【告警时间】：(.*?)\r\n", log_message)[0]
API_data = latest_one_alert
log_data = '一致性检测通过！'
if alarm_time != log_time:#有时候zabbix推送到微信可能会有时差
time.sleep(self.confirm_different_interval) # 等N分钟后，复审1次再报警
# print('第二次检查------------')
second_check_latest_one_log = self.get_latest_one_log() #二次获取日志文件
second_check_alert_message =self.get_latest_one_alert()['message'] #二次获取zabbix报警 log_time= re.findall("【告警时间】：(.*?)\r\n",second_check_latest_one_log)[0]#二次检查日志文件
alarm_time= re.findall("【告警时间】：(.*?)\r\n", second_check_alert_message)[0]#二次检查zabbix报警 if alarm_time != log_time:
log_data='最近一条推送记录和最近一条报警不一致！' r=self.reture_info(item,alarm_time == log_time,log_data,API_data)
return r def get_token(self):
self.auth_data = json.dumps(
{"jsonrpc": "2.0", 'method': 'user.login', 'params':{"user": self.user, "password": self.pwd},
"auth": None, 'id': 0})
try:
token=self.auth = requests.post(url=self.zabbix_api, headers=self.headers, data=self.auth_data).json()['result']
except:
token=self.reture_info('','获取不到token，请检查zabbix用户密码是否正确？') return token # 获取zabbix api使用的Token def get_latest_one_alert(self): # 获取最近1条报警
get_alert_data = json.dumps({
"jsonrpc": "2.0",
"method": "alert.get",
"params": {
"mediatypeid": "",
"output": "extend",
"actionids":self.action_id,
},
"auth": self.get_token(),
"id": 1
})
response = requests.get(url=self.zabbix_api, data=get_alert_data, headers=self.headers).json()['result'][-1]
return response def get_latest_one_log(self):
d=self.check_log_file()
return d['log_data'] def get_log(self):
item= 'Log_file'
try:
with open(self.log_file,'r',encoding='utf-8' ) as f:
log_data=json.loads(f.read())
latest_one_log=log_data.get('message')
if not latest_one_log:
error='文件格式错误，请检查 %s json日志中是否包含message的key？'%(self.log_file)
r=self.reture_info(item,0,error)
else:
r=self.reture_info(item,1,latest_one_log)
except Exception:
error = 'Check that the path %s is correct and that the file exists' % (self.log_file)
r = self.reture_info(item, 0, error)
return r def write_log(self,**kwargs):
if not kwargs:
alert_info = self.get_latest_one_alert()
sendto = alert_info['sendto']
subject = alert_info['subject']
content = alert_info['message']
kwargs = {"touser":sendto, "subject": subject, "message":content}
with open(self.log_file,'w',encoding='utf-8') as f:
json_str = json.dumps(kwargs, ensure_ascii=False)
f.write(json_str) def collect(self):
zabbix_available=self.check_process_available
api_available=self.check_zabbix_api
action_available=self.check_action
log_available=self.check_log_file
the_same_available=self.check_alert_log #检测日志文件和 api获取最近一条报警的一致性
item_list=[zabbix_available,api_available,action_available,log_available,the_same_available]
for item in item_list:
collect_result=item()
if not collect_result['status']:
print(collect_result['error'])
return collect_result
print('Every thing is okay...............') class WeChatClass(object):
def __init__(self,corpid,corpsecret,agentid,user):
self.corpid =corpid# CorpID是企业号的标识
self.corpsecret = corpsecret# corpsecretSecret是管理组凭证密钥
self.agentid=agentid
self.gettoken_url = 'https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=' +self.corpid + '&corpsecret=' + self.corpsecret
self.user=user
def gettoken(self):
try:
token_info = json.loads(requests.get(url=self.gettoken_url,verify=False).text)
access_token=token_info.get("access_token")
except Exception as e:
print('微信插件，获取微信tocken错误:%s'%(e))
sys.exit()
return access_token def send_senddata(self,content):
if self.user:
send_values = {
"touser": self.user, # 企业号中的部门id。
"msgtype": "text", # 消息类型。
"agentid": self.agentid, # 企业号中的应用id。
"text": {"content":content},#发送的内容
"safe": ""
} else:
send_values = {
"toparty": "", # 企业号中的部门id。
"msgtype": "text", # 消息类型。
"agentid":self.agentid, # 企业号中的应用id。
"text": {
"content":content
},
"safe": ""
}
send_url = 'https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=%s'%(self.gettoken())
send_data=json.dumps(send_values,ensure_ascii=False).encode('utf-8')
head = {'Content-Type': 'application/json;charset=utf-8'}
ret=requests.post(url=send_url,headers=head,data=send_data)
return ret zabbix = Zabbix_message(host=zabbix_host, port=zabbix_port,username=zabbix_username ,password=zabbix_password,action_id=zabbix_action_id,log_path=log_path,confirm_different_interval=confirm_different_interval)
wechart = WeChatClass(corpid=wechart_corpid,corpsecret=wechart_corpsecret,agentid=agentid,user=to_user) class Monitor_zabbix(multiprocessing.Process):
def __init__(self,zabbix_obj,wechart):
super().__init__()
self.zabbix = zabbix_obj
self.wechart=wechart def init_zabbix(self):#初始化下，从新监控
self.zabbix.write_log() #写日志*核心 def notify(self,send_info,send_to_depart=False): #通知报警策略
if isinstance(send_info,(str,)):
if send_to_depart:
self.wechart.user=''
self.wechart.send_senddata(content=send_info)
return
next_alert_time = send_info.get('next_alert_date')
delta = datetime.timedelta(hours=notify_interval_hour) if not next_alert_time or next_alert_time < datetime.datetime.now():
send_info['latest_alert_date'] = datetime.datetime.now()
send_info['next_alert_date'] = datetime.datetime.now() + delta
self.wechart.send_senddata(content=send_info['error'],to_user='') if send_to_depart else self.wechart.send_senddata(content=send_info['error']) def check_item(self):
while True:
alert_info=self.zabbix.collect()
if alert_info:
self.notify(alert_info)
collect_alert_interval = cp.getint('judge', 'collect_alert_interval')
time.sleep(collect_alert_interval) # 间隔N秒钟去采集数据 def check_self(self): #每天监控自己是否存活？
while True:
import time
curent_time = time.localtime(time.time())
wday=curent_time.tm_wday # 星期几
hour=curent_time.tm_hour # 时
minute=curent_time.tm_min # 分
if wday in [0,1,2,3,4] and hour in [9,17] and minute in [30]: #设置个cron任务每天自我检查
try:
latest_one_alert=self.zabbix.get_latest_one_alert()['message']
except Exception:
latest_one_alert='抱歉：API错误！'
daily_notify_message='最近1条zabbix报警：\r\n%s\r\n%s'% (latest_one_alert,str(datetime.datetime.now()))
self.notify(daily_notify_message,send_to_depart=True)
time.sleep(60) def run(self):
self.check_self() if __name__ == '__main__': OBJ = Monitor_zabbix(zabbix,wechart)
if len(sys.argv) >1 and sys.argv[1]=='init':
OBJ.init_zabbix()
else:
OBJ.start()
OBJ.check_item()
judge.py
4.启动 judge
[root@monitor ~]# cd /monitor_zabbix/
[root@monitor monitor_zabbix]# ls
judge.conf judge.py nohup.out
[root@monitor monitor_zabbix]# nohup python judge.py &
[1] 20128
[root@monitor monitor_zabbix]# nohup: 忽略输入并把输出追加到"nohup.out" [root@monitor monitor_zabbix]# ps -ef | grep judge
root 20128 19834 13 16:37 pts/3 00:00:00 python judge.py
root 20145 20128 81 16:37 pts/3 00:00:04 python judge.py
root 20270 19834 0 16:37 pts/3 00:00:00 grep judge
[root@monitor monitor_zabbix]#
5.停止 judge
ps -ef | grep judge | grep -v grep | awk '{print "kill -9 "$2}'|sh
6.重新开始监控
[root@monitor monitor_zabbix]# nohup python judge.py init
监控页面响应速度重启Tomcat
import time
import datetime
import sys
import paramiko
import requests
import threading config = {
"http://192.168.0.74:8081/bklogin.screen?tdsourcetag=s_pcqq_aiomsg": {
"login_host":"192.168.0.74",
"login_port": 3444,
'login_user': 'bestseller',
'login_password':"Best+2017",
"JAVA_HOME":'/usr/local/jdk1.6.0_11',#JAVA_HOME路径
"JRE_HOME":"/usr/local/jdk1.6.0_11/jre",#JRE_HOME路径
"startup":"/opt/apache-tomcat-7.0.40/bin/startup.sh",#启动Tomcat的脚本路径
"shutdown":"/opt/apache-tomcat-7.0.40/bin/shutdown.sh",#关闭Tomcat的脚本路径
"monitor_interval":5, #探测时间间隔
"timeout_trager":10, #访问时间阀值
"lastest_request_cost":None,#最近1次探测
"lastest_rebbot_date":None,
"authorized_ssh":None,
},
} class Monitor_EMS(object):
def __init__(self,config):
self.config=config def ssh(self,url):
ssh = paramiko.SSHClient()
ssh.load_system_host_keys()
ssh._policy = paramiko.AutoAddPolicy()
try:
print(self.config[url]['login_port'],self.config[url]['login_user'],self.config[url]['login_password'])
ssh.connect(self.config[url]['login_host'],self.config[url]['login_port'],self.config[url]['login_user'],self.config[url]['login_password'])
except Exception:
print('请检查%s用户或密码是否可用？'%(self.config[url]['login_host']))
ssh.close()
sys.exit()
return ssh def validate_url(self):
for url in self.config:
try:
response = requests.get(url=url,timeout=2)#最大等待2秒
except Exception:
print('请检查该URL是否用？或者访问时间过长？',url)
sys.exit()
status_code = response.status_code
if status_code == 200:
ssh_socket=self.ssh(url)
print(url,'验证通过')
self.config[url]['authorized_ssh']=ssh_socket
else:
print(url,'验证失败状态码', status_code)
sys.exit() def check_schedule(self): # 检查运维人员休息时间
flag = False
curent_time = time.localtime(time.time())
wday = curent_time.tm_wday # 星期几
hour = curent_time.tm_hour # 时
# minute = curent_time.tm_min # 分
if wday in [5, 6]: # 周六日
flag = True
elif wday in [0, 1, 2, 3,4] and hour > 18 and hour < 9: # 休息时间
flag = True
return flag def check_url_timeout(self,url): # 检查URL是否超时 或者5xx
while True:
if self.check_schedule(): # 如果是休息时间
monitor_interval=self.config[url]['monitor_interval']
time.sleep(monitor_interval)#间隔多久采集一次数据
start_request_time = time.time()
try:
response = requests.get(url=url)
except Exception:
print('URL：%s不可以访问！'%(url))
response.status_code=500 status_code = response.status_code
if status_code > 200:
print('请检查URL，状态码：%s' % (status_code))
self.reboot_ems(url)
continue
end_request_time = time.time()
cost_seconds =end_request_time - start_request_time
timeout_trager=self.config[url]['timeout_trager']#超时触发器
if cost_seconds > timeout_trager:
self.reboot_ems(url)
self.config[url]['lastest_rebbot_date']=str(datetime.datetime.now())
self.config[url]['lastest_request_cost']=cost_seconds
print(self.config)
print('不是休息时间') def reboot_ems(self,url):
JAVA_HOME=self.config[url]['JAVA_HOME']
JRE_HOME=self.config[url]['JRE_HOME']
shutdown_script = self.config[url]["shutdown"]
startup_script = self.config[url]["startup"]
load_jave_environment_cmd = 'export JAVA_HOME=%s;export JRE_HOME=%s;. ./.bash_profile;'%(JAVA_HOME,JRE_HOME)#加载JAVA的系统环境变量
shutdown_script_cmd='%s /bin/bash %s'%(load_jave_environment_cmd,shutdown_script)
ssh=self.ssh(url=url)
startup_script_cmd='%s /bin/bash %s'%(load_jave_environment_cmd,startup_script) shutdown_stdin, shutdown_stdout, shutdown_stderr = ssh.exec_command(shutdown_script_cmd) #执行关闭脚本
shutdown_result=shutdown_stderr or shutdown_stdout
start_stdin, start_stdout, start_stderr = ssh.exec_command(startup_script_cmd) # 执行启动启动脚本
start_reault=start_stderr or start_stdout
reboot_resault=(shutdown_result or start_reault )
print('%s重启日志：%s'% (self.config[url]['login_host'],reboot_resault.read()))
ssh.close()
time.sleep(300)#重启5分钟后，页面可以访问，再次进入检测状态 def monitor_constantly(self):
for url in self.config:
task= threading.Thread(name=url, target=self.check_url_timeout,args=(url,))
task.start() if __name__ == '__main__':
obj = Monitor_EMS(config)
obj.validate_url()
obj.monitor_constantly()
EMS.py
import gevent
from gevent import spawn,joinall,monkey;monkey.patch_all()
import time
import datetime
import sys
import paramiko
import requests config = {
"http://192.168.0.74:8081/bklogin.screen?tdsourcetag=s_pcqq_aiomsg": {
"login_host":"192.168.0.74",
"login_port": 3444,
'login_user': 'bestseller',
'login_password':"Best+2017",
"JAVA_HOME":'/usr/local/jdk1.6.0_11',#JAVA_HOME路径
"JRE_HOME":"/usr/local/jdk1.6.0_11/jre",#JRE_HOME路径
"startup":"/opt/apache-tomcat-7.0.40/bin/startup.sh",#启动Tomcat的脚本路径
"shutdown":"/opt/apache-tomcat-7.0.40/bin/shutdown.sh",#关闭Tomcat的脚本路径
"monitor_interval":5, #探测时间间隔
"timeout_trager":10, #访问时间阀值
"lastest_request_cost":None,#最近1次探测
"lastest_rebbot_date":None,
"authorized_ssh":None,
},
} class Monitor_EMS(object):
def __init__(self,config):
self.config=config def ssh(self,url):
ssh = paramiko.SSHClient()
ssh.load_system_host_keys()
ssh._policy = paramiko.AutoAddPolicy()
try:
print(self.config[url]['login_port'],self.config[url]['login_user'],self.config[url]['login_password'])
ssh.connect(self.config[url]['login_host'],self.config[url]['login_port'],self.config[url]['login_user'],self.config[url]['login_password'])
except Exception:
print('请检查%s用户或密码是否可用？'%(self.config[url]['login_host']))
ssh.close()
sys.exit()
return ssh def validate_url(self):
for url in self.config:
try:
response = requests.get(url=url,timeout=2)#最大等待2秒
except Exception:
print('请检查该URL是否用？或者访问时间过长？',url)
sys.exit()
status_code = response.status_code
if status_code == 200:
ssh_socket=self.ssh(url)
print(url,'验证通过')
self.config[url]['authorized_ssh']=ssh_socket
else:
print(url,'验证失败状态码', status_code)
sys.exit() def check_schedule(self): # 检查运维人员休息时间
flag = False
curent_time = time.localtime(time.time())
wday = curent_time.tm_wday # 星期几
hour = curent_time.tm_hour # 时
# minute = curent_time.tm_min # 分
if wday in [5, 6]: # 周六日
flag = True
elif wday in [0, 1, 2, 3,4] and hour > 18 and hour < 9: # 休息时间
flag = True
return flag def check_url_timeout(self,url): # 检查URL是否超时 或者5xx
while True:
if self.check_schedule(): # 如果是休息时间
monitor_interval=self.config[url]['monitor_interval']
time.sleep(monitor_interval)#间隔多久采集一次数据
start_request_time = time.time()
try:
response = requests.get(url=url)
except Exception:
print('URL：%s不可以访问！'%(url))
response.status_code=500 status_code = response.status_code
if status_code > 200:
print('请检查URL，状态码：%s' % (status_code))
self.reboot_ems(url)
continue
end_request_time = time.time()
cost_seconds =end_request_time - start_request_time
timeout_trager=self.config[url]['timeout_trager']#超时触发器
if cost_seconds > timeout_trager:
self.reboot_ems(url)
self.config[url]['lastest_rebbot_date']=str(datetime.datetime.now())
self.config[url]['lastest_request_cost']=cost_seconds
print(self.config)
else:
print('不是休息时间') def reboot_ems(self,url):
JAVA_HOME=self.config[url]['JAVA_HOME']
JRE_HOME=self.config[url]['JRE_HOME']
shutdown_script = self.config[url]["shutdown"]
startup_script = self.config[url]["startup"]
load_jave_environment_cmd = 'export JAVA_HOME=%s;export JRE_HOME=%s;. ./.bash_profile;'%(JAVA_HOME,JRE_HOME)#加载JAVA的系统环境变量
shutdown_script_cmd='%s /bin/bash %s'%(load_jave_environment_cmd,shutdown_script)
ssh=self.ssh(url=url)
startup_script_cmd='%s /bin/bash %s'%(load_jave_environment_cmd,startup_script) shutdown_stdin, shutdown_stdout, shutdown_stderr = ssh.exec_command(shutdown_script_cmd) #执行关闭脚本
shutdown_result=shutdown_stderr or shutdown_stdout
start_stdin, start_stdout, start_stderr = ssh.exec_command(startup_script_cmd) # 执行启动启动脚本
start_reault=start_stderr or start_stdout
reboot_resault=(shutdown_result or start_reault )
print('%s重启日志：%s'% (self.config[url]['login_host'],reboot_resault.read()))
ssh.close()
time.sleep(300)#重启5分钟后，页面可以访问，再次进入检测状态 def monitor_constantly(self):
Coroutine_list=[]
for url in self.config:
current_coroutine=gevent.spawn(self.check_url_timeout,url)
Coroutine_list.append(current_coroutine)
else:
gevent.joinall(Coroutine_list) if __name__ == '__main__':
obj = Monitor_EMS(config)
obj.validate_url()
obj.monitor_constantly()
协程版本
Zabbix监控系统的更多相关文章
- Zabbix监控系统深度实践
Zabbix监控系统深度实践(企业级分布式系统自动化运维必选利器,大规模Zabbix集群实战经验技巧总结,由浅入深全面讲解配置.设计.案例和内部原理) 姚仁捷 著 ISBN 978-7-121-24 ...
- 使用percona-xtrabackup实现对线上zabbix监控系统数据库mariadb5.5.47的主从同步
使用percona-xtrabackup实现对线上zabbix监控系统数据库的主从同步 业务背景: zabbix3.0.4是业务的主要监控,部署在一台单机中,为避免数据丢失先对其做数据主从同步,因主数 ...
- CentOS 6.5安装部署Zabbix监控系统
CentOS 6.5安装部署Zabbix监控系统 先说一点废话,我没有用centos7做实验,讲真,centos 7我也不常用,喜欢新版本的同学其实可以尝试下,注意一点的就是centos 6.5只支持 ...
- Zabbix监控系统部署：基本功能测试
1. 概述2. 登陆2.1 登陆账号密码2.1 设置中文语言环境3. 创建用户3.1 用户创建入口3.2 添加用户信息3.3 用户报警媒介3.4 用户权限4. 创建监控主机4.1 添加一台监控主机4. ...
- Zabbix监控系统部署：前端初始化
1. 概述 在上一篇博客<Zabbix监控系统部署:源码安装.md>中,主要进行了zabbix最新版的源码编译安装. (博客园地址:https://www.cnblogs.com/liwa ...
- Zabbix监控系统部署：源码安装
1. 概述1.1 基础环境2. 部署过程2.1 创建用户组2.2 下载源码解压编译安装2.2.1 下载源码解压2.2.2 YUM安装依赖环境2.2.3 编译安装最新版curl2.2.4 更新GNU构建 ...
- zabbix监控系统时间的问题
分类: 监控 2013-03-19 21:40:11 发现zabbix监控系统时间的一个问题!zabbix监控系统时间用的key是system.localtime,返回当前的系统时间,而配置tig ...
- Security基础(六)：部署Zabbix监控平台、配置及使用Zabbix监控系统、自定义Zabbix监控项目、实现Zabbix报警功能
一.部署Zabbix监控平台 目标: 本案例要求部署一台Zabbix监控服务器,一台被监控主机,为进一步执行具体的监控任务做准备: 在监控服务器上安装LAMP环境 修改PHP配置文件,满足Zab ...
- Zabbix 监控系统部署
Zabbix 监控系统部署 实验环境 Zabbix server:RHEL8 ip:192.168.121.10 一.关闭防火墙和selinux [root@Zabbix-server ~]# sys ...
- 搭建zabbix监控系统详解
搭建zabbix监控系统详解 文:warren 博文大纲:一.前言 二.zabbix监控架构三.搭建Zabbix监控服务器四.搭建过程中遇到有些服务无法正常启动的解决办法 一.前言 : 要想实时的 ...
随机推荐
- 51nod 1689 逛街（优先队列）
http://www.51nod.com/onlineJudge/questionCode.html#!problemId=1689 题意: 题意: 枚举终点,这样就确定路上的花费,接下来只需要计算进 ...
- 浅谈循环中setTimeout执行顺序问题
浅谈循环中setTimeout执行顺序问题 (下面有见解一二) 期望:开始输出一个0,然后每隔一秒依次输出1,2,3,4. for (var i = 0; i < 5; i++) { setTi ...
- 【Ruby】【高级编程】正则
#[[正则]]=beginsub 和 gsub 及它们的替代变量 sub! 和 gsub! 是使用正则表达式时重要的字符串方法.所有这些方法都是使用正则表达式模式执行搜索与替换操作.sub 和 sub ...
- react-redux的mapStateToProps可取到state值但不会注入props
一.问题描述 想通过react-redux和redux实现react组件之间的通信,reducer.action.store都编写正确,mapDispatchToProps也能正确传值.唯独mapSt ...
- 【汇总】基于.NET平台常用的框架整理
分布式缓存框架: Microsoft Velocity:微软自家分布式缓存服务框架. Memcahed:一套分布式的高速缓存系统,目前被许多网站使用以提升网站的访问速度. Redis:是一个高性能的K ...
- 小程序scss页面布局
html <view class="main"> <form bindsubmit="feedback"> <textarea c ...
- 虚拟机安装---vm12+ubuntukylin16.04
虚拟机安装及部分问题解决方案: https://blog.csdn.net/qq_35208390/article/details/78271743 安装vmware tools后,需设置共享文件夹才 ...
- Http请求处理流程 管道流程 MVC扩展HttpModule
HttpApplication 封装了管道处理请求的所有事件 HttpModule 对HttpApplication中事件的扩展 HttpHandler 处理程序 每个请求都要经过Handle ...
- Spring Bean的生命周期例子
以下例子源于:W3Cschool,在此作记录 HelloWorld.java package com.how2java.w3cschool.beanlife; public class HelloWo ...
- MySQL的正则表达式的LIKE和REGEXP区别
LIKE匹配整个列.如果被匹配的文本在列值 中出现,LIKE将不会找到它,相应的行也不被返回(除非使用 通配符).而REGEXP在列值内进行匹配,如果被匹配的文本在 列值中出现,REGEXP将会找到它 ...