将salt取到的数据处理
#!/usr/bin/env python
#coding:utf-8 import json with open('minfo') as f,open('minfoMiddle','w') as fw:
for data in f.readlines():
if '-----' in data or 'mem_total' in data or 'num_cpus' in data:
continue
fw.write(data) with open('minfoMiddle') as f,open('minfoMiddle1','w') as fw:
for data in f.readlines():
if data.startswith('minion-'):
fw.write('\n')
data = data.strip('\n')
data = data + '\t'
fw.write(data)
salt取到的数据:salt '*' grains.item num_cpus mem_total localhost > minfo,然后通过上面的代码处理,然后将minfoMiddle1里的内容直接粘贴到excel里即可。
说明:
minfo里的数据如下:
minion-34.16:
----------
localhost:
nkt-service01-34-16
mem_total:
7872
num_cpus:
4
minion-34.12:
----------
localhost:
recommend-job-34-12
mem_total:
7872
num_cpus:
4
minfoMiddle里的数据如下:
minion-34.16:
localhost:
nkt-service01-34-16
7872
4
minion-34.12:
localhost:
recommend-job-34-12
7872
4 #去掉无用的信息,便于之后的更好处理。
minfoMiddle1里的数据:
minion-34.16: localhost: nkt-service01-34-16 7872 4
minion-34.12: localhost: recommend-job-34-12 7872 4
minion-34.13: localhost: mktadmin-34-13 7872 4 #这些数据可以直接粘贴到excel里
以上统计的是不包含磁盘使用的数据,下面将加上磁盘使用。
salt不能直接取到磁盘信息(后来得知可以通过disk.usage获取单个分区的使用情况),使用salt "*" cmd.run 'df -hl' | egrep -v '/dev/sda2|/dev/sda1|tmpfs' > /tmp/diskinfo得到硬盘信息,然后把硬盘和上面取到的cpu、内存、主机名信息整合,代码如下:
#!/usr/bin/env python
#coding:utf-8 list1 = []
dict_disk = {} with open('diskinfoMiddle1') as f:
for data in f.readlines():
key = data.split(':')[0]
value = data.split(':')[1]
dict_disk[key] = value with open('minfoMiddle') as f:
for data in f.readlines():
list1.append(data) flag = 0
while flag == 0:
for i in list1:
if 'minion-38.132' in i: #最后一个salt节点,循环到这个后就退出while循环
flag = 1
if i.startswith('minion-'):
delmh = i.strip(':\n')
index1 = list1.index(i, )
if dict_disk.get(delmh):
list1.insert(index1 + 5, dict_disk[delmh])
del dict_disk[delmh]
else:
print('没找到:',delmh) with open('ccc','w') as f:
for i in list1:
f.write(i) with open('ccc') as f,open('ccc1','w') as fw:
for data in f.readlines():
if data.startswith('minion-'):
fw.write('\n')
data = data.strip('\n')
data = data + '\t'
fw.write(data)
minfoMiddle的内容同上;
diskinfoMiddle1的内容如下:
minion-34.12: /dev/sda8 47G 11G 33G 25% /home
minion-34.13: /dev/sda8 47G 8.2G 36G 19% /home
minion-34.15: /dev/sda8 47G 877M 44G 2% /home
minion-34.16: /dev/sda8 47G 861M 44G 2% /home #通过salt得到/home的分区情况后,再处理成K-V的形式。
ccc1文件里的内容可以直接拷贝到excel里。
以下是网上搜的方法,目前用以下方法统计一台服务器的信息可以,但是统计“*”的总是报异常程序退出,代码如下:
#!/usr/bin/env python
#coding:utf-8
import salt.client as sc
import json
###salt调用
local = sc.LocalClient()
###目标主机指定
tgt = "minion-25.183"
###获取grains,disk信息
grains = local.cmd(tgt,"grains.items")
print grains
diskusage = local.cmd(tgt,"disk.usage")
cols = "主机名,IP地址,内存(GB),CPU核数,操作系统,数据盘/data(GB)"
###打开一个.csv文件,以便写入
ret_file = open("ret.csv","w")
###首先写入开头,有点字段名的意思
ret_file.write(cols + "\n")
try:
for i in grains.keys():
###可能一些主机没有/data数据盘1048576是1024x1024
if "/home" not in diskusage[i]:
print "diskusage" + ":" + "have no /data disk"
else:
data_vol = int(diskusage[i]["/home"]["1K-blocks"])
print "diskusage" + ":" , data_vol / 1048576
###去掉127.0.0.1这个地址
ipv4 = str(grains[i]["ipv4"]).replace(", '127.0.0.1'","")
###因为一些历史遗留问题,这里取得不是主机名,而是salt-minion的id名,用以判断主要应用
hostname = grains[i]["id"]
ipv4 = str(grains[i]["ipv4"]).replace(", '127.0.0.1'","")
ipv4 = ipv4.replace(",","and")
mem = grains[i]["mem_total"] / 1024 + 1
num_cpu = grains[i]["num_cpus"]
OS = grains[i]["osfullname"] + grains[i]["lsb_distrib_release"]
if "/home" not in diskusage[i]:
disk_data = "None"
else:
disk_data = data_vol / 1048576
c = ","
###连接并写入
line = hostname + c + ipv4 + c + str(mem) + c + str(num_cpu) + c + str(OS) + c + str(disk_data)
ret_file.write(line + "\n")
except Exception:
print "Exception:\n"
finally:
ret_file.close()
将salt取到的数据处理的更多相关文章
- 使用 Kafka 和 Spark Streaming 构建实时数据处理系统
使用 Kafka 和 Spark Streaming 构建实时数据处理系统 来源:https://www.ibm.com/developerworks,这篇文章转载自微信里文章,正好解决了我项目中的技 ...
- Beta阶段爬取数目预估
预计于12月29号能进行Beta版本发布. Beta阶段我们的爬取动作应该更有针对性,在爬取期间如若数据处理小组有需求,会优先爬取数据处理小组提供的种子链接.预估在项目展示之前能够爬取的数目: 普通网 ...
- 使用 Kafka 和 Spark Streaming 构建实时数据处理系统(转)
原文链接:http://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/index.html?ca=drs-&ut ...
- MySQL快速入门 基本技能篇
写在之前的话: 之前一直在用MSSERVER,刚用MySQL时有很多的不适应.就此小结一下工作中遇到的问题和场景,文中出现的局限性欢迎指出 MySQL有客户端式(SQLyog),可托拉拽和写代码:或者 ...
- django中使用sha1,md5加密
# salt 盐 使用sha1加密算法,返回str加密后的字符串 # 提高字符串的复杂的 from hashlib import sha1 def get_hash(str, salt=None): ...
- CSDN专访:大数据时代下的商业存储
原文地址:http://www.csdn.net/article/2014-06-03/2820044-cloud-emc-hadoop 摘要:EMC公司作为全球信息存储及管理产品方面的领先公司,不久 ...
- Scrapy-redis 组件
scrapy-redis 简介 scrapy-redis是scrapy框架基于redis数据库的组件,用于scrapy项目的分布式开发和部署. 特征 分布式爬取 可以启动多个spider工程,相互之间 ...
- 用Darwin开发RTSP级联server(拉模式转发)(附源代码)
源代码下载地址:https://github.com/EasyDarwin orwww.easydarwin.org 在博客 在Darwin进行实时视频转发的两种模式 中,我们描写叙述了流媒体serv ...
- CSDN专訪:大数据时代下的商业存储
原文地址:http://www.csdn.net/article/2014-06-03/2820044-cloud-emc-hadoop 摘要:EMC公司作为全球信息存储及管理产品方面的率先公司,不久 ...
随机推荐
- 委托(C# 编程指南)
原文地址:https://msdn.microsoft.com/zh-cn/library/ms173171.aspx delegate 是表示对具有特定参数列表和返回类型的方法的引用的类型. 在实例 ...
- 通过Sql语句导数据
在通过SQL Server向导中的SQL语句导数据时,默认情况下源表中的nvarchar字段类型会变成202,解决此问题的方法是,要重新选择一下对应的数据接收表.
- 网络与RPC
网络与RPC 标签 : Java基础 Java为网络编程提供的java.net包封装了底层通信细节, 包含了大量的基础组件以及TCP/UDP协议的编程接口, 使得开发者可以专注于解决问题, 而不用关注 ...
- BT5更新源
感谢http://blog.csdn.net/seaos/article/details/7064136终于找到更新成功的源了 下面简单介绍步骤吧 gedit /etc/apt/sources.lis ...
- 杂谈:Servlet(2)
Servlet的方法剖析: 1.service()方法里面做了什么? 2.doGet()与doPost()做了什么?应该怎么写? 回答 1.service()方法里面做了什么? 如果你的service ...
- java入门第五步之数据库项目实战【转】
在真正进入代码编写前些进行一些工具的准备: 1.保证有一个可用的数据库,这里我用sql server 2000为例,2.拥有一个ide,如ecelise或myeclipse等,这里我使用的是myecl ...
- Log4J实用配置指南
转自:http://www.cnblogs.com/licheng/archive/2008/08/23/1274566.html 1 概述 本文档是针对Log4j日志工具的使用指南. ...
- bios启动过程图解
- PHP获取汉字的转化为拼音字母实现程序
一个完整的php获取汉字拼音字母的实现程序,有需要的朋友可参考一下. <?php class GetPingYing { private $pylist = array( 'a'=>-20 ...
- bzoj 1911: [Apio2010]特别行动队
#include<cstdio> #include<iostream> #define M 1000009 #define ll long long using namespa ...