#!/usr/bin/env python
#coding:utf-8 import json with open('minfo') as f,open('minfoMiddle','w') as fw:
for data in f.readlines():
if '-----' in data or 'mem_total' in data or 'num_cpus' in data:
continue
fw.write(data) with open('minfoMiddle') as f,open('minfoMiddle1','w') as fw:
for data in f.readlines():
if data.startswith('minion-'):
fw.write('\n')
data = data.strip('\n')
data = data + '\t'
fw.write(data)

salt取到的数据:salt '*' grains.item num_cpus mem_total localhost > minfo,然后通过上面的代码处理,然后将minfoMiddle1里的内容直接粘贴到excel里即可。

说明:

minfo里的数据如下:

minion-34.16:
----------
localhost:
nkt-service01-34-16
mem_total:
7872
num_cpus:
4
minion-34.12:
----------
localhost:
recommend-job-34-12
mem_total:
7872
num_cpus:
4

minfoMiddle里的数据如下:

minion-34.16:
localhost:
nkt-service01-34-16
7872
4
minion-34.12:
localhost:
recommend-job-34-12
7872
4 #去掉无用的信息,便于之后的更好处理。

minfoMiddle1里的数据:

minion-34.16:        localhost:            nkt-service01-34-16            7872            4
minion-34.12: localhost: recommend-job-34-12 7872 4
minion-34.13: localhost: mktadmin-34-13 7872 4 #这些数据可以直接粘贴到excel里

以上统计的是不包含磁盘使用的数据,下面将加上磁盘使用。

salt不能直接取到磁盘信息(后来得知可以通过disk.usage获取单个分区的使用情况),使用salt "*" cmd.run 'df -hl' | egrep -v '/dev/sda2|/dev/sda1|tmpfs' > /tmp/diskinfo得到硬盘信息,然后把硬盘和上面取到的cpu、内存、主机名信息整合,代码如下:

#!/usr/bin/env python
#coding:utf-8 list1 = []
dict_disk = {} with open('diskinfoMiddle1') as f:
for data in f.readlines():
key = data.split(':')[0]
value = data.split(':')[1]
dict_disk[key] = value with open('minfoMiddle') as f:
for data in f.readlines():
list1.append(data) flag = 0
while flag == 0:
for i in list1:
if 'minion-38.132' in i: #最后一个salt节点,循环到这个后就退出while循环
flag = 1
if i.startswith('minion-'):
delmh = i.strip(':\n')
index1 = list1.index(i, )
if dict_disk.get(delmh):
list1.insert(index1 + 5, dict_disk[delmh])
del dict_disk[delmh]
else:
print('没找到:',delmh) with open('ccc','w') as f:
for i in list1:
f.write(i) with open('ccc') as f,open('ccc1','w') as fw:
for data in f.readlines():
if data.startswith('minion-'):
fw.write('\n')
data = data.strip('\n')
data = data + '\t'
fw.write(data)
minfoMiddle的内容同上;
diskinfoMiddle1的内容如下:
minion-34.12:    /dev/sda8        47G   11G   33G  25% /home
minion-34.13: /dev/sda8 47G 8.2G 36G 19% /home
minion-34.15: /dev/sda8 47G 877M 44G 2% /home
minion-34.16: /dev/sda8 47G 861M 44G 2% /home #通过salt得到/home的分区情况后,再处理成K-V的形式。

ccc1文件里的内容可以直接拷贝到excel里。

以下是网上搜的方法,目前用以下方法统计一台服务器的信息可以,但是统计“*”的总是报异常程序退出,代码如下:

#!/usr/bin/env python
#coding:utf-8
import salt.client as sc
import json
###salt调用
local = sc.LocalClient()
###目标主机指定
tgt = "minion-25.183"
###获取grains,disk信息
grains = local.cmd(tgt,"grains.items")
print grains
diskusage = local.cmd(tgt,"disk.usage")
cols = "主机名,IP地址,内存(GB),CPU核数,操作系统,数据盘/data(GB)"
###打开一个.csv文件,以便写入
ret_file = open("ret.csv","w")
###首先写入开头,有点字段名的意思
ret_file.write(cols + "\n")
try:
for i in grains.keys():
###可能一些主机没有/data数据盘1048576是1024x1024
if "/home" not in diskusage[i]:
print "diskusage" + ":" + "have no /data disk"
else:
data_vol = int(diskusage[i]["/home"]["1K-blocks"])
print "diskusage" + ":" , data_vol / 1048576
###去掉127.0.0.1这个地址
ipv4 = str(grains[i]["ipv4"]).replace(", '127.0.0.1'","")
###因为一些历史遗留问题,这里取得不是主机名,而是salt-minion的id名,用以判断主要应用
hostname = grains[i]["id"]
ipv4 = str(grains[i]["ipv4"]).replace(", '127.0.0.1'","")
ipv4 = ipv4.replace(",","and")
mem = grains[i]["mem_total"] / 1024 + 1
num_cpu = grains[i]["num_cpus"]
OS = grains[i]["osfullname"] + grains[i]["lsb_distrib_release"]
if "/home" not in diskusage[i]:
disk_data = "None"
else:
disk_data = data_vol / 1048576
c = ","
###连接并写入
line = hostname + c + ipv4 + c + str(mem) + c + str(num_cpu) + c + str(OS) + c + str(disk_data)
ret_file.write(line + "\n")
except Exception:
print "Exception:\n"
finally:
ret_file.close()

将salt取到的数据处理的更多相关文章

  1. 使用 Kafka 和 Spark Streaming 构建实时数据处理系统

    使用 Kafka 和 Spark Streaming 构建实时数据处理系统 来源:https://www.ibm.com/developerworks,这篇文章转载自微信里文章,正好解决了我项目中的技 ...

  2. Beta阶段爬取数目预估

    预计于12月29号能进行Beta版本发布. Beta阶段我们的爬取动作应该更有针对性,在爬取期间如若数据处理小组有需求,会优先爬取数据处理小组提供的种子链接.预估在项目展示之前能够爬取的数目: 普通网 ...

  3. 使用 Kafka 和 Spark Streaming 构建实时数据处理系统(转)

    原文链接:http://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/index.html?ca=drs-&ut ...

  4. MySQL快速入门 基本技能篇

    写在之前的话: 之前一直在用MSSERVER,刚用MySQL时有很多的不适应.就此小结一下工作中遇到的问题和场景,文中出现的局限性欢迎指出 MySQL有客户端式(SQLyog),可托拉拽和写代码:或者 ...

  5. django中使用sha1,md5加密

    # salt 盐 使用sha1加密算法,返回str加密后的字符串 # 提高字符串的复杂的 from hashlib import sha1 def get_hash(str, salt=None): ...

  6. CSDN专访:大数据时代下的商业存储

    原文地址:http://www.csdn.net/article/2014-06-03/2820044-cloud-emc-hadoop 摘要:EMC公司作为全球信息存储及管理产品方面的领先公司,不久 ...

  7. Scrapy-redis 组件

    scrapy-redis 简介 scrapy-redis是scrapy框架基于redis数据库的组件,用于scrapy项目的分布式开发和部署. 特征 分布式爬取 可以启动多个spider工程,相互之间 ...

  8. 用Darwin开发RTSP级联server(拉模式转发)(附源代码)

    源代码下载地址:https://github.com/EasyDarwin orwww.easydarwin.org 在博客 在Darwin进行实时视频转发的两种模式 中,我们描写叙述了流媒体serv ...

  9. CSDN专訪:大数据时代下的商业存储

    原文地址:http://www.csdn.net/article/2014-06-03/2820044-cloud-emc-hadoop 摘要:EMC公司作为全球信息存储及管理产品方面的率先公司,不久 ...

随机推荐

  1. 你的java 代码对JIT编译友好吗?

    JIT编译器是Java虚拟机(以下简称JVM)中效率最高并且最重要的组成部分之一.但是很多的程序并没有充分利用JIT的高性能优化能力,很多开发者甚至也并不清楚他们的程序有效利用JIT的程度. 在本文中 ...

  2. [redis] windwos下安装和使用redis

    一篇很好的入门学习文章:Redis学习 Redis是一种nosql数据库,在开发中常用做缓存. 1.下载地址: 低版本下载地址:https://github.com/dmajkic/redis/dow ...

  3. postgresql 视图

    一.创建视图 create or replace view vw_users as select * from users; 二.通过定义规则来更新视图 create rule vw_users_up ...

  4. HDUOJ----2571(命运)(简单动态规划)

    命运 Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others) Total Submiss ...

  5. centos修改文件及文件夹权限

    查看文件权限的语句: 在终端输入:ls -l xxx.xxx (xxx.xxx是文件名) 那么就会出现相类似的信息,主要都是这些:-rw-rw-r-- 一共有10位数 其中: 最前面那个 - 代表的是 ...

  6. Ansible :一个配置管理和IT自动化工具

    编译文章:LCTT  https://linux.cn/article-4215-1.html 译者: felixonmars 文章地址:https://linux.cn/article-4215-1 ...

  7. 使用 HTML5 canvas 绘制精美的图形

    HTML5 是一个新兴标准,它正在以越来越快的速度替代久经考验的 HTML4.HTML5 是一个 W3C “工作草案” — 意味着它仍然处于开发阶段 — 它包含丰富的元素和属性,它们都支持现行的 HT ...

  8. curl,chkconfig

    1. Linux系统服务管理 工具ntsysv 类似图形界面管理工具,如果没有该命令使用 yum install -y ntsysv 安装 常用服务:crond, iptables, network, ...

  9. Web API初印象

    理解REST,RESTful和Web API 1.REST:Representational State Transfer表征状态转移,是Roy Fielding博士在2000年他的博士论文中提出来的 ...

  10. DataGridView批量执行Insert和Remove行时特别慢的解决方案

    向DataGridView循环插入110条数据耗时5秒多. 在循环前执行: var oldAutoSizeRowsMode = this.AutoSizeRowsMode; var oldAutoSi ...