转自: https://blog.csdn.net/wuwenxiang91322/article/details/51595771 Hbase内存磁盘关系磁盘数 diskNum磁盘容量 diskCapacity备份数 replications单个HFile文件大小 hbase.hregion.max.filesizeregions数 regionsdiskNum*diskCapacity/replications =hbase.hregion.max.filesize *regions 注意R…

IT技术发展到今天,计算机能做的事情可谓复杂的多.那么计算机是如何做出如此复杂的运算的呢? 不准确的说,计算机主要做两件事,数据计算和数据存储. 第一先说说计算机是如何计算的吧. 我们平时见到的所有计算机都是冯诺依曼计算机.所谓冯诺依曼计算机,就是把指令和数据存在一起,计算机顺序读取,根据读取到的数据(这数据里有的是指令)进行运行.计算机运行什么呢?简单的说,计算机就是一个比较复杂的加法器,计算机只能进行二进制的加法. 第二就说说计算机是如何存储的.…

安装依赖 需要net-tools.namp! CentOS:yum -y install net-tools nmap Ubuntu:apt-get update && apt-get -y install net-tools nmap 脚本内容 #!/usr/bin/env bash # @author: rby # system info host_name="$(cat /etc/hostname)" product_name="$(dmidecode…

cpu信息采集 cpu使用率 采集算法 通过/proc/stat文件采集并计算CPU总使用率或者单个核使用率.以cpu0为例,算法如下: 1. cat /proc/stat | grep ‘cpu0’得到cpu0的信息 2. cpuTotal1=user+nice+system+idle+iowait+irq+softirq 3. cpuUsed1=user+nice+system+irq+softirq 4. sleep 30秒 5. 再次cat /proc/stat | grep 'cpu0…

前段时间在做大数据的KV引擎应用,测试了leveldb的性能,感觉挺好的,美中不足的是他是基于磁盘读写.在我们的场景里,IO频率预计会远远超出磁盘的承受能力,并且太频繁的读取可能也会引发磁盘恶化的速度. 所以考虑再三,决定使用leveldb+memory的形式. 具体的实时方法很简单了,有很多前辈写过leveldb+kt的封装.启动说明.[bluecase:kyoto tycoon + leveldb存储的性能优化] 需要注意的是,如果像我们一样,要启用kt的expire字段,那么是不用加上"#…

前序 1,#cat /proc/stat/ 信息包含了所有CPU活动的信息,该文件中的所有值都是从系统启动开始累积到当前时刻 2,#vmstat –s 或者#vmstat 虚拟内存统计 3, #cat /proc/loadavg 从系统启动开始到当前累积时刻 4, #uptime 系统运行多长时间 5, #mpstat CPU的一些统计信息 6, # 一,linux系统CPU,内存,磁盘,网络流量监控脚本 [作者:佚名来源:不详时间:2010-7-6 [我来说两句大中小] cme.sh网络流量监…

1,磁盘使用警告并发送邮件 #!usr/bin/bash #df -Th|grep '/$' 这个是获取内存使用的那一条记录 #后面两句是获取内存的使用率 disk=`df -Th|grep '/$' |awk '{print $(NF-1)}'|awk -F"%" '{print $1}'` mail_user=natasha if [ $disk -ge 80 ];then echo "`date +%F-%H` disk:${disk}% "|mail -s…

#!/bin/bashexport PATHexport LANG=zh_CN.UTF-8###top之后输入数字1,可以查看每颗CPU的情况.###先配置好mailx邮箱账号密码:#cat>/etc/mail.rc<<"EOF"#set sendcharsets=iso-8859-1,utf-8#set from=xxx@163.com#set smtp=smtp.163.com#set smtp-auth-user=xx@163.com#set smtp-auth…

1.1    硬件环境验证方式 硬件环境主要包括CPU.内存.磁盘/存储.网络设备(如F5等).系统特有设备(如密押设备等)等,其中网络设备和系统特有设备由网络管理员或项目组提供为准,本节主要关注CPU.内存.磁盘/存储的验证方式. 1.1.1  AIX平台 CPU/内存 [命令]prtconf [示例] root@P78010V7:/#prtconf System   Model: IBM,9179-MHD Machine   Serial Number: 06792DT Processor…

在openpyxl对Excel读写操作过程中,发现内存没有马上释放,如果得多次读取大文件,内存爪机,后续代码就无法运行. 尝试:各种wb.save()或者with open等途径无法解决. 发现:因为python的回收机制,导致内存无法马上释放,于是乎就有了 import gc (garbage collector) del wb,ws #wb为打开的工作表 gc.collect() #马上内存就释放了. 效果喜人:从最高的6/7GB占用可以立刻回到1/2GB 还有一个是谷歌找到了,也记录下(不…