磁盘告警之---神奇的魔法（Sparse file）

【磁盘告警之---神奇的魔法（Sparse file）】的更多相关文章

磁盘告警之---神奇的魔法（Sparse file）

一.问题来源半夜钉钉接到告警,某台机器的磁盘使用率少于20%,于是迷糊中爬起来,咔咔咔 find / -size +1G,咔咔咔,把几个只有4-5G的日志文件echo空值了一下,然后吓蒙了,刚刚使用的还有160G,怎么把两个日志文件一清空,就只使用了25G了,是不是刚刚没清醒把数据文件删了,但是仔细仔细的看了看执行的命令,没有啊...,我在梦游吗? 二.出现的问题然后就发现了另外一个神奇的现象了,是有魔法吗?在这个/data目录下的一个文件查看有60G,但是为什么…

第17章内存映射文件（3）_稀疏文件(Sparse File)

17.8 稀疏调拨的内存映射文件 17.8.1 稀疏文件简介 (1)稀疏文件(Sparse File):指的是文件中出现大量的0数据,这些数据对我们用处不大,但是却一样的占用空间.NTFS文件系统对此进行了优化,那些无用的0字节被用一定的算法压缩起来.例如声明一个很大的稀疏文件(如100GB),这个文件实际上并不需要占用那么大的空,内部都是一些无用的0数据,那么NTFS就会利用算法释放这些无用的0字节空间,这是对磁盘占用空间的一种优化.但要注意FAT32并不支持稀疏文件的压缩. (2)与稀疏文件…

SQL Server ->> Sparse File(稀疏文件)

Sparse File(稀疏文件)不是SQL Server的特性.它属于Windows的NTFS文件系统的一个特性.如果某个大文件中的数据包含着大量“0数据”(这个应该从二进制上看),这样的文件就可以被称之为稀疏文件.如果从二维图上看这个文件你会发现文件就像很多很多洞一样,这就是“稀疏”的由来.这种文件造成的问题是空间浪费.比如说如果你现在用VMWare Workstatation创建了一个虚拟机,初始化磁盘大小为40G,VM必然会为虚拟机生成一个或者多个.vmdk文件.如果文件系统真的分配40…

Linux 磁盘告警分析

硬件配置 cat /etc/redhat-release && dmidecode -s system-product-name && cat /proc/cpuinfo |grep "processor"|wc -l 版本 CentOS Linux release 7.2.1511 (Core) 虚拟化 VMware Virtual Platform cpu核数 2 背景配置如上所示的虚拟机在每天凌晨03-04时间段内发现磁盘告警.由于监控数据是概要…

转由一次磁盘告警引发的血案：du 和 ls 的区别

如果你完全不明白或者完全明白图片含义, 那么你不用继续往下看了. 否则, 这篇文章也许正是你需要的. 背景确切地说,不是收到的自动告警短信或者邮件告诉我某机器上的磁盘满了,而是某同学人肉发现该机器写不了新文件才发现该问题的. 说明我司告警服务还不太稳定 :) 第一次出现该问题时, 我的处理方式是: 先删了 /tmp/ 目录, 空闲出部分空间, 然后检查下几个常用的用户目录, 最终发现某服务A的日志文件(contentutil.log)占用了好几个大G, 询问相关开发人员后确定该日志文件不需要压…

用windows自带的fsutil来创建1G稀疏文件(sparse file)

fsutils file createnew a.dat 1073741824 fsutil sparse setflag a.dat fsutil sparse setrange a.dat 0 1073741824 结果是1个外边显示1G.实际4K大小的文件,酷~ 如下图…

基于【磁盘】操作的IO接口：File

基本操作Api import org.apache.commons.lang3.time.DateFormatUtils; import java.io.*; import java.util.Date; /** * Author:Mr.X * Date:2017/10/9 11:14 * Description: * * @通过程序去读取某一个文件 * @1.通过File拿到文件(文件夹) * @2.操作文件:InputStream/OutputStream(字节形式) */ public c…

神奇的魔法数字0x61c88647

来源JDK源码,产生的数字分布很均匀用法代码如下. # -*- coding: utf-8 -*- HASH_INCREMENT = 0x61c88647 def magic_hash(n): for i in range(n): nextHashCode = i * HASH_INCREMENT + HASH_INCREMENT print nextHashCode & (n-1) magic_hash(16)…

KVM虚拟化技术（六）磁盘管理

KVM支持的虚拟磁盘类型 raw 这并非是一种真正的磁盘格式,而是代表虚拟机所使用的原始镜像:它并不存储元数据,因此可以作为保证虚拟机兼容性的候选方案,然而也正因为它不存储元数据,因此不能支持某些高级特性,比如快照和压缩等. 格式简单,容易转换为其他格式:需要文件系统的支持才能支持sparse file cow copy-on-write格式,昙花一现 qcow QEMU早期的copy-on-write格式,过渡性方案 qcow2 按需进行分配磁盘空间,不管文件系统是否支持支持快照.压缩.…

Python监控SQL Server数据库服务器磁盘使用情况

本篇博客总结一下Python采集SQL Server数据库服务器的磁盘使用信息,其实这里也是根据需求不断推进演化的一个历程,我们监控服务器的磁盘走了大概这样一个历程: 1:使用SQL Server作业监控磁盘空间很久之前写过一篇博客"MS SQL 监控磁盘空间告警",后面对这个脚本进行过多次完善和优化,做成了一个模板.在每台SQL Server服务器上都部署了,确实也很实用.告警也很给力,但是缺点也非常明显. 优点:1: 自己动手DIY,在没有部署运维工具的前提下,确实能提前预警,抛…

log file sync等待超高案例浅析

监控工具DPA发现海外一台Oracle数据库服务器DB Commit Time指标告警,超过红色告警线(40毫秒左右,黄色告警是10毫秒,红色告警线是20毫秒),如下截图所示,生成了对应的时段的AWR报告,发现Top 5 Timed Events里面,log file sync等待事件的平均等待时间为37毫秒,log file parallel write等待事件的平均等待时间为40毫秒如果对Tanel Poder::Understanding LGWR, Log File Sync Wait…

虚拟化技术之kvm磁盘管理工具qemu-img

在前边的博客中,我们大致了解了virsh这个工具对kvm虚拟机的一些操作,回顾请参考https://www.cnblogs.com/qiuhom-1874/tag/virsh/:今天我们来了解下kvm的磁盘管理工具qemu-img常用命令的用法: 1.qemu-img的帮助信息 [root@node1 ~]# qemu-img -h qemu-img version 1.5.3, Copyright (c) 2004-2008 Fabrice Bellard usage: qemu-img co…

Linux 磁盘分区和挂载

目录 Linux 磁盘分区和挂载 windows 下的分区磁盘管理相关命令分区及挂载实现步骤添加硬盘分区步骤步骤挂载步骤卸载分区步骤补充: Linux 磁盘分区和挂载 windows 下的分区磁盘管理 Linux系统中磁盘管理就是将硬盘通过挂载的方式挂载到Linux文件系统中相关命令 lsblk:用于列出所有可用块设备的信息,而且还能显示他们之间的依赖关系数据来源-/sys/dev/block df -h:df可显示磁盘的文件系统与使用情形,-h是格式化输出分区命令: f…

【转】【译】JavaScript魔法揭秘--探索当前流行框架中部分功能的处理机制

推荐语: 今天推荐一篇华为同事的同事翻译的一篇文章,推荐的主要原因是作为一个华为员工居然晚上还能写文章,由不得小钗不佩服!!! 其中的jQuery.angular.react皆是十分优秀的框架,各有特点,各位可以看看编辑:github 原文链接:Revealing the Magic of JavaScript jnotnull发布在 JavaScript译文我们每天都在使用大量的工具,不同的库和框架已经成为我们日常工作的一部分.我们使用他们是因为我们不想重新造轮子,虽然我们可能并不知道这些…

BZOJ 3343: 教主的魔法 [分块]【学习笔记】

3343: 教主的魔法 Time Limit: 10 Sec Memory Limit: 256 MBSubmit: 1172 Solved: 526[Submit][Status][Discuss] Description 教主最近学会了一种神奇的魔法,能够使人长高.于是他准备演示给XMYZ信息组每个英雄看.于是N个英雄们又一次聚集在了一起,这次他们排成了一列,被编号为1.2.…….N. 每个人的身高一开始都是不超过1000的正整数.教主的魔法每次可以把闭区间[L, R](1≤L≤R≤N)…

I/O流——File类及使用

I/O框架介绍 I/O是计算机输入/输出的接口.Java的核心库java.io提供了全方面的I/O接口,包括:文件系统的操作,文件读写,标准设备的输出等. File类及使用 ① 一个File类的对象,表示了磁盘上的文件或目录. ② File类提供了与平台无关的方法来对磁盘上的文件或目录进行操作. ③ File类直接处理文件和文件系统.比如删除文件,获取文件长度大小信息. ④ File类没有提供方法从文件中读取或向文件中存储信息. ⑤ 构造方法: a) File…

File类

存储在变量,数组和对象中的数据是暂时的,当程序终止时他们就会丢失.为了能够永久的保存程序中创建的数据,需要将他们存储到硬盘或光盘的文件中.这些文件可以移动,传送,亦可以被其他程序使用.由于数据存储在文件中,所以我们需要学习一个和文件有密切关系的类,叫做File类,将要掌握获取文件的属性以及删除和重命名文件.最终如何向文件中写入数据和从文件中读取数据. 那么File类关心的是在磁盘上文件的存储. File类描述的是一个文件或文件夹.(文件夹也可以称为目录) 该类的出现是对文件系统的中的文件以及文件…

【BZOJ-3343】教主的魔法分块

3343: 教主的魔法 Time Limit: 10 Sec Memory Limit: 256 MBSubmit: 950 Solved: 414[Submit][Status][Discuss] Description 教主最近学会了一种神奇的魔法,能够使人长高.于是他准备演示给XMYZ信息组每个英雄看.于是N个英雄们又一次聚集在了一起,这次他们排成了一列,被编号为1.2.…….N. 每个人的身高一开始都是不超过1000的正整数.教主的魔法每次可以把闭区间[L, R](1≤L≤R≤N)内…

TYVJ P3407 佳佳的魔法照片 Label:语文很重要语文很重要语文很重要

描述佳佳的魔法照片(mphoto.pas\c\cpp) [题目背景] 佳佳的魔法照片(Magic Photo):如果你看过<哈利•波特>,你就会知道魔法世界里的照片是很神奇的.也许是因为小魔法师佳佳长的太帅,很多人都找他要那种神奇的魔法照片,而且还都要佳佳和他的MM的合照.那些照片可是非常珍贵的,他到底应该把照片给谁呢? [题目描述] 一共有n个人(以1--n编号)向佳佳要照片,而佳佳只能把照片给其中的k个人.佳佳按照与他们的关系好坏的程度给每个人赋予了一个初始权值W[i].然后将初始权值从…

【BZOJ3343】教主的魔法分块+二分

Description 教主最近学会了一种神奇的魔法,能够使人长高.于是他准备演示给XMYZ信息组每个英雄看.于是N个英雄们又一次聚集在了一起,这次他们排成了一列,被编号为1.2.…….N. 每个人的身高一开始都是不超过1000的正整数.教主的魔法每次可以把闭区间[L, R](1≤L≤R≤N)内的英雄的身高全部加上一个整数W.(虽然L=R时并不符合区间的书写规范,但我们可以认为是单独增加第L(R)个英雄的身高) CYZ.光哥和ZJQ等人不信教主的邪,于是他们有时候会问WD闭区间 [L, R] 内…

BZOJ3343: 教主的魔法分块

2016-05-28 10:27:19 题目:http://www.lydsy.com/JudgeOnline/problem.php?id=3343 比较显然的分块题,分块后块内排序,维护整块的附加信息add 对于操作来说,l,r所在的块暴力,其它块内直接加add,或二分查找大于某个值的数有多少个. 神奇WA update:本傻叉的二分写法太过傻叉,卒于tmp没有赋初值 #include<bits/stdc++.h> #define inf 1000000000 #define N 100…

[BZOJ3343]教主的魔法

[BZOJ3343]教主的魔法试题描述教主最近学会了一种神奇的魔法,能够使人长高.于是他准备演示给XMYZ信息组每个英雄看.于是N个英雄们又一次聚集在了一起,这次他们排成了一列,被编号为1.2.…….N. 每个人的身高一开始都是不超过1000的正整数.教主的魔法每次可以把闭区间[L, R](1≤L≤R≤N)内的英雄的身高全部加上一个整数W.(虽然L=R时并不符合区间的书写规范,但我们可以认为是单独增加第L(R)个英雄的身高) CYZ.光哥和ZJQ等人不信教主的邪,于是他们有时候会问WD闭区间…

【bzoj3343】教主的魔法分块

[bzoj3343]教主的魔法 2014年4月26日8092 Description 教主最近学会了一种神奇的魔法,能够使人长高.于是他准备演示给XMYZ信息组每个英雄看.于是N个英雄们又一次聚集在了一起,这次他们排成了一列,被编号为1.2.…….N. 每个人的身高一开始都是不超过1000的正整数.教主的魔法每次可以把闭区间[L, R](1≤L≤R≤N)内的英雄的身高全部加上一个整数W.(虽然L=R时并不符合区间的书写规范,但我们可以认为是单独增加第L(R)个英雄的身高) CYZ.光哥和ZJQ等…

c++之路进阶——bzoj3343（教主的魔法）

F.A.Qs Home Discuss ProblemSet Status Ranklist Contest ModifyUser gryz2016 Logout 捐赠本站 Notice:由于本OJ建立在Linux平台下,而许多题的数据在Windows下制作,请注意输入.输出语句及数据类型及范围,避免无谓的RE出现. 3343: 教主的魔法 Time Limit: 10 Sec Memory Limit: 256 MBSubmit: 711 Solved: 309[Submit][Stat…

VB6 GDI+ 入门教程[8] Bitmap魔法(1):创建

http://vistaswx.com/blog/article/category/tutorial/page/2 VB6 GDI+ 入门教程[8] Bitmap魔法(1):创建 2009 年 9 月 9 日 4条评论标签: Bitmap,GdiPlus,vb 分类: Tutorial,VB6 GDI+ 点击下载 vIstaswx VB6 Gdi+ 模块(最后更新 2011/2/8) 其实Bitmap和Image是很像的(位图.图片),事实上他们也可以互相转化,不过他们各有不同特点.Bitma…

【分块】bzoj3343: 教主的魔法

3343: 教主的魔法 Time Limit: 10 Sec Memory Limit: 256 MBSubmit: 631 Solved: 272[Submit][Status][Discuss] Description 教主最近学会了一种神奇的魔法,能够使人长高.于是他准备演示给XMYZ信息组每个英雄看.于是N个英雄们又一次聚集在了一起,这次他们排成了一列,被编号为1.2.…….N. 每个人的身高一开始都是不超过1000的正整数.教主的魔法每次可以把闭区间[L, R](1≤L≤R≤N)内…

BZOJ 3343教主的魔法

Description 教主最近学会了一种神奇的魔法,能够使人长高.于是他准备演示给XMYZ信息组每个英雄看.于是N个英雄们又一次聚集在了一起,这次他们排成了一列,被编号为1.2.…….N. 每个人的身高一开始都是不超过1000的正整数.教主的魔法每次可以把闭区间[L, R](1≤L≤R≤N)内的英雄的身高全部加上一个整数W.(虽然L=R时并不符合区间的书写规范,但我们可以认为是单独增加第L(R)个英雄的身高) CYZ.光哥和ZJQ等人不信教主的邪,于是他们有时候会问WD闭区间 [L, R] 内…