命令 getconf PAGESIZE 结果为4096,即一页=4096字节=4KB(注意是Byte,1B=8bit) 在使用mmap映射函数时,它的实际映射单位也是以页为单位的,即不过我们把MAP_SIZE设为多大(只要小于一页),就会映射一页.当然如果我们设置的大于一页小于两页就会映射两页.…

本文所述是针对 linux 引入了虚拟内存管理机制以后所涉及的知识点.linux 中页缓存的本质就是对于磁盘中的部分数据在内存中保留一定的副本,使得应用程序能够快速的读取到磁盘中相应的数据,并实现不同进程之间的数据共享. 因此,linux 中页缓存的引入主要是为了解决两类重要的问题: 磁盘读写速度较慢(ms 级别); 实现不同进程之间或者同一进程的前后不同部分之间对于数据的共享: 如果没有进程之间的共享机制,那么对于系统中所启动的所有进程,在打开文件的时候都要将需要的数据从磁盘加载进物理内存空间…

linux下使用split 来分割大文件 2010-07-27 15:46:27|  分类: 技术文稿 |  标签:split  分割  linux   |字号 订阅   平常都是使用ssh来进行远程操作和传输文件 , 这个工具可以很方便的实现我们所需要的功能,一直使用正常,没遇到什么问题,今天因为需要传一个412M的文件 , 无论如何也传不过来, 一直系统报错.无奈之下GOOGLE了一下,发现可以使用split命令来切割文件,以方便进行文件传输. [root@localhost databas…

利用Linux的硬连接删除MySQL大文件 http://blog.csdn.net/wxliu1989/article/details/22895201 原理:硬链接基础当多个文件共同指向同一inode.inode链接数N>1.删除任何一个文件都是巨快因为.此时删除的仅仅是指向inode的指针 而当N=1时.则不一样了.此时删除的文件相关的所有数据块.所以慢 root@ # ln stock.ibd stock.id.hdlk root@ # ls stock.* -l -rw-rw—- 1…

Linux如何使用cURL分割下载大文件 - 51CTO.COM http://os.51cto.com/art/201508/489368.htm…

很常见的一个问题 linux磁盘空间满了 但是没有大文件 解决思路: 1.用df 检查发现/根目录可用空间为0 [root@/]#df -h 2.用du检查发现各目录占用的空间都很少,有约3G的空间莫名其妙地丢了. [root@/]# du -m –max-depth=1|sort -gr 3.用lsof检查后才发现原因是,有文件被删除,而进程还活着,因而造成还占用空间的现象 [root@/]# lsof |grep delete 根据lsof列出的进程号,kill这些进程后,空间就释放出来了…

Linux 查看磁盘容量.查找大文件.查找大目录 磁盘统计 查看磁盘使用情况 df -h 文件统计 查找/home 目录下大于800M的文件 find /home -type f -size +800M 查找/home 目录下大于800M的文件,并且使用ls -l 命令输出详细信息 find /home -type f -size +800M -print0|xargs -0 ls -l 查找/home 目录下大约800M的文件,并且使用du -h 命令输出文件的大小 find /home -t…

在Linux中配置hugepage可以提高oracle的性能,减少oracle sga的页交换,类似于aix中的lagepage. 为什么 使用大页? LINUX内存的默认块大小是4K如果SGA为:128Gselect 128*1024*1024/4 from dual;33554432个(三千多万),select 128*1024/2 from dual; 65536个每个内存页,有一个页表项(大概10个字节),记录页的状态.位置默认块大小是4K时--页表大小:320M.在大页下2M时,页表只…

一.在解释什么情况下需要开启大页和为啥需要开启大页前先了解下Linux下页的相关的知识:以下的内容是基于32位的系统,4K的内存页大小做出的计算1)目录表,用来存放页表的位置,共包含1024个目录entry,每个目录entry指向一个页表位置,每个目录entry,4b大小,目录表共4b*1024=4K大小2)页表,用来存放物理地址页的起始地址,每个页表entry也是4b大小,每个页表共1024个页表entry,因此一个页表的大小也是4K,共1024个页表,因此页表的最大大小是1024*4K=4M…

用.Net搭建的WebService,系统默认提供了测试页,供大家输入参数进行测试.但因为参数输入框使用的是单行input控件,导致无法输入换行文本,使得有些参数(如换行的xml)无法输入,及其不便. 我发现WebMethod属性的Description命名参数,其实是支持html的,当然script也支持啦.因此,呵呵,明白了吧?我们稍作开发实现将这个input控件替换为多行TextArea大文本框框,方便地贴入多行文本进行调试. 比如现在有个WebService,其中一个名为funcpara…

突然集群的2个节点挂了,通过top查看, 虚拟内存22G, 通过 pmap -x 8 | grep anon 一大堆64M Linux下glibc的内存管理机制用了一个很奇妙的东西,叫arena.在glibc分配内存的时候,大内存从从中央分配区分配,小内存则在线程创建时,从缓存区分配.为了解决分配内存的性能的问题,就引入了这个叫做arena的memory pool.而恰好,在64bit系统下面,它的缺省配置为64M.一个进程可以最多有cores*8个arena,假如服务器是4核的,那么最多有4*…

有时候会遇到这样的需求,比如log日志文件,这个文件很大,甚至上百M,需要把所有的日志拿来做统计,这时候我们如果用单进程来处理,效率会很慢.如果我们想要快速完成这项需求,我们可以利用Linux的一个利器split,先根据这个文件的总大小.总行数,来按照一个比例来分割,在根据分割的文件数量,fork出一定比例合适的子进程数量分批处理,那么效率可想而知. linux的split可以看这篇文章来学习测试下Centos文件切割利器_split命令及cat命令合并文件 //shell # split -l…

dd命令可以轻易实现创建指定大小的文件,如 dd if=/dev/zero of=test bs=1M count=1000 会生成一个1000M的test文件,文件内容为全0(因从/dev/zero中读取,/dev/zero为0源). 但是这样为实际写入硬盘,文件产生速度取决于硬盘读写速度,如果欲产生超大文件,速度很慢. 在某种场景下,我们只想让文件系统认为存在一个超大文件在此,但是并不实际写入硬盘. 则可以dd if=/dev/zero of=test bs=1M count=0 seek=…

本文转载自:http://www.cnblogs.com/tolimit/ 感觉原博分析的不错,借花献佛. ------------------------------------------------------------------------------- 释放页框很简单,其实只有几步 检查此页是否被其他进程使用(检查页描述符的_count是否为0). 如果是释放单个页框,则优先把它放回到该CPU的单页框高速缓存链表中,如果该CPU的单页框高速缓存的页框过多,则把该CPU的页框高速缓存…

zhuazai:https://blog.csdn.net/sty945/article/details/79830915 前言 ls命令 ls -a ls -l ll du命令 du -s du -s * du -s * | sort -nr 我的DIY_Bash 在linux任意位置都可以使用这个目录下的脚本 注意 前言 最近几乎大部分工作都在linux上进行的,发现在工作过程中经常要查看当前目录下的文件大小,但是每次都是用ls命令每次都是以字节形式显示的,看起来特别不爽.于是开始了再lin…

好久没有更新博客了,但并不代表自己没有遇到技术问题了.遇到了一大堆,也解决了一大堆.只是没有记下来的欲望了,似乎大脑就这样,忘不掉.啥都忘不掉了,即使忘掉了也知道如何百度了. 查看目录大小命令 du命令 主要使用  du -h --max-depth=1 -h表示按1024计算空间,--max-depth=1表示计算深度 发现删了大文件过后,依然网站不能使用. 在Linux或者Unix系统中,通过rm或者文件管理器删除文件将会从文件系统的目录结构上解除链接(unlink).然而如果文件是被打开的…

在Linux内核中, kmalloc能够分配的最大连续内存为2的(MAX_ORDER-1)次方个page(参见alloc_pages函数,     "if (unlikely(order >= MAX_ORDER))        return NULL;"), page的大小一般是4K bytes, MAX_ORDER缺省定义为11, 所以如果不修改内核, kmalloc能够分配的最大连续内存一般是4M bytes. 内核中获取4M以上大内存的方法有三种: 1.修改MAX_OR…

在 Linux 命令行下进行文本关键字的搜索,大家肯定第一时间会想到 grep 命令.grep 命令确实十分强大,但如果需要用到它更加灵活的功能时,可能命令就会显得十分复杂. 于是,为了简化 grep 的语句并达到同等效果,很多业内高手开发出了很多同样强大的工具,在某些程度上甚至可以替代 grep . 下面我就给大家介绍 5 个常用的命令行搜索工具.如果你不喜欢使用编辑器或 IDE 来查找代码关键字,那么这几个工具将对你十分有帮助. 这 5 个工具有些仅适用于类 Unix 系统,但也有一些是跨平…

一,fallocate的用途? 1,用途 我们有时需要用大文件来测试下载速度, 有时需要用大文件来覆盖磁盘空间, 如果在网上搜索,很多文章讲的是使用dd等工具, 事实上linux系统已经内置了生成大文件的工具, fallocate 使用非常的方便 2,fallocate和truncate有所区别 fallocate:为文件预分配物理空间,不是生成空洞文件 而且fallocate分配的空间在磁盘的扇区上是连续的, 能减少后续写入和读取文件时的磁盘寻道的资源开销 truncate:生成的是空洞文件,…

原文地址:http://xinzong.blog.51cto.com/10018904/1749465 一.文件查找工具常用软件 locate: locate命令其实是find -name的另一种写法,但是要比后者快得多,原因在于它不搜索具体目录,而是搜索一个数据库/var/lib/locatedb,这个数据库中含有本地所有文件信息.Linux系统自动创建这个数据库,并且每天自动更新一次,所以使用locate命令查不到最新变动过的文件.为了避免这种情况,可以在使用locate之前,先使用upda…

dd命令可以轻易实现创建指定大小的文件,如 dd if=/dev/zero of=test bs=1M count=1000 会生成一个1000M的test文件,文件内容为全0(因从/dev/zero中读取,/dev/zero为0源) 但是这样为实际写入硬盘,文件产生速度取决于硬盘读写速度,如果欲产生超大文件,速度很慢 在某种场景下,我们只想让文件系统认为存在一个超大文件在此,但是并不实际写入硬盘 则可以dd if=/dev/zero of=test bs=1M count=0 seek=100…

在内核中, kmalloc能够分配的最大连续内存为2的(MAX_ORDER-1)次方个page(参见alloc_pages函数,     "if (unlikely(order >= MAX_ORDER))        return NULL;"), page的大小一般是4K bytes, MAX_ORDER缺省定义为11, 所以如果不修改内核, kmalloc能够分配的最大连续内存一般是4M bytes. 内核中获取4M以上大内存的方法有三种: 1.修改MAX_ORDER,…

压缩.解压缩及归档工具有很多,今天小编就整理几个大家较为常用的. compress gzip  bzip2 xz zip tar cpio 一.压缩.解压工具 用法 压缩 工具 压缩后 压缩包格式 解压缩 (默认不保留源文件) 保留原文件压缩 -c :将压缩结果打印到屏幕上 保留压缩文件解压 *zcat :将解压结果打印到屏幕上 强制压缩(默认不压缩硬链接) 显示详细过程 压缩比 -#(数字越大,压缩比越高,速度越慢 文件越小) compress (压缩比最小,文件最大) .Z -d uncom…

需求说明: 今天在做mysql数据导入的过程中,导入到最后有一个报错,报某张表不存在.然后就想看看这行到底是在做什么操作的时候报的错误. 报错信息: [mysql@host---- ~]$ cat nohup.out mysql: [Warning] Using a password on the command line interface can be insecure. ERROR (42S02) at line : Table 'prod.pm_store_chnl_relation'…

转自:http://blog.csdn.net/fudan_abc/article/details/1805471 目睹了当今大学校园的素质流氓化,kiss公开化,消费白领化,上课梦游化,逃课普遍化,补考专业化之后,区里的人们很时髦的提出了一个挂起自动化的概念. 接下来的一个话题就是autosuspend/autoresume. 所谓的autosuspend就是driver自己判断是否需要挂起,而之前的suspend/resume是受外界影响的,比如说PM core统一的系统级的挂起,或者用户通…

切换至eclipse目录: vi plugins/org.eclipse.platform_4.2.*/css/e4_default_gtk.css 找到.MPartStack,替换成如下代码: .MPartStack { font-size:; font-family: Liberation Sans; swt-tab-renderer: null; swt-tab-height: 22px; swt-selected-tabs-background: #FFFFFF #ECE9D8 100%…

页高速缓存:1.磁盘高速缓存的一种 2.一种对完整的数据页进行操作的磁盘高速缓存.3.将一页数据写到块设备的时候,内核首先检查对应的页是否已经在高速缓存中,不在就添加并填充数据.4.I\O数据的传送并不是马上开始,而是要延迟几秒,从而让进程有机会对要写入的数据进行修改. 高速缓存中可能的内容:1.含有普通文件数据的页2.含有目录的页3.含有直接从块设备文件读出的页.(跳过了文件系统层)4.含有用户态进程数据的页5.属于特殊文件系统文件的页.例如共享内存的进程间通信(IPC)所使用的特殊文件系统s…

2013年已经过去.这一年见证了许多里程碑事件,使得2013年可以称得上是一个Linux的黄金之年.其中一些成果在FOSS和Linux世界更可以称得上是举世瞩目的成就. 1.Android的上升趋势 2013年,Android手机达到了每日150万的激活量记录.不用说,正是Android的Linux内核以及它在该方面的狂热贡献使其达到了今天的标杆地位,这一趋势还将在未来的日子里一直持续下去. 2. Raspberry pi 树莓派 Raspberry pi,低成本单片计算机历史上的最伟大发明之一…

在内核中, kmalloc能够分配的最大连续内存为2的(MAX_ORDER-1)次方个page(参见alloc_pages函数,     "if (unlikely(order >= MAX_ORDER))        return NULL;"), page的大小一般是4K bytes, MAX_ORDER缺省定义为11, 所以如果不修改内核, kmalloc能够分配的最大连续内存一般是4M bytes. 内核中获取4M以上大内存的方法有三种: 1.修改MAX_ORDER,…

今天看到这个代码很简单,就是验证一下Linux系统的输出缓存大小.当 猜一下这个代码的输出: #include <stdio.h> #include <string.h> #include <errno.h> #define N 1025 int main(int argc, char **argv) { char ch; int count = 0; char buf[N]; memset(buf, 'a', N); buf[N-2] = 'b'; buf[N-1]…