Linux中清理磁盘空间时,经常需要找出大于200M的文件. 这个命令可以实现这个功能: find / -size +200M -exec du -h {} \;

文件压缩主要有两个好处,一是减少了存储文件所占空间,另一个就是为数据传输提速.在hadoop大数据的背景下,这两点尤为重要,那么我现在就先来了解下hadoop中的文件压缩. hadoop里支持很多种压缩格式,我们看一个表格: DEFLATE是同时使用了LZ77算法与哈夫曼编码(Huffman Coding)的一个无损数据压缩算法,源代码可以在zlib库中找到.gzip是以DEFLATE算法为基础扩展出来的一种算法. 所有的压缩算法都是空间和时间的转换,更快压缩时间还是更小的压缩比,可以通过参数来

pt-find - Find MySQL tables and execute actions, like GNU find. 用法:pt-find [OPTION...] [DATABASE...] 例子: 找出创建于一天之前,并且是myisam存储引擎的表[root@goolen ~]# pt-find --ctime +1 --engine MyISAM -uroot -proot`mysql`.`db``mysql`.`event``mysql`.`func``mysql`.`help_

关于数据库导出到Excel和SQLServer数据导出到Excel的例子,在博客园有很多的例子,自己根据网上搜集资料,自己做了亦歌简单的demo,现在分享出来供初学者学习交流使用. 一.数据库导入导出到Excel,比较流行的有两种方式:采用传统的office类库和采用NPOI方式. 1.传统的office类库 使用的时候,本地需要安装office才可以正常使用,而且导出速度相对比较慢.有点:支持office 2003 .office2007等. 2.采用NPOI方式 本地不需要安装office,

Linux ext2/ext3 文件删除恢复工具ext3grep安装使用 2010-08-23 18:03:10|  分类: 默认分类|举报|字号 订阅     一．           安装前系统环境检查(我的实验环境:AS5.2 2.6.18-92.el5内核)< xmlnamespace prefix ="o" ns ="urn:schemas-microsoft-com:office:office" /> 1.)查看所需要的依赖包 rpm -qa

根据mapjoin的计算原理,MAPJION会把小表全部读入内存中,在map阶段直接拿另外一个表的数据和内存中表数据做匹配.这种情况下即使笛卡尔积也不会对任务运行速度造成太大的效率影响. mapjoin的应用场景如下: 1.有一个极小的表<1000行 2: 需要做不等值join的where操作(a.x < b.y 或者 a.x like b.y等,注:目前版本join下不支持不等值操作,不等值需加到where条件里) 如果把不等于写到where里会造成笛卡尔积,如果数据量很大,笛卡尔积的后果不

http://technet.microsoft.com/zh-cn/library/cc725624(v=ws.10).aspx http://msdn.microsoft.com/zh-cn/library/ms732023(v=vs.100).aspx .NET Framework 4   其他版本                  .NET Framework 4.5 .NET Framework 3.5   此主题尚未评级 - 评价此主题                        

在比较四中压缩方法之前,先来点干的,说一下在MapReduce的job中怎么使用压缩. MapReduce的压缩分为map端输出内容的压缩和reduce端输出的压缩,配置很简单,只要在作业的conf中配置即可 //配置压缩 conf.setBoolean("mapred.out.compress", true);//配置map输出的压缩 conf.setBoolean("mapred.output.compress", true); //配置reduce输出的压缩

代码来源:http://blog.163.com/u_tommy_520/blog/static/20406104420147493933662/ http://www.cnblogs.com/lovecsharp094/p/5509295.html 拷贝文件夹的所有内容到另一个文件夹内: public static void CopyDir(string srcPath, string aimPath) { try { // 检查目标目录是否以目录分割字符结束如果不是则添加之 ] != Pat

通讯问题,和交通问题一样,也有高速.低速.拥堵.中断等等各种情况.如果把串口通讯比做交通,UART比作车站,那么一帧的数据就好比汽车.汽车跑在路上,要遵守交通规则.如果是市内,一般限速30.40,而高速公路则可以到120.而汽车走什么路,限速多少,就要看协议怎么规定了.常见的串口协议有RS-232.RS-422.RS-485等,他们之间有何细微差别?下面我们就一起来探讨一下. 一.UART是什么 UART是通用异步收发传输器(Universal Asynchronous Receiver/Tra

Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file: /tmp/hsperfdata_work/23408 Try using the -Djava.io.tmpdir= option to select an alternate temp location. 错误表示某区内存已满! df -h    查看内存使用情况. 解决: 输入命令 find / -size +200M -

Docker容器CPU.memory资源限制 https://www.cnblogs.com/zhuochong/p/9728383.html 处理事项内容等 这一块内容感觉 不清楚.. 背景 在使用 docker 运行容器时,默认的情况下,docker没有对容器进行硬件资源的限制,当一台主机上运行几百个容器,这些容器虽然互相隔离,但是底层却使用着相同的 CPU.内存和磁盘资源.如果不对容器使用的资源进行限制,那么容器之间会互相影响,小的来说会导致容器资源使用不公平:大的来说,可能会导致主机和集

背景 在使用 docker 运行容器时,默认的情况下,docker没有对容器进行硬件资源的限制,当一台主机上运行几百个容器,这些容器虽然互相隔离,但是底层却使用着相同的 CPU.内存和磁盘资源.如果不对容器使用的资源进行限制,那么容器之间会互相影响,小的来说会导致容器资源使用不公平:大的来说,可能会导致主机和集群资源耗尽,服务完全不可用. docker 作为容器的管理者,自然提供了控制容器资源的功能.正如使用内核的 namespace 来做容器之间的隔离,docker 也是通过内核的 cgrou

1.容器生命周期管理 docker run :创建一个新的容器并运行一个命令 语法:docker run [OPTIONS] IMAGE [COMMAND] [ARG...] OPTIONS说明: -a stdin: 指定标准输入输出内容类型,可选 STDIN/STDOUT/STDERR 三项: -d: 后台运行容器,并返回容器ID: -i: 以交互模式运行容器,通常与 -t 同时使用: -p: 端口映射,格式为:主机(宿主)端口:容器端口 -t: 为容器重新分配一个伪输入终端,通常与 -i 同

1.小文件合并:如果文件有一定的规律或者是在同一个文件夹下,可以采用获取文件夹下所有的文件,通过流进行合并,然后再存到hdfs上. 2.mapreduce的优点:1.离线计算.2.高容错性,一个节点挂了可以将计算转移到另一个节点.3.易扩展,廉价机器随便加.缺点就是做不到实时计算. 3.链接mapreduce有三种方式:迭代式,就是上一个的输出数据为下一个的输入数据,依赖式,一个mapreduce可能依赖于多个mapreduce,线性式,可以链接过多个mapper,一个mapreduce可以有多

1.cloudera 数据压缩的一般准则 一般准则 是否压缩数据以及使用何种压缩格式对性能具有重要的影响.在数据压缩上,需要考虑的最重要的两个方面是 MapReduce 作业和存储在 HBase 中的数据.在大多数情况下,每个的原则都类似. 您需要平衡压缩和解压缩数据所需的能力.读写数据所需的磁盘 IO,以及在网络中发送数据所需的网络带宽.正确平衡这些因素有赖于集群和数据的特征,以及您的 使用模式. 如果数据已压缩(例如 JPEG 格式的图像),则不建议进行压缩.事实上,结果文件实际上可能大于原

C#获取文件夹下的所有文件的文件名 string path = @"E:\微课视频大于200M"; DirectoryInfo folder = new DirectoryInfo(path); //folder.GetFiles("*.txt")此处可指定txt的后缀名 foreach (FileInfo file in folder.GetFiles()) { string fileName = file.Name;//文件名称 } 拷贝文件夹的所有内容到另一个

这次的折腾是个意外.不过还是要记录一下. 多次做启动盘,把U盘做坏了.将U盘用量产工具修复以后就能做启动盘了.从官网下了Fedora 28的镜像(与CentOS同属RedHat系,尽量与鸟哥一致),用rufus在Windows下打入U盘(选UEFI模式写入,因为现在的Windows就是UEFI启动的,统一一下好设置双引导). 重启笔记本,赶紧按F12(DELL灵越)选择启动项为UEFI下的U盘启动.这里说明一下,我的电脑UEFI Security已经关了,因为之前装过好多次系统了,如果没关的话应

一 Hadoop数据压缩 1.1 概述 压缩技术能够有效减少底层存储系统(HDFS)读写字节数.压缩提高了网络带宽和磁盘空间的效率.在Hadood下,尤其是数据规模很大和工作负载密集的情况下,使用数据压缩显得非常重要.在这种情况下,I/O操作和网络数据传输要花大量的时间.还有,Shuffle与Merge过程同样也面临着巨大的I/O压力. 鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源,数据压缩对于节省资源.最小化磁盘I/O和网络传输非常有帮助.不过,尽管压缩与解压操作的CPU开销不高,其性能的

Hadoop中用得比较多的4种压缩格式:lzo,gzip,snappy,bzip2.它们的优缺点和应用场景如下: 1). gzip压缩 优点:压缩率比较高,而且压缩/解压速度也比较快:hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样:有hadoop native库:大部分linux系统都自带gzip命令,使用方便. 缺点:不支持split. 应用场景:当每个文件压缩之后在130M以内的(1个Block大小内),都可以考虑用gzip压缩格式.譬如说一天或者一个小时的日志压缩