小文件是指那些size比HDFS的block size(默认64m)小的多的文件.任何一个文件,目录和bolck,在HDFS中都会被表示为一个object存储在namenode的内存中,每一个object占用150bytes的内存空间.所以,如果有10milion个文件,每一个文件对应一个block,那么就会消耗namenode 3G来保存这些block的信息.如果规模再大一点,那么将会超出现阶段计算机硬件所能满足的极限. 控制小文件的方法有: 1应用程序自己控制 2archieve 第一种是我…

本次使用POI处理xlsx文件,莫名的遇到了一个无法逾越的问题. 总共71个xlsx文件,单个文件最大达到50M以上,71个xls文件摆在那里就有3-4G的大小. 在起始处理的时候,发现原本适用于正常大小的POI处理xls程序竟然屡次的报错GC outofmemory 的内存移除的问题. [当前状况] ①一个50M大小的xlsx文件,使用压缩文件打开,可以看到xml文件达到900M以上 ②一个50M大小以上的xlsx文件,单个工作簿,行数平均在15W行---40W之间,列数在64列左右 ③单方面…

资源: 链接:https://pan.baidu.com/s/1eSctT5K 密码:174s VS2010问题: 无法打开文件"freeglut.lib"解决方法: (1)下载freeglut-2.8.1.tar.gz压缩包并解压. (2)将freeglut-2.8.1\freeglut-2.8.1\include\GL文件夹下的freeglut.h.freeglut_ext.h.freeglut_std.h.glut.h文件复制到C:\Program Files\Microsoft…

Unable to find ‘struts.multipart.saveDir’ Struts2上传文件错误的解决方法 在使用struts2的项目中上传文件的时候出现了一个这样的错误: 2011-7-30 20:29:02 com.opensymphony.xwork2.util.logging.commons.CommonsLogger info 信息: Unable to find 'struts.multipart.saveDir' property setting. Defaultin…

1.故障现象 俩台服务器keepalived的vip在俩台服务器同时出现 A:10.70.12.72 B:10.70.12.73 2.问题分析 1).先分析那台服务器在提供服务 A:10.70.12.72 B:10.70.12.73 可以看到是B机器72在对外提供lvs转发服务 2).查看俩台服务器的keepalived日志 发现俩台的日志都是判断自己是master状态,证明俩者之间没有通过vrrp通信,来得到对方的状态信息 查看俩台服务器防火墙,发现B的防火墙没有关闭.关闭后发现keepali…

最终解决了,其实我心中有一句MMP. 版本: hadoop 2.6.4 + hbase0.98 第一个问题,端口问题8020 hadoop默认的namenode 资源子接口是8020 端口,然后我这接口已经改成了9000.但是不知道为啥 hbase 还是去找那个8020 解决办法把那个rootdir 换成root.dir 解决了,但是发现Hmaster 总是启动之后 ,一段时间之后就挂了, 然后还出现了zk中找不到master, hbase运行时ERROR:org.apache.hadoop.h…

python listdir() 中文路径 中文文件夹 乱码 解决方法 listdir(path)返回的结果的编码似乎和我们提供的 path 参数的编码有关: path = 'd:/test' try: path = unicode(path, 'utf-8') # 经过编码处理 except: pass # python3 已经移除 unicode,而且默认是 utf8 编码,所以不用转 listdir(path) 这样,就算 path 下有中文的文件和文件夹,我们获得的结果是 utf-8 的…

問題一: Installing Caffe without CUDA: fatal error: cublas_v2.h No such file: 在Makefile.config中修改,將CPU_ONLY := 1打開. 問題二:“fatal error: hdf5.h: 没有那个文件或目录”解决方法 参考自http://blog.csdn.net/hongye000000/article/details/51043913 Step 1 在Makefile.config文件的第85行,添加/…

因为Java虚拟机内存有堆内存.方法区.虚拟机栈.本地方法栈和程序计数器五部分组成,其中程序计数器是唯一一块不会发生内存溢出异常的内存区,所以只有四类内存区可能发生内存溢出异常,其中虚拟机栈和本地方法栈都是Java方法执行的内存模型,所以它们的异常发生情况几乎相同,另外,在方法区中.又有一块内存是常量池,所以内存溢出的情况可分为Java堆溢出.虚拟机栈和本地方法栈溢出.方法区和运行时常量池溢三种情况. 一.Java堆溢出 1.产生的原因:因为堆中存放的是对象实例和数组,所以当对象数量>最大堆容量…

出现UnboundLocalError: local variable ‘a’ referenced before assignment异常的情况与解决方法字面意思:局部变量赋值前被引用原因:局部变量与全局变量同名例: a = def func(): a += print(a) func() 解决方法:1.使局部变量与全局变量不同名 a = def func(): b = a + print(b) func() 2.使用global关键字 a = def func(): global a a +…