今天在对LDA进行不同參数训练模型.记录其avglogLikelihood和logPerplexity,以便推断模型训练是否收敛时,产生了一个令人极度崩溃的事儿:程序在辛辛苦苦跑了7.3h后...挂了! 证据例如以下: 早上一来看这张图,好像跑完了,然后点进去看...然后就没有然后了 每次迭代都须要9min左右,迭代了近50次跟我说挂了,确实挺让人奔溃的. 先说说我的配置以及LDA參数吧 5 * 40cores cpu 5* 500g memory 參数: 没办法,既然都崩溃了,跟进去找问题呗…

今天碰到比较奇怪的问题: 7/05/14 19:20:24 INFO util.Utils: Fetching http://192.168.31.160:33039/jars/spark_study_java-0.0.1-SNAPSHOT-jar-with-dependencies.jar to /tmp/spark-446068a4-aaa4-4277-b009-908bf0d4ecac/executor-dcc3175b-7d19-4485-81e1-bf31a83a66b4/spark-…

突然发现Jenkins的Job全部都停了,打开Jenkins发现所有的slave机器,均提示: 点开Dead(!),提示Thread has died,如下图: 看图好像说是Jenkins所在的服务器空间不够. 那进入Jenkins安装的服务器看一眼,df -h后,发现/dev/sda7的Used是357G,Avail是0G,原来是磁盘空间满了. 一般情况下,最大的文件夹是Jenkins服务器下的jobs文件夹,里面对应各个job并且保留有构建后的产物. 解决方法: 1. 删除无用的Jenkin…

磁盘空间不足 1.df -k,发现程序所在的工作目录/data,居然到了100%. 1604050 free allocated Kb 535144219 used allocated Kb 100 % allocation used每隔几秒我再df -k,free值一直在减少./data分配给几个不同项目组共同使用.于是推测有应用一直在刷日志,将磁盘空间撑满了.2. find . -type f -mtime -1,查找一天内修改过的文件 或者 find . -type f -mmin -10…

解决:java.io.IOException: No FileSystem for scheme: hdfs 开发项目初期,写完代码开始放到服务器上开始测试的时候,报出这样的一个错,不知道怎么处理了,尝试了重新配置HDFS的Configuration,也不行,无奈之下,只好查看源代码,分析错误是从哪里里报出来的. 首先把hadoop-common-2.6.0-cdh5.7.0这个jar包解压,按照报错的类,找到对应的方法,使用反编译工具打开FileSystem这个类,查看里面的源代码实现,首先看…

一天里会抛出几个这样的错误,但发现服务还在正常的运行. java.io.IOException: 指定的网络名不再可用. at sun.nio.ch.Iocp.translateErrorToIOException(Unknown Source)        at sun.nio.ch.Iocp.access$700(Unknown Source)        at sun.nio.ch.Iocp$EventHandlerTask.run(Unknown Source)        at …

报错信息如下 Failed with exception java.io.IOException:java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:user.name%7D 解决方法: 编辑 hive-site.xml 文件,添加下边的属性 <property> <name>system:java.io.tmpdir<…

java.io.IOException: mark/reset not supported at java.io.InputStream.reset(InputStream.java:348) at com.sun.media.sound.SoftMidiAudioFileReader.getAudioInputStream(SoftMidiAudioFileReader.java:139) at javax.sound.sampled.AudioSystem.getAudioInputStre…

通过本文, 我们明白了什么是 jar的清单文件 MANIFEST.MF, 简单示例: E:\ws\Test\WEB-INF\classes>jar cvfm testCL.jar ListTest.class java.io.IOException: invalid header field at java.util.jar.Attributes.read(Attributes.java:) at java.util.jar.Manifest.read(Manifest.java:) at ja…

今天调试google tag manager, 需要看看google analytics source code,无奈没有源码,装个一个插件ejad 还是不行: java.io.IOException: Cannot run program "jad" 搞了半天,原来是jad.exe没有装 http://stackoverflow.com/questions/11421889/jad-eclipse-plugin-installation-issues…