背景: 公司将线上hadoop RM接入ZK 实现高可用 但ZK Znode 默认存储1M,当存储数据量大时候可能导致线上业务的崩溃 处理方案如下: 1,修改ZK配置 增加默认存储上限 2,修改RM数据存储在zk中的路径结构 使结构拆分能支撑更大的数据 问题一 修改ZK配置 增加默认存储上限 主要为修改配置参数 在zk各节点上修改配置 (修改为10M大小) vi zkServer.sh 新增配置到图中位置  ZOO_USER_CFG="-Djute.maxbuffer=10240000"…

继<Hadoop2.6.0版本MapReudce示例之WordCount(一)>之后,我们继续看MapReduce的WordCount示例,看看如何监控作业运行或查看历史记录,以及作业运行时的文件目录及列表. 1.监控作业运行或查看历史记录 在WordCount的输出内容中,有这么一句:The url to track the job: http://server2:8088/proxy/application_1459913635503_0004/,这个是追踪作业运行的意思,登录后,可以查看…

问题一:namenode启动失败 描述:在初始化后hadoop后,发现datanode启动失败,namenode则可以正常启动,如果把用户换成root权限,再次启动时,则namenode和datanode都可以正常启动, 原因以及解决方案:由于我在之前进行了多次初始化操作,使得存在大量的日志,因此我需要删除日志,日志即我在core-site.xml中hadoop.tmp.dir对应的目录下的内容全部删除. 问题二:版本不一致问题 描述:当我在初次操作hadoop时,会提示如下错误, [spark…

现在还有些开源模块还没有更新到python3 ,不了解版本区别,无法对不合适的地方进行更改. 由于只追求向Python3靠近,所以对于python2的特别用法不探究. 此文不补全所有版本区别,仅作档案记录我遇到的版本区别. print函数: 在 Python 2 中, print 被视为一个语句而不是一个函数 更改: Python 2中的print语句==>Python 3中的print()函数   input(): python2的raw_input()更新为Python 3 中的input(…

操作过程: 首先查看远程仓库版本,如下图所见,最近一次提交为2018-03-19 22:16:25 第一步:使用git log命令查看历史提交记录,选择要回退的版本号,commit后面一串字符,这里我们选择回退到commit 9d85ad9a…… 第二步:git reset --hard 9d85ad9a回退本地版本,并使用git log查看是否回退成功 第三步:git push -f强制回退远程仓库到当前版本 操作后查看远程仓库版本,发现2018-03-19 22:16:25的那次提交不见了,…

最近在给一个培训机构代课,学生英语基础差,就安装了Vray5的中文版,噩梦从此开始. 做过合成的都知道,需要输出多通道到NUKE或者AE中进行合成,通常情况下把多个pass分成不同的文件对硬盘反复读写会对预览性能有影响,所以都是将多通道输出到一个EXR或者VRIMG进行后续处理. 坑就坑在,这些汉化版的Vray会把中文写进这些二进制文件里,再到AE或者NUKE里导入 就会出现乱码甚至通道丢失(如图1) 图1 这边记录一下解决方法和思路,避免踩坑. 思路是用OpenImageIO这个库进行通道重命…

一.MongoDB3.0.x的版本特性(相对于MongoDB2.6及以下): 增加了wiredtiger引擎: 开源的存储引擎: 支持多核CPU.充分利用内存/芯片级别缓存(注:10月14日刚刚发布的3.0.7版本中,进一步改进了内存操作的性能): 基于B-TREE及LSM算法: 提供文档级锁(document-level concurrency control),类似于关系型数据库的的行级锁: 支持文件压缩(其中snappy压缩机制可以在5%的额外CPU消耗,减少70%的空间使用,也可以根据需…

错误如下: error in ./src/Utils.vue Module build failed: Error: Vue packages version mismatch: - vue@ - vue-template-compiler@ This may cause things to work incorrectly. Make sure to use the same version for both. If you are using vue-loader@>=10.0, simpl…

maven package执行的时候会遇到jdk版本不对的问题 :原因是 maven所指定的jdk版本与项目使用的jdk版本不一致 1.项目属性的 java compiler可以设置 2.直接修改 maven 的 settings.xml 一劳永逸 settiings.xml  <profiles>标签内加入   <profile>    <id>jdk-1.6</id>    <activation>     <activeByDefau…

由于公司项目是普通的web工程,没有用上maven,所以笔者在jdk1.8版本下运行项目报了这样的错误 [ERROR]: 2020-03-09 09:38:50 [org.springframework.web.context.ContextLoader] Context initialization failed org.springframework.beans.factory.BeanDefinitionStoreException: Failed to read candidate co…