hadoop java VM 参数设置 默认native栈大小设置
问题总结:
程序栈太小,64位机器的栈大小默认比32位的大,将程序从64放到32中执行则报错,需要修改初始堆栈大小
(.so库中提供两个函数接口,一个里面使用的是尺寸较大的图像,另一个处理的图像很小,只有调用前一个函数的时候会溢出)
最后的问题转化为:如何设置JVM的native lib stack size
hadoop中节点的JVM配置在mapred.child.java.opts参数中!
之前在hadoop程序中利用jni调用了C语言写的(libxxx.so)本地库,在开始的机器上(64位Ubuntu)上运行正常,但是复制到另一个(32位Ubuntu)集群中
运行总是报错:
An irrecoverable stack overflow has occurred.
Please check if any of your loaded .so files has enabled executable stack (see man page execstack(8))
# A fatal error has been detected by the Java Runtime Environment:
# JRE version: Java(TM) SE Runtime Environment (7.0_71-b14) (build 1.7.0_71-b14)
# Java VM: Java HotSpot(TM) Server VM (24.71-b01 mixed mode linux-x86 )
# Failed to write core dump. Core dumps have been disabled. To enable core dumping, try "ulimit -c unlimited" before starting Java again
eclipse中指出的错误主要是3点:
- libxxx.so库堆栈溢出
- 建议linux下使用execstack设置libxxx.so需要运行stack
- core dump被禁止,建议ulimit -c unlimited
首先猜想是不是.so文件没有添加执行权限:
于是sudo chmod a+x,但是发现还是不行。
于是按照错误提示从后向前在网上搜索了一些解决方法:
1.关于ulimit:http://www.cnblogs.com/leaven/archive/2011/04/22/2024539.html,ulimit -c unlimited设置完之后发现没什么用。
2.关于execstack,需要首先sudo apt-get install execstack进行安装:
自己利用jni方式编译成的libxxx.so原本都是
- /usr/lib/libTest.so
发现文件没有设置execute stack 于是:execstack -s /usr/lib/libTest.so
但是还是没效果,程序依然报错。
3. 最后将重点放到设置java VM虚拟机分配的栈大小上。
关于程序栈大小的设置
不同的操作系统不同,下面是windows下和linux下的区别。另外系统本身栈的大小的设置和JVM虚拟机的栈大小设置也不同!
- windows平台下堆栈的大小可以包含在可执行文件里(通过VS的选项进行设置,gcc不行)
- linux平台下堆栈大小与编译器是无关的,只能通过配置文件设置。
http://myswirl.blog.163.com/blog/static/51318642201211341436611/
设置完成重启之后总是无法生效,又变回了默认的设置。
JVM栈大小设置:
看了几篇关于vm参数设置的网页:
- (Terminal,Eclipse,Tomcat中JVM栈大小的设置)http://www.cnblogs.com/jack204/archive/2012/07/02/2572932.html
- (很详细的mapred.child.java.opts讲解)http://www.aboutyun.com/thread-7524-1-1.html
- (配置JVM堆栈大小的具体方法)http://developer.51cto.com/art/201009/227419.htm
- (各种详细的参数)http://developer.51cto.com/art/200907/135160.htm
- (提到了64位机器>32位机器)http://www.blogjava.net/chenhui7502/archive/2011/08/18/356755.html
- (eclipse中成功设置参数)http://www.cnblogs.com/fantiantian/p/3658489.html
- (JVM内存讲解)http://blog.csdn.net/cutesource/article/details/8244250
方法: java -Xss512K yourJavaClass 该命令是在命令行中手动执行自己编译的java类时指定JVM栈大小,不适用于hadoop集群工作。
于是直接在eclipse中的Run->Run Configurations中设置VM的参数:
OK!上述修改方法仅在当前工程有效,如果想对所有的工程生效,在jre配置中修改:window->preference->Java->installed JREs->Edit
这样一来在eclipse中的java程序的栈就满足要求了,但是对于hadoop的分布式节点,还是栈溢出stackoverflow.
在各个节点hadoop的配置文件mapred-site.xml中添加配置:
启动hadoop任务但是问题依然存在。!!!
问题一直没有解决,今天又用Google搜索了一下,发现搜索结果的质量很高!
Hadoop中的配置子节点JVM的最大小和栈大小(-Xss):
http://qnalist.com/questions/356267/setting-thread-stack-size-for-child-jvm
(You could add "-Xss" to the "mapred.child.java.opts" configuration setting.
That's controlling the Java stack size, which I think is the relevant bit for you.)
不知道为什么直接在hadoop配置文件中修改没有生效,在eclipse程序中添加如下代码:
这样就生效了,分布式执行成功。^.^
搜索中的经验:将hadoop和JVM栈 合起来搜索, 直接搜索关键字STACKSIZE
- 把握大方向,把有关的问题分开搜索,了解基础知识
- 把有关问题合起来搜索,这样答案更接近自己的问题
- 在已经获得相关知识后,猜测只要出现问题答案,其中必然会(或可能会)包含的关键词,进行关键词猜测式搜索
其他待学习的文档:
JVM内存配置详解:http://www.open-open.com/lib/view/open1324736648468.html
JVM参数在不同应用场景中的设置:http://blog.sina.com.cn/s/blog_707577700100vy4m.html
JVM启动参数设置:http://blog.sina.com.cn/s/blog_594058420100efss.html
eclipse中和windows中设置JVM栈大小的方法:http://blog.sina.com.cn/s/blog_6dda602101015j83.html
程序测试JVM的堆和栈:http://www.iteye.com/problems/72713
TOMCAT中配置JVM参数:http://bbs.csdn.net/topics/340266541
优化相关:
hadoop相关配置:http://blog.csdn.net/fenglibing/article/details/31051225
hadoopJVM堆大小设置优化 http://charlie072.blog.51cto.com/1334034/1414407
hadoop 配置项的调优 http://blog.sina.com.cn/s/blog_6a67b5c50100vop9.html
Hadoop MapReduce之任务启动(child JVM启动)http://blog.csdn.net/lihm0_1/article/details/14452885 (代码分析)
hadoop java配置:http://shift-alt-ctrl.iteye.com/blog/2098782
hadoop参数配置性能优化:http://jerrylead.iteye.com/blog/1195335 (JVM重用,同时开启多个JVM,reuse)
hadoop java VM 参数设置 默认native栈大小设置的更多相关文章
- jboss启动时java VM参数设置
jboss服务器中jvm参数的设置: 在$JBOSS_HOME/bin下的run.sh里面存在这么一个设置: # Force IPv4 on Linux systems since IPv6 does ...
- -Xbootclasspath参数、java -jar参数运行应用时classpath的设置方法
当用java -jar yourJarExe.jar来运行一个经过打包的应用程序的时候,你会发现如何设置-classpath参数应用程序都找不到相应的第三方类,报ClassNotFound错误.实际上 ...
- Java JPA设置默认值、Timestamp设置、自动获取时间
设置默认值 @Column(name="state",columnDefinition="tinyint default 0") private Integer ...
- Linux 默认线程栈大小 调优
Linux 线程栈介绍 栈,就是那些由编译器在需要的时候分配,在不需要的时候自动清除的变量的存储区.里面的变量通常是局部变量.函数参数等:和堆相比,栈通常很小. Linux 查询线程栈 1.查看默认的 ...
- 设置Acad2008默认启动 win10设置默认cad2008启动 调试设置.
Windows Registry Editor Version 5.00 [HKEY_CLASSES_ROOT\AutoCAD.Drawing.17\shell\open\command]@=&quo ...
- MindManager 设置默认Note字体大小
工具栏 Design > Notes Theme > Default Font
- html5移动端页面分辨率设置及相应字体大小设置的靠谱使用方式
对于html5移动端网页编写CSS网上有很多介绍的文章,但在实际使用过程中还是会纠结. 网上的资料太多,且大多都是技术介绍型,特别是针对android上,网上写的各种麻烦,各种复杂,各种不接地气儿.. ...
- java函数参数默认值
java函数参数默认值 今天,需要设定java函数参数的默认值,发现按照其它语言中的方法行不通 java中似乎只能通过函数的重载来实现 函数参数默认代码
- Tomcat设置默认启动项目及Java Web工程设置默认启动页面
Tomcat设置默认启动项目 Tomcat设置默认启动项目,顾名思义,就是让可以在浏览器的地址栏中输入ip:8080,就能访问到我们的项目.具体操作如下: 1.打开tomcat的安装根目录,找到Tom ...
随机推荐
- easyui-dialog打开之后append("标签")标签存在但是显示不出来
初始化dialog $("#upDiv").dialog("open");//初始化dialog弹出窗口 注意: 1: append("标签&quo ...
- pyecharts v1 版本 学习笔记 折线图,面积图
折线图 折线图 基本demo import pyecharts.options as opts from pyecharts.charts import Line c = ( Line() .add_ ...
- pyecharts 开发文档
pyechart 新 版本 https://pyecharts.org/#/zh-cn/quickstart pyecharts 老版本 https://05x-docs.pyecharts.org/ ...
- java+上传文件夹
最近在学习百度的开源上传组件WebUploader,写了一些示例以记录.WebUploader的缺点是没有一个比较好的现成的界面,这个界面需要自己去实现.自由度高了一些. WebUploader是由B ...
- [Luogu] 产生数
题面:https://www.luogu.org/problemnew/show/P1037 题解:https://www.zybuluo.com/wsndy-xx/note/1145473
- 网络1911、1912 C语言第4次作业--函数批改总结
目录 网络1911.1912 C语言第4次作业--函数批改总结 一.评分规则 二.本次作业亮点 三.本次作业存在的问题 四.助教有话说 五.得分详情 网络1911.1912 C语言第4次作业--函数批 ...
- iOS Jenkins 自动化打包构建
前言 在测试app项目过程中,通常都是需要开发打测试包给到测试,但是无论是iOS还是Android的打包过程都是相当漫长的,频繁的回归测试需要频繁的打包,对于开发同学影响还是蛮大的.因此在这种情况下, ...
- 2Dot grammar
http://www.cnblogs.com/mjios/archive/2013/04/08/3006577.html . #import <Foundation/Foundation.h&g ...
- 一个 TCP 连接可以发多少个 HTTP 请求
第一个问题 第二个问题 第三个问题 第四个问题 第五个问题 曾经有这么一道面试题:从 URL 在浏览器被被输入到页面展现的过程中发生了什么? 相信大多数准备过的同学都能回答出来,但是如果继续问:收到的 ...
- Mybatis 传入多个参数查询数据 (3种方法)
第一种方案 DAO层的函数方法 public User selectUser(String name,String area); 对应的Mapper.xml <select id="s ...