Hadoop学习之配置Eclipse远程调试Hadoop
构建完毕Hadoop项目后,接下来就应该跟踪Hadoop的运行情况,比方在命令行运行hadoop namenode–format时运行了Hadoop的那些代码。当然也能够直接通过阅读源码的方式来做到这一点,但跟踪代码的运行情况更加直观,更easy理解。
动手配置Eclipse调试Hadoop之前,先大概学习一下JPDA(Java Platform Debugger Architecture,Java平台调试结构)。JPDA是一个多层的调试架构,使工具开发人员能够easy地创建跨平台的,跨VM实现和JDK版本号的调试器。JPDA包括三层:
- JVM TI:Java VM ToolInterface,定义了VM提供的调试服务。
- JDWP:Java DebugWire Protocol,定义了调试器进程和debuggee之间的通讯。Debuggee是正在被调试的进程,包括正在被调试的应用程序,执行该应用 程序的VM和后端的调试器。
- JDI:Java DebugInterface,定义了高层次的Java接口,该接口同意工具开发人员easy地编写远程调试器应用程序。
JPDA的结构图例如以下所看到的:
在简介了JPDA的基本信息后(很粗浅,更深入的学习能够參考Java的官方文档,地址为http://docs.oracle.com/javase/8/docs/technotes/guides/jpda/architecture.html#debuggee),以下就要看看该怎样使用JPDA进行程序的调试。
VM的实现须要命令行选项载入JDWP代理用于调试。从5.0開始,-agentlib:jdwp选项用于载入JDWP代理和指定JDWP代理的选项,5.0之前的版本号使用-Xdebug和-Xrunjdwp选项(5.0版本号也支持-Xdebug和-Xrunjdwp选项)。假设目标虚拟机是5.0或者更新的版本号,-agentlib:jdwp的使用方式为:-agentlib:jdwp=<sub-options>,5.0版本号之前的使用方式为:-Xdebug(启用调试)
-Xrunjdwp:<sub-options>。<sub-options>能够进一步指定,格式为:-agentlib:jdwp=<name1>[=<value1>],<name2>[=<value2>]...和 -Xrunjdwp:<name1>[=<value1>],<name2>[=<value2>]...。当中的name能够为例如以下:help、transport、server、address、timeout、launch、onthrow、onuncaught、suspend。当中经常使用的几个为transport、server、address和suspend,transport是指调试器和被调试的VM之间的通信方法,其值能够为dt_socket和dt_shmem;server的值为y或者n,默认值为n,当值为y时,监听调试器程序的连接,否则在address指定的地址上连接调试器;address指定了连接的地址,假设server=y,则在该地址上监听连接,若server=n,则在该地址上连接调试器;suspend的值为y或者n,假设值为y则表示JVM在调试器连接到它之前都会处于暂停状态(更具体的内容能够參考官网文档http://docs.oracle.com/javase/7/docs/technotes/guides/jpda/conninv.html)。以下看几个样例:
-Xdebug -Xrunjdwp:transport= dt_socket,address=1044,server=y,suspend=n
-agentlib:jdwp=transport=dt_socket,server=y,address=8000
-agentlib:jdwp=transport=dt_socket,address=myhost:8000
在学习了JPDA后,接下来就要配置Eclipse调试Hadoop。打开HADOOP_HOME/bin下的hadoop脚本,找到例如以下的代码:
elif [ "$COMMAND" = "namenode" ] ; then
CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS "
将其改为:
elif [ "$COMMAND" = "namenode" ] ; then
CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS -agentlib:jdwp=transport=dt_socket,server=y,address=6601,suspend=y"
新加入代码的意思为启用Java 调试器,并在port6601上监听。做完上述的改动后再打开Eclipse,点击Run菜单下的Debug Configurations子菜单,例如以下图所看到的:
先选择Remote Java Application,然后点击上面的New launch configurationbutton,出现下图所看到的的对话框,在右側分别输入对应的信息,比方主机名称和port号,port与上面改动hadoop文件时address指定的值保持一致。
做完上述的配置后,在命令上运行hadoop命令,比方hadoopnamenode –format,命令行的输出显示正在port6601上监听:
[hadoop@hadoop conf]$ hadoop namenode -format
Listening for transport dt_socket at address: 6601 [hadoop@hadoop bin]$ start-all.sh
starting namenode, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-namenode-hadoop.out
Listening for transport dt_socket at address: 6601
点击上图右下側的Debugbutton,開始调试Hadoop,调试的情况例如以下图所看到的,能够设置断点跟踪代码的运行情况。
上面所讲的仅仅是怎样调试NameNode,DataNode的调试与此类似,不再赘述,而MapReduce作业的调试还有待进一步的研究。
Hadoop学习之配置Eclipse远程调试Hadoop的更多相关文章
- eclipse远程调试Hadoop
环境需求: 系统:window 10 eclipse版本:Mars Hadoop版本:2.6.0 资源需求:解压后的Hadoop-2.6.0,原压缩包自行下载:下载地址 丑话前头说: 以下的操作中,e ...
- 《Hadoop学习之路》学习实践二——配置idea远程调试hadoop
背景:在上篇文章中按照大神“扎心了老铁”的博客,在服务器上搭建了hadoop的伪分布式环境.大神的博客上是使用eclipse来调试,但是我入门以来一直用的是idea,eclipse已经不习惯,于是便摸 ...
- Hadoop学习记录(7)|Eclipse远程调试Hadoop
1.创建Hadoop项目 2.创建包.类 这里使用hdfs.WordCount为例 3.编写自定Mapper和Reducer程序 MyMapper类 static class MyMapper ext ...
- Eclipse远程调试hadoop源码
1. 修改对应调试端口 之前的一篇blog里讲述了hadoop单机版调试的方法,那种调试只限于单机运行hadoop命令而已,对于运行整个hadoop环境而言是不可取的,因为hadoop会开启多个jav ...
- IDEA远程调试hadoop程序
远程调试Hadoop各组件 Hadoop学习之配置Eclipse远程调试Hadoop IDEA远程调试hadoop Hadoop 研发之远程调试详细剖析--WordCount V2.0 eclipse ...
- Eclipse远程调试HDP源代码
使用的是自己编译的HDP2.3.0的源代码编译的集群,此文介绍如何使用Eclipse远程调试Hadoop内核源代码,以调试namenode为例进行介绍. 在/usr/hdp/2.3.0.0-2557/ ...
- Linux下使用Eclipse 远程调试
1 开启端口 修改/apache-tomcat-7.0.40/bin/catalina.sh 在合适的位置(请自行判断,只要有JAVA_OPTS的设定前后即可)插入下面的设定:UI_DEBUG=&qu ...
- eclipse/intellij idea 远程调试hadoop 2.6.0
很多hadoop初学者估计都我一样,由于没有足够的机器资源,只能在虚拟机里弄一个linux安装hadoop的伪分布,然后在host机上win7里使用eclipse或Intellj idea来写代码测试 ...
- 使用Windows上Eclipse远程调试Linux上的Hadoop
一.设置Eclipse运行用户 如果以与Hadoop运行用户名(比如grid)不同的用户运行Eclipse,则无法对Hadoop运行用户所属的文件进行管理,运行Map/Reduce程序也会报& ...
随机推荐
- POJ 1984 Navigation Nightmare (数据结构-并检查集合)
Navigation Nightmare Time Limit: 2000MS Memory Limit: 30000K Total Submissions: 4072 Accepted: 1 ...
- RH133读书 笔记(3) - Lab 3 Configuring the kernel
Lab 3 Configuring the kernel Goal: Develop skills tuning the /proc filesystem. Gain some experience ...
- MINA2 源代码学习--源代码结构梳理
一.mina总体框架与案例: 1.总体结构图: 简述:以上是一张来自网上比較经典的图,总体上揭示了mina的结构,当中IoService包括clientIoConnector和服务端IoAccepto ...
- MVC 01
ASP.NET MVC 01 - ASP.NET概述 本篇目录: ASP.NET 概述 .NET Framework 与 ASP.NET ASP.NET MVC简介 ASP.NET的特色和优势 典型案 ...
- 多快好省的做个app开发
从技术经理的角度算一算,如何可以多快好省的做个app [导读]前端时间,一篇“从产品经理的角度算一算,做个app需要多少钱”的文章在网上疯传,可见大家对互联网创业的热情!这次,从一名技术经理的角度再给 ...
- HDU 3832 Earth Hour(最短路)
题目地址:HDU 3832 这个题的这种方法我无法给出证明. 我当时这个灵感出来的时候是想的是要想覆盖的点最少,那就要尽量反复利用这些点,然后要有两个之间是通过还有一个点间接连接的,这样会充分利用那些 ...
- Androida规划nt打包
1.准备工作 (1)首先安装好ant工具 (2)生成keystore 在jdk的bin文件夹下 输入 keytool -genkey -alias android.keystore -keyalg R ...
- UVa 10190 - Divide, But Not Quite Conquer!
称号:给你第一个任期的等比数列和倒数公比,最后一个条目假定1这一系列的输出,否则输出Boring!. 分析:数学.递减的.所以公比的倒数一定要大于1.即m > 1. 然后在附加一个条件n &g ...
- 工厂模式IDAL具体解释
IDAL 一. IDAL主要功能: 1.这全然是"工厂模式"的一部分实现而已 2.这是一组接口类,当中包含了每一个要公开的数据訪问方法.为每一个数据库产品单独编写的DAL(数据訪问 ...
- 跨境移动互联网的魅力演绎,hao123无论成就下一个条目?
使用"热"为了描述的情况在目前的移动互联网不夸张,背景下,越来越多的企业试图染指这一新兴领域.只是,巴菲特有句名言------"仅仅有退潮了,才知道谁在裸泳&qu ...