构建完毕Hadoop项目后,接下来就应该跟踪Hadoop的运行情况,比方在命令行运行hadoop namenode–format时运行了Hadoop的那些代码.当然也能够直接通过阅读源码的方式来做到这一点,但跟踪代码的运行情况更加直观,更easy理解. 动手配置Eclipse调试Hadoop之前,先大概学习一下JPDA(Java Platform Debugger Architecture,Java平台调试结构).JPDA是一个多层的调试架构,使工具开发人员能够easy地创建跨平台的,跨VM实现…

环境需求: 系统:window 10 eclipse版本:Mars Hadoop版本:2.6.0 资源需求:解压后的Hadoop-2.6.0,原压缩包自行下载:下载地址 丑话前头说: 以下的操作中,eclipse的启动均需要右键“管理员运行”! 在创建MapReduce的Project那块需要配置log4j(级别是debug),否则打印不出一些调试的信息,从而不好找出错的原因.配置这个log4j很简单,大家可以在网上搜索一下,应该可以找得到相关的配置. 1)首先需要利用ant编译自己的Hadoo…

背景:在上篇文章中按照大神“扎心了老铁”的博客,在服务器上搭建了hadoop的伪分布式环境.大神的博客上是使用eclipse来调试,但是我入门以来一直用的是idea,eclipse已经不习惯,于是便摸索着配置了idea远程调试hadoop的环境. 步骤一: 下载与服务器上的hadoop同版本的hadoop安装包,我下载的是hadoop-2.7.7.tar.gz,下载后解压到某个目录,比如D:\Software\hadoop-2.7.7,不需要其他配置和安装 步骤二: 下载hadooop.dll和…

1.创建Hadoop项目 2.创建包.类 这里使用hdfs.WordCount为例 3.编写自定Mapper和Reducer程序 MyMapper类 static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> { @Override protected void map(LongWritable k1, Text v1, Context context) throws IOException, Int…

1. 修改对应调试端口 之前的一篇blog里讲述了hadoop单机版调试的方法,那种调试只限于单机运行hadoop命令而已,对于运行整个hadoop环境而言是不可取的,因为hadoop会开启多个java进程,如果统一为一个端口启动,则启动会报错说端口被占用,同时对于jdwp agent而言也只能加载一次,故调试时单机只能有一个java进程开启debug模式,其实这个也足够了. 通过分析hadoop的启动脚本不难发现,每个java进程的启动参数可以在hadoop-env.sh这个文件里传递进去,故…

远程调试Hadoop各组件 Hadoop学习之配置Eclipse远程调试Hadoop IDEA远程调试hadoop Hadoop 研发之远程调试详细剖析--WordCount V2.0 eclipse/intellij idea 远程调试hadoop 2.6.0 问在宿主机如何访问docker中hadoop的hdfs:ip:9000啊, 端口映射出来啊…

使用的是自己编译的HDP2.3.0的源代码编译的集群,此文介绍如何使用Eclipse远程调试Hadoop内核源代码,以调试namenode为例进行介绍. 在/usr/hdp/2.3.0.0-2557/hadoop-hdfs/bin/hdfs.distro 目录下,添加如下内容,这个内容是让namenode在启动的时候,打开调试模式: 图片中的代码是(不要写错了): HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,ad…

1 开启端口 修改/apache-tomcat-7.0.40/bin/catalina.sh 在合适的位置(请自行判断,只要有JAVA_OPTS的设定前后即可)插入下面的设定:UI_DEBUG="-server -Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address="CATALINA_OPTS="$CATALINA_OPTS $UI_DEB…

很多hadoop初学者估计都我一样,由于没有足够的机器资源,只能在虚拟机里弄一个linux安装hadoop的伪分布,然后在host机上win7里使用eclipse或Intellj idea来写代码测试,那么问题来了,win7下的eclipse或intellij idea如何远程提交map/reduce任务到远程hadoop,并断点调试? 一.准备工作 1.1 在win7中,找一个目录,解压hadoop-2.6.0,本文中是D:\yangjm\Code\study\hadoop\hadoop-2.…

一.设置Eclipse运行用户     如果以与Hadoop运行用户名(比如grid)不同的用户运行Eclipse,则无法对Hadoop运行用户所属的文件进行管理,运行Map/Reduce程序也会报"org.apache.hadoop.security.AccessControlException:Permission denied"错误.   1.新建Windows用户grid,密码是grid 在Powershell中运行: #Windows命令提示符下创建用户,并设置密码永不过期…

远程调试对应用程序开发十分有用.例如,为不能托管开发平台的低端机器开发程序,或在专用的机器上(比如服务不能中断的 Web 服务器)调试程序.其他情况包括:运行在内存小或 CUP 性能低的设备上的 Java 应用程序(比如移动设备),或者开发人员想要将应用程序和开发环境分开,等等. 为了进行远程调试,必须使用 Java Virtual Machine (JVM) V5.0 或更新版本. JPDA 简介 Sun Microsystem 的 Java Platform Debugger Archite…

文章概览: 1.前言 2.Eclipse查看远程hadoop集群文件 3.Eclipse提交远程hadoop集群任务 4.小结   1 前言 Hadoop高可用品台搭建完备后,参见<Hadoop高可用平台搭建>,下一步是在集群上跑任务,本文主要讲述Eclipse远程提交hadoop集群任务. 2 Eclipse查看远程hadoop集群文件 2.1 编译hadoop eclipse 插件 Hadoop集群文件查看可以通过webUI或hadoop Cmd,为了在Eclipse上方便增删改查集群文件…

Windows下面调试程序比在Linux下面调试方便一些,于是用Windows下的Eclipse远程连接Hadoop. 1. 下载相应版本的hadoop-eclipse-plugin插件,复制到eclipse的plugins目录下面,再次启动Eclipse. 2. 解压hadoop的.tar.gz文件,并设置环境变量HADOOP_HOME和Path.     3. 在Eclipse下面的Windows->Preferences下面找到Hadoop Map/Reduce,设置Hadoop inst…

远程调试对应用程序开发十分有用,那如何调试Hadoop源码?这里介绍如何用IDE远程调试Hadoop源码.本文以IntelliJ IDEA作为IDE,以调试Jobhistory WEB UI代码为例进行说明. 第一步:在启动Hadoop历史服务器进程之前在终端加入以下环境配置: [wyp@date52 /home/wyp/hadoop]$ export HADOOP_OPTS="-Xdebug \ -Xrunjdwp:transport=dt_socket,server=y,suspend=y,…

转载请注明出处,谢谢 2017-10-22 17:14:09  之前都是用python开发maprduce程序的,今天试了在windows下通过eclipse java开发,在开发前先搭建开发环境.在此,总结这个过程,希望能够帮助有需要的朋友. 用Hadoop eclipse plugin,可以浏览管理HDFS,自动创建MR程序的模板文件,最爽的就是可以直接Run on hadoop. 1.安装插件 下载hadoop-eclipse-plugin-1.2.1.jar,并把它放到 F:\eclip…

前提:远程服务器上运行的WEB项目class对应的源码与本地项目中必须保持一致,也就是远程tomcat部署的项目就是本机项目打包过去的,而本机项目没有发生变动. 远程服务器端 服务器端配置eclipse调试器监听端口,有两种方式,任选其一 第一种方式: 环境变量 export JPDA_ADDRESS=9999 启动tomcat 使用sh catalina.sh jpda start启动 注意:不要用startup.sh 通过这条命令启动tomcat,会监听JPDA_ADDRESS设置的端口,等…

欢迎关注我的社交账号: 博客园地址: http://www.cnblogs.com/jiangxinnju/p/4781259.html GitHub地址: https://github.com/jiangxincode 知乎地址: https://www.zhihu.com/people/jiangxinnju 工作中经常需要使用Eclipse远程连接Tomcat,调试Web应用程序,关于如何进行远程调试,本文不再赘述,可以参考下面的文章: eclipse远程调试Tomcat方法:http:/…

该调试不支持hessian 接口调用 1.配置远程jetty 服务器的 bin/jetty.sh JAVA_OPTIONS+=("-Xdebug -Xrunjdwp:server=y,transport=dt_socket,address=10000,suspend=n") 2.配置eclipse 远程Debug…

业务场景: 应业务新需求的UAT测试,需要部署一份新tomcat到测试环境.新环境正常启动并运行了一天,没太大差错.但今天发现原本在另一个老的tomcat下运行的好好的FTP上传文件模块突然出了问题.根据log缩小排查范围,几乎可以确定是FTP上传除了问题. 新旧两个环境所在同一个服务器,tomcat的版本也都相同.根据log缩小排查范围,几乎可以确定是FTP上传除了问题.后又在本地(win10)下模拟了出问题的代码片段,结果是可以上传的.但这个又不太可能是FTP上传模块内部的逻辑错误,毕竟久经…

配置weblogic远程调试之前,需要做这几个工作:      1) 安装weblogic服务器,然后创建一个域:     2) 安装eclipse集成IDE:     3) eclipse中包含发布的工程. 在上面几个工作完成之后,配置weblogic远程调试需要这么几个步骤: 第一步,修改weblogic根目录下user_projects\domains\域名\bin\setDomainEnv.cmd文件: 找到一下内容: if "%debugFlag%"=="true&…

Eclipse远程调试Java代码的三种方法, 第1种方法是用来调试已经启动的Java程序,Eclipse可以随时连接到远程Java程序进行调试, 第2种方法可以调试Java程序启动过程,但是Eclipse不能随时连接到远程Java程序进行调试, 第3种方法可以同时具备上面两种的优点,在调试Java程序启动过程后, 即使断开后Eclipse还是可以随时连接到远程Java程序进行调试. 在实际使用过程,一般使用第1种调试方法, 在需要调试Java程序启动过程的时候,才会使用第3种方法, 第3种和第…

1.Linux服务器中在Tomcat的catalina.sh文件添加如下内容: CATALINA_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=n"(不要换行,要在同一行) 参数说明: -Xdebug                              : 启用调试模式 -Xrunjdwp<sub-options>  : 加载JVM的JPDA参考实现库 transpo…

近期准备開始学习Hadoop1.2.1的源码,感觉最好的方法还是能够在运行Hadoop及hadoop作业时跟踪调试代码的实际运行情况.因为选择的IDE为eclipse,所以准备编译一下hadoop的eclipse插件,以下就直接进入正题.Hadoop的eclipse插件源码位于hadoop-1.2.1/src/contrib/eclipse-plugin/中,直接进入该文件夹,在不做不论什么改动的情况下,在命令行输入ant,运行效果例如以下: [hadoop@hadoop eclipse-plu…

在VMware虚拟机下搭建了hadoop集群,ubuntu-12.04,一台master,三台slave.hadoop-0.20.2版本.在 master机器上利用eclipse-3.3连接hadoop并运行mapreduce实例可以成功.但是当在windows下eclipse-3.3 远程连接hadoop,DFS locations可以连接上,但运行mapreduce实例时报错,如下: 13/07/02 13:37:04 WARN conf.Configuration: DEPRECATED:…

确认你的工程在weblogic中跑的起来,然后再结合eclipse debug配置+java debug运行模式搞个调试. 工程能跑起来没问题后,先在eclipse中,点击debug图标 然后点击Debug Configurations修改 接下来修改weblogic服务器启动脚本, 我的启动脚本存放地址:C:\Oracle\user_projects\domains\base_domain\bin\startWebLogic.cmd 在startWeblogic.cmd脚本追加一段java远程…

1.在github上搜索下载winutils.exe相关的一套文件,下载对应hadoop的版本. 2.将所有文件复制到hadoop的bin目录下 3.将hadoop.dll复制到windows\system32目录下 4.添加环境变量HADOOP_HOME指向hadoop目录 5.将%HADOOP_HOME%\bin加入到path里面 完成上述步骤后,可以在windows环境调试hadoop,也可以本地调试远程节点,可以把本地文件上传到远程hadoop节点上.…

按照http://tydldd.iteye.com/blog/2007938配置单机模式 主要是 (1)配置hadoop-env.sh,指定jdk的安装路径 添加jdk路径 # The java implementation to use.  Required. export JAVA_HOME=/home/ruge/soft/jdk1.7.0_45 (2)修改hadoop的核心配置文件core-site.xml,配置namenode的地址和端口 <configuration> <pro…

使用环境:centos6.5+eclipse(4.4.2)+hadoop2.7.0 1.下载eclipse hadoop 插件  hadoop-eclipse-plugin-2.7.0.jar 粘贴到eclipse 目录下的plugins下重新启动eclipse 2.选择eclipse里面的windows-->showview-->other-->mapreduce tool -->map/reduce locations 3.选择上一步后eclipse右下角会多出一个map/re…

Eclipse 中的远程调试特性 Eclipse 是一个图形化 Java 调试器前端.JDI 在 org.eclipse.jdt.debug 包中实现.本文不详细讨论 JDI 实现.参见 参考资料 获得关于 Eclipse JDT 和 Java JDI 技术的信息. 我们首先应该知道要使用哪个 Eclipse 连接器.要了解 Eclipse 提供的远程连接类型,您可以转到 Eclipse 菜单并选择 Run > Debug Configurations...,在 Remote Java Appl…

tomcat远程调试: 1.Linux中配置tomcat在catalina.sh中添加如下CATALINA_OPTS="-Xdebug  -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=n"(不要换行,要在同一行) 2.Window中修改 catalina,bat文件,添加: Set  "CATALINA_OPTS=-Xdebug  -Xrunjdwp:transport=dt_socket,addres…