我们在编写Spark Application或者是阅读源码的时候,我们很想知道代码的运行情况,比如参数设置的是否正确等等.用Logging方式来调试是一个可以选择的方式,但是,logging方式调试代码有很多的局限和不便.今天我就来介绍如何通过IDE来远程调试Spark的Application或者是Spark的源码. 本文以调试Spark Application为例进行说明,本文用到的IDE是Eclipse.步骤如下: 一.JVM里面设置以下参数 -Xdebug -Xrunjdwp:transp…

Eclipse远程调试Java代码的三种方法, 第1种方法是用来调试已经启动的Java程序,Eclipse可以随时连接到远程Java程序进行调试, 第2种方法可以调试Java程序启动过程,但是Eclipse不能随时连接到远程Java程序进行调试, 第3种方法可以同时具备上面两种的优点,在调试Java程序启动过程后, 即使断开后Eclipse还是可以随时连接到远程Java程序进行调试. 在实际使用过程,一般使用第1种调试方法, 在需要调试Java程序启动过程的时候,才会使用第3种方法, 第3种和第…

使用的是自己编译的HDP2.3.0的源代码编译的集群,此文介绍如何使用Eclipse远程调试Hadoop内核源代码,以调试namenode为例进行介绍. 在/usr/hdp/2.3.0.0-2557/hadoop-hdfs/bin/hdfs.distro 目录下,添加如下内容,这个内容是让namenode在启动的时候,打开调试模式: 图片中的代码是(不要写错了): HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,ad…

业务场景: 应业务新需求的UAT测试,需要部署一份新tomcat到测试环境.新环境正常启动并运行了一天,没太大差错.但今天发现原本在另一个老的tomcat下运行的好好的FTP上传文件模块突然出了问题.根据log缩小排查范围,几乎可以确定是FTP上传除了问题. 新旧两个环境所在同一个服务器,tomcat的版本也都相同.根据log缩小排查范围,几乎可以确定是FTP上传除了问题.后又在本地(win10)下模拟了出问题的代码片段,结果是可以上传的.但这个又不太可能是FTP上传模块内部的逻辑错误,毕竟久经…

1.Linux服务器中在Tomcat的catalina.sh文件添加如下内容: CATALINA_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=n"(不要换行,要在同一行) 参数说明: -Xdebug                              : 启用调试模式 -Xrunjdwp<sub-options>  : 加载JVM的JPDA参考实现库 transpo…

1 开启端口 修改/apache-tomcat-7.0.40/bin/catalina.sh 在合适的位置(请自行判断,只要有JAVA_OPTS的设定前后即可)插入下面的设定:UI_DEBUG="-server -Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address="CATALINA_OPTS="$CATALINA_OPTS $UI_DEB…

环境需求: 系统:window 10 eclipse版本:Mars Hadoop版本:2.6.0 资源需求:解压后的Hadoop-2.6.0,原压缩包自行下载:下载地址 丑话前头说: 以下的操作中,eclipse的启动均需要右键“管理员运行”! 在创建MapReduce的Project那块需要配置log4j(级别是debug),否则打印不出一些调试的信息,从而不好找出错的原因.配置这个log4j很简单,大家可以在网上搜索一下,应该可以找得到相关的配置. 1)首先需要利用ant编译自己的Hadoo…

前提:远程服务器上运行的WEB项目class对应的源码与本地项目中必须保持一致,也就是远程tomcat部署的项目就是本机项目打包过去的,而本机项目没有发生变动. 远程服务器端 服务器端配置eclipse调试器监听端口,有两种方式,任选其一 第一种方式: 环境变量 export JPDA_ADDRESS=9999 启动tomcat 使用sh catalina.sh jpda start启动 注意:不要用startup.sh 通过这条命令启动tomcat,会监听JPDA_ADDRESS设置的端口,等…

欢迎关注我的社交账号: 博客园地址: http://www.cnblogs.com/jiangxinnju/p/4781259.html GitHub地址: https://github.com/jiangxincode 知乎地址: https://www.zhihu.com/people/jiangxinnju 工作中经常需要使用Eclipse远程连接Tomcat,调试Web应用程序,关于如何进行远程调试,本文不再赘述,可以参考下面的文章: eclipse远程调试Tomcat方法:http:/…

 Pycharm是很多人在学习机器学习时的常用IDE.但是,当代码需要庞大计算资源的时候,我们往往需要借助远程服务器的GPU资源.很多人都是将代码拷贝到服务器,然后运行,但是当修改调试的时候,很不方便.Pycharm自身就带有远程代码调试功能,可以方便的实现像本地一样远程调试服务器端的代码.具体操作如下: 1.先用Pycharm打开项目,然后如图所示: 2.左上角点击File,找到Setting: 3.找到Project,点击:找到Project Interpreter,点击: 4.这时显示上图…