Spark IDEA 调试(反编译)

1）以WordCount为例，具体代码如下：

 import org.apache.spark.SparkConf
 import org.apache.spark.SparkContext;
 import org.apache.spark.SparkContext._
 /**
   * Created by hfz on 2016/4/21.
   */
 object test2 {
   def main (args: Array[String]){
     var conf=new SparkConf().setAppName("WordCount").setMaster("local");
     var sc=new SparkContext(conf);
     var rdd=sc.textFile("data/README.md");
     rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_);
     rdd.collect();
 
   }
 
 }

如果我们希望深入到sc.textFile()内部搞清楚都做了什么操作，如果是Java的话，我们直接CTRL+B，IDEA就自动把jar包中的字节码反编译为Java源码，并且，我们可以直接下个断点调试程序，但是对于Scala，IDEA的反编译效果并不是很好，如下图所示：

2）提示“Source not found”，我们在看textFile()方法，只可以看到方法的参数列表，方法体的内容却看不到，只能看到“compiled code”也就是“编译后的代码”。解决方法如下：

a.下载Spark1.4源码

b.然后点击右上角的“Attach Source”，添加源码，如下所示：

添加路径是“spark1.4.0/core/src/main/scala/org”，然后点击OK确定。“Attching”完成之后，我们就可以看到textFile()的方法体了，并且可以像之前调试hadoop一样，在这个方法下断点，运行程序的时候，会在这里命中断点，如下所示(这里只是加了个断点，没有调试)：