到目前为止,基于RDD的spark streamming实时应用和离线应用(主要解析日志)已经写了一些,但是对spark的了解还是很少,所以决心花点精力,对spark做一些比较深入的了解和学习.参照之前hbase的学习经验,感觉除了看一些文章之外,搭建调试环境,碰到问题通过源码去了解细节,对于学习开源产品有着非常重要的作用.所以决定先把spark的本地调试环境搭建起来. 依赖: JDK,maven,scala, IDEA 1, 下载spark源码,并且编译 到github的的spark主页上下载…