到目前为止,基于RDD的spark streamming实时应用和离线应用(主要解析日志)已经写了一些,但是对spark的了解还是很少,所以决心花点精力,对spark做一些比较深入的了解和学习.参照之前hbase的学习经验,感觉除了看一些文章之外,搭建调试环境,碰到问题通过源码去了解细节,对于学习开源产品有着非常重要的作用.所以决定先把spark的本地调试环境搭建起来. 依赖: JDK,maven,scala, IDEA 1, 下载spark源码,并且编译 到github的的spark主页上下载…

为了既能远程连接spark  查看ui  又能本地练习  安装简单 去官网  http://spark.apache.org/downloads.html  选择对应版本下载 tar包 解压 tar -zxvf  spark-2.2.0-bin-hadoop2.6.tgz sbin/start-master.sh  启动master sbin/start-slave.sh   启动slave 正常启动了    在Web-Ui中查看  http://ip地址:8080/ 启动spark-shell…

http://blog.csdn.net/shenlanzifa/article/details/42679577 http://alvinalexander.com/java/jwarehouse/scala-2.11/library/scala/annotation/implicitNotFound.scala.shtml…

spark JAVA 开发环境搭建及远程调试 以后要在项目中使用Spark 用户昵称文本做一下聚类分析,找出一些违规的昵称信息.以前折腾过Hadoop,于是看了下Spark官网的文档以及 github 上 官方提供的examples,看完了之后决定动手跑一个文本聚类的demo,于是有了下文. 1. 环境介绍 本地开发环境是:IDEA2018.JDK8.windows 10.远程服务器 Ubuntu 16.04.3 LTS上安装了spark-2.3.1-bin-hadoop2.7 看spark官网…

参考:http://dataknocker.github.io/2014/11/12/idea%E4%B8%8Adebug-spark-standalone/ 转载请注明来自:http://www.cnblogs.com/yuananyun/p/4265706.html 研究Spark源码也有一段时间了,一直都是直接看代码,没有调试.虽然带着思路去看源代码已经能够帮助我们去了解Spark了:但是很多细节从字面上是看不出来的,如果我能够通过运行时调试验证我的想法,或者能够查看某个类中变量和结构在运…

本人的开发环境: 1.虚拟机centos 6.5 2.jdk 1.8 3.spark2.2.0 4.scala 2.11.8 5.maven 3.5.2     在开发和搭环境时必须注意版本兼容的问题,不然会出现很多莫名其妙的问题   1.启动master进程 ./sbin/start-master.sh   2.启动worker进程 ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://hadoop000:7077 [注…

http://qindongliang.iteye.com/blog/2212619 先来看下hue的架构图:  (1)Hue是什么? Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口. (2)Hue能干什么? 1,访问HDFS和文件浏览 2,通过web调试和开发hive以及数据结果展示 3,查询solr和结果展示,报表生成 4,通过web调试和开发impala交互式SQL Query 5,spark调试和开发 6,Pig开发和调试 7,oozie任务的开…

Oozie是什么? Oozie是一种Java Web应用程序,它运行在Java servlet容器——即Tomcat——中,并使用数据库来存储以下内容: 工作流定义 当前运行的工作流实例,包括实例的状态和变量 Hue是什么? Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口. Hue能干什么? 1,访问HDFS和文件浏览 2,通过web调试和开发hive以及数据结果展示 3,查询solr和结果展示,报表生成 4,通过web调试和开发impala交互式SQL…

Oozie是什么? Oozie是一种Java Web应用程序,它运行在Java servlet容器--即Tomcat--中,并使用数据库来存储以下内容: 工作流定义 当前运行的工作流实例,包括实例的状态和变量 Hue是什么? Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口. Hue能干什么? 1,访问HDFS和文件浏览  2,通过web调试和开发hive以及数据结果展示  3,查询solr和结果展示,报表生成  4,通过web调试和开发impala交互式…

Hadoop生态圈-CDH与HUE使用案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HUE的介绍 1>.HUE的由来 HUE全称是HadoopUser Experience,看这名字就知道怎么回事了吧.没错,直白来说就是Hadoop用户体验,是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的.通过使用H…