如何在本地调试你的 Spark Job

【如何在本地调试你的 Spark Job】的更多相关文章

如何在本地调试你的 Spark Job

生产环境的 Spark Job 都是跑在集群上的,毕竟 Spark 为大数据而生,海量的数据处理必须依靠集群.但是在开发Spark的的时候,不可避免我们要在本地进行一些开发和测试工作,所以如何在本地用好Spark也十分重要,下面给大家分享一些经验. 首先你需要在本机上安装好了Java,Scala和Spark,并配置好了环境变量.详情请参考官方文档或其他教程. spark-shell 本地运行Spark最直接的方式就是在命令行里面运行spark-shell,成功后你将看到如下信息: 首先可以仔细阅…

windows下Idea结合maven开发spark和本地调试

本人的开发环境: 1.虚拟机centos 6.5 2.jdk 1.8 3.spark2.2.0 4.scala 2.11.8 5.maven 3.5.2 在开发和搭环境时必须注意版本兼容的问题,不然会出现很多莫名其妙的问题 1.启动master进程 ./sbin/start-master.sh 2.启动worker进程 ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://hadoop000:7077 [注…

spark 2.x在windows环境使用idea本地调试启动了kerberos认证的hive

1 概述开发调试spark程序时,因为要访问开启kerberos认证的hive/hbase/hdfs等组件,每次调试都需要打jar包,上传到服务器执行特别影响工作效率,所以调研了下如何在windows环境用idea直接跑spark任务的方法,本文旨在记录配置本地调试环境中遇到的问题及解决方案. 2 环境 Jdk 1.8.0 Spark 2.1.0 Scala 2.11.8 Hadoop 2.6.0-cdh5.12.1 Hive 1.1.0-cdh5.12.1 环境搭建略,直接看本地调试spar…

利用Pycharm本地调试spark-streaming（包含kafka和zookeeper等操作）

环境准备就不说了! 第一步:打开Pycharm,在File->Setting->Project Structure中点击Add Content Root 添加本地python调用java和spark的组件(因为python和spark通讯是通过调用Jvm的相关组件实现的) ,包含两个压缩包可以在spark的安装包里面找到第二步:在项目文件内添加本地配置 os.environ['SPARK_HOME'] = r'C:\Users\fengx…

mapreduce 本地调试需要注意的问题

1.写好的程序直接在hadoop集群里面执行 2.如果需要在本地调试,需要注释掉mapred-site.xml <configuration>  </configuration> 解释 :本地不需要此配置不是运行在…

开源分布式实时计算引擎 Iveely Computing 之本地调试Topology(4)

当我们写完一个比较复杂的Topology之后,倘若直接提交到服务器上运行,难免会有很多问题,如何进行本地的调试Topology,是我们非常关心的问题.我们依然以WordCount作为代码示例. 首先,必须调整main函数. 当main函数中,设定薇本地模式后,即可直接如调试Java应用程序一样,调试相应的代码,由于本地调试中,Computing会运行一个Local Cluster,因此在调试的时候,一样要添加对zookeeper的引用,如下: 但是,在最终打包的到服务器上运行的时候,无须将zoo…