引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase,并且测试成功了.在之前的大数据学习系列之一 ----- Hadoop环境搭建(单机) : http://www.panchengming.com/2017/11/26/pancm55/ 中成功的搭建了Hadoop的环境,本文主要讲的是Hadoop+Spark 的环境.虽然搭建的是单机版,

查看spark是否有僵尸进程,有的话,先杀掉.可以使用下面命令yarn application -listyarn application -kill <jobid>

查看tasktracker的50060的地址无法正常查看,主要有两个原因,一个是在/tmp目录下有以前使用2.02版本留下的文件没有删除,二个是因为端口被占用了 解决方法: 一.删除/tmp目录下所有文件 [root@localhost hadoop]# su -[root@localhost ~]# cd /tmp/[root@localhost tmp]# lshadoop-shen hsperfdata_shenhadoop-shen-datanode.pid Jetty_0_0_0_0_

jps或ps -ef|grep java可以看到有哪些java进程,这个不用说了.但值得一提的是jps命令是依赖于/tmp下的某些文件 的. 而某些操作系统,定期会清理掉/tmp下的文件,导致jps无法查看到实际存在的java进程.不过jstat, jstack等命令也同样如此,所以当jps列不出进程的时候,这些命令也都不能用了.不在我们此次讨论范围之内. top -p $pid -H  加上-H这个参数后,会列出有哪些线程.这样就可以看到哪个线程id最消耗系统资源了.看到的线程id是10进制的

如图所示, 输入 zkServer.sh start 显示如下: Starting zookeeper ... STARTED 可是输入jps指令 却找不到zookeeper进程 去zkdata文件目录下查看myid文件 vi   /home/hadoop/bigdatasoftware/zookeeper-3.4.13/zkdata/myid 发现内容为2 而之前配置的文件内容为22 改回22 再启动zookeeper,发现启动成功 相应的 将hadoop-001,hadoop-002的myi

转自:https://blog.csdn.net/high2011/article/details/52132646 一.在命令行使用命令查看 (1)查看日志:yarn logs -applicationId application_1469094096026_26612 (2)查看状态:yarn applicaiton -status application_1469094096026_26612 红色字体代表appID:在UI界面中寻找该id 二.通过spark UI查询

安装与Spark相关的其他组件的时候,例如JDK,Hadoop,Yarn,Hive,Kafka等,要考虑到这些组件和Spark的版本兼容关系.这个对应关系可以在Spark源代码的pom.xml文件中查看. 一. 下载Spark源代码 打开网址https://github.com/apache/spark,例如选择v2.4.0-rc5版本,再点击“Clone or download”按钮,点击下方的“Download ZIP”进行下载. 二.查看pom.xml文件将下载的源代码压缩包解压后,打开里

VM进程状态工具 - 列出目标系统上已检测的HotSpot Java虚拟机进程信息.可直接在装有java运行环境的Windows 或者 Linux机器上使用命令行执行jps命令.一个典型的应用场景,例如你不知道这台机器上运行的java程序所在的位置,或者不了解它启动时的一些参数设置,便可使用jps命令查看. 语法:jps [ options ] [ hostid ] option可选参数: -q : 输出JVM进程ID-m:输出JVM启动时传递给main()函数的参数,嵌入式的JVM可能参数为n

jps -- JavaVirtual Machine Process Status Tool 可以列出本机所有Java进程的pid jps [ options ] [ hostid ] 选项 -q 仅输出VM标识符,不包括class name,jar name,arguments in main method -m 输出main method的参数 -l 输出完全的包名,应用主类名,jar的完全路径名 -v 输出jvm参数 -V 输出通过flag文件传递到JVM中的参数(.hotspotrc文件

mapPartitionsWithIndexdef mapPartitionsWithIndex[U](f: (Int, Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U] 函数作用同mapPartitions,不过提供了分区的索引(代码中partid). val rdd = sc.parallelize(1 to 8,3)rdd.mapP

使用spark-shell命令进入shell模式

1.jps的作用 jps类似linux的ps命令,不同的是ps是用来显示进程,而jps只显示java进程,准确的说是当前用户已启动的部分java进程信息,信息包括进程号和简短的进程command. 2.某个java进程已经启动,用jps却显示不了该进程进程号 这个问题已经碰到过两次了,所以在这里总结下. 现象: 用ps -ef|grep java能看到启动的java进程,但是用jps查看却不存在该进程的id.待会儿解释过之后就能知道在该情况下,jconsole.jvisualvm可能无法监控该进

转自:http://www.cnblogs.com/xiaohua92/p/5460515.html#undefined 安装zookeeper时候,可以查看进程启动,但是状态显示报错:Error contacting service. It is probably not running 安装zookeeper-3.3.2的时候,启动正常没报错,但zkServer.sh status查看状态的时候却出现错误,如下: JMX enabled by defaultUsing config: /ha

spark提供了web-ui接口.外部命令等多种方法监视spark程序的执行状态.利用spark的监视功能,可以方便的查看spark应用程序执行的状态,具体包括:1)stage和tasks列表信息  2)RDD大小和内存使用情况  3)环境信息  4)executors信息. 1.web-ui 接口 可以在浏览器上输入http://<driver-node>:4040,查看spark程序的执行状态.不过spark程序一旦运行完成,web-ui便无法再查看spark状态. driver-node

一. 下载资料 1. JDK 1.6 + 2. Scala 2.10.4 3. Hadoop 2.6.4 4. Spark 1.6 二.预先安装 1. 安装JDK 2. 安装Scala 2.10.4 解压安装包即可 3. 配置sshd ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys mac 启动sshd sudo launchctl load -w /System/

运行Spark服务,需要在每个节点上部署Spark. 可以先从主节点上将配置修改好,然后把Spark直接scp到其他目录. 关键配置 修改conf/spark-env.sh文件: export JAVA_HOME=/usr/java/latest export HADOOP_CONF_DIR=/opt/hadoop-2.4.1/etc/hadoop/ export SPARK_MASTER_IP=master 以上是必要的几个配置,详细的配置说明,请参见官网的Document. 修改conf/s

1)slaves # A Spark Worker will be started on each of the machines listed below. dataNode 2)spark-env.sh export HADOOP_CONF_DIR=/home/hadoop/hadoop/etc/hadoop export YARN_CONF_DIR=/home/hadoop/hadoop/etc/hadoop 3)启动(命令在$SPARK/sbin) # start-all.sh 4)jp

scala-2.9.3:一种编程语言,下载地址:http://www.scala-lang.org/download/    spark-1.4.0:必须是编译好的Spark,如果下载的是Source,则需要自己根据环境使用SBT或者MAVEN重新编译才能使用. 编译好的 Spark下载地址:http://spark.apache.org/downloads.html. 2.安装scala-2.9.3   #解压scala-2.9.3.tgz tar -zxvf scala-2.9.3.tgz

一.软件准备 scala-2.11.8.tgz spark-1.6.1-bin-hadoop2.6.tgz 二.Scala 安装 1.master 机器 (1)下载 scala-2.11.8.tgz, 解压到 /opt 目录下,即: /opt/scala-2.11.8. (2)修改 scala-2.11.8 目录所属用户和用户组. ? 1 sudo chown -R hadoop:hadoop scala-2.11.8 (3)修改环境变量文件 .bashrc , 添加以下内容. ? 1 2 3

在MacOs上配置hadoop和spark环境 Setting up Hadoop with Spark on MacOs Instructions 准备环境 如果没有brew,先google怎样安装brew 先uninstall老版本的Hadoop brew cleanup hadoop 然后更新homebrew formulae brew update brew upgrade brew cleanup 检查版本信息 brew info hadoop brew info apache-spa

今搭建spark集群, conf/spark-env.sh 配制如下 export SPARK_MASTER_IP=masterexport SPARK_MASTER_PORT=7077export SPARK_WORKER_MEMORY=1024m export SCALA_HOME=/usr/local/scala-2.11.2export JAVA_HOME=/usr/local/jdk1.7.0_60 sbin/start-all.sh 启动后, 通过jps 查看各slave 机 均存在