先启动hadoop集群start-all.sh 在master节点会启动SecondaryNameNode,NameNode,ResourceManager 在slave节点会启动NodeManager,DataNode 再启动zookeeper集群:分别登录master和slave,执行:zkServer.sh start 两个节点都有QuorumPeerMain进程 启动zookeeper客户端:zkCli.sh -server master:2181,slave:2181 客户端有进程:Z

这是第一次出勤部署产品.遇到不可控问题,解决,写个心得.记录一下吧^^ 在排查问题的过程中,学到不少知识. (1)centos系统盘和数据盘分开,装操作系统的人没有将IT的空间分配出来,所以分区,自动挂载 #lvmdiskscan 查看哪些设备成为了物理卷. 检测硬盘和分区中的逻辑巻管理信息 只有/dev/sda*,说明只有一个物理卷,其余的是/dev/ram* fdisk /dev/sdb d n p 1 w 即可删除分区,创建一个新的磁盘. 格式化:mkfs.ext4 /dev/sdb1 查

一.Hadoop  1.启动Hadoop cd /usr/local/hadoop-2.7.3/sbin ./start-dfs.sh 启动过程如下: 2.验证Hadoop是否启动成功 2.1.在主节点上用jps命令可以看到SecondaryNameNode和NameNode进程: 2.2.在任一子节点上hadoop2或者hadoop3用jps命令可以查看到DataNode进程 2.3.作为进一步验证的方法,是在主节点上使用hdfs dfsadmin -report来观察集群配置情况.如下: 2

红帽RHEL7系统已经替换了大家熟悉的初始化进程System V init,正式采用全新的 初始化进程systemd.初始化进程systemd使用了并发启动机制,所以开机速度上得到了不小的 提升. 将默认的运行级别修改为“多用户,无图形模式” [root@localhost ~]# ln -sf /lib/systemd/system/multi-user.target /etc/systemd/system/default.target 将默认的运行级别修改为“图形化模式” [root@loc

本文档基于hbase-0.96.1.1-cdh5.0.2,对HBase配置&启动脚本进行分析 date:2016/8/4 author:wangxl HBase配置&启动脚本分析 剔除window相关脚本,我们主要分析配置文件与.sh文件 1 文件概览 conf ├── hadoop-metrics2-hbase.properties ├── hbase-env.sh ├── hbase-policy.xml ├── hbase-site.xml ├── log4j.properties

Hbase master启动报错: java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMaster at org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:2893) at org.apache.hadoop.hbase.master.HMasterCommandLin

启动hbase之后,发现hbase shell启动报错: version 2.0.0-alpha4, r5c4b985f89c99cc8b0f8515a4097c811a0848835, Tue Oct 31 16:00:33 PDT 2017[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError: Found class jline.Ter

伪分布模式下,如(weekend110)hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示HBase使用自身自带的Zookeeper实例.但是,该实例只能为单机或伪分布模式下的HBase提供服务. 若是分布式模式,则需要配置自己的Zookeeper集群.如(HadoopMaster.HadoopSlave1.HadoopSlave2)hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示,分布式模式里,在启动HB

问题详细描述如下: 2016-12-09 15:10:39,160 ERROR [org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation] - The node /hbase is not in ZooKeeper. It should have been written by the master. Check the value configured in 'zookeeper.znode.pare

突然发现HBASE无法使用了. 然后看到在分布式的情况下,节点上的HRegionServer启动后自动关闭. 同步时间就能解决这个问题. 网上同步时间 1.  安装ntpdate工具 sudo apt-get install ntpdate 2.  设置系统时间与网络时间同步 sudo ntpdate cn.pool.ntp.org

–>首先初始化HMaster –>创建一个rpcServer,其中并启动 –>启动一个Listener线程,功能是监听client的请求,将请求放入nio请求队列,逻辑如下: –>创建n个selector,和一个n个线程的readpool,n由"ipc.server.read.threadpool.size"决定,默认为10 –>读取每个请求的头和内容,将内容放入priorityQueue中 –>启动一个Responder线程,功能是将响应队列里的数

master启动过程: -->首先初始化HMaster -->创建一个rpcServer,其中并启动 -->启动一个Listener线程,功能是监听client的请求,将请求放入nio请求队列,逻辑如下: -->创建n个selector,和一个n个线程的readpool,n由"ipc.server.read.threadpool.size"决定,默认为10 -->读取每个请求的头和内容,将内容放入priorityQueue中 -->启动一个Respo

紧接着上一节HMaster的构建完成.接下来会调用HMaster调用master.start(),master.join(). 由HMaster的继承关系,很明显,他是Runnable的子类.也就是说,在调用其start方法时,run方法被调用. 下面,让我们来到HMaster.run方法.这里的涉及到多线程编程.一方面HMaster所在线程调用了super.run方法.另一方面另外启动了一个daemon线程用于调用startActiveMasterManager方法.很多同学在这里可能就迷惑了

首先,让我们来到HMaster的main方法.我们今天的流程就从这里开始. 我们需要注意,下图所示的tool的类型就是HMasterCommandLine. 接下来,让我们来到HMasterCommandLine.run方法 在HMasterCommandLine.startMaster方法开始,有判断LocalHBaseCluster.isLocal(conf),也就是我们在hbase-site.xml中是否配置了hbase.cluster.distributed(默认为false).这里我们

#encoding=utf-8 from threading import Thread from multiprocessing import Process import multiprocessing ''' Author liuyancong ''' class My_Job_With_Thread(Thread): def run(self): t_flag = True b = None try: b = self._Thread__target(*self._Thread__arg

vim ~/.bashrcexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64   //JDK安装路径export HADOOP_HOME=/usr/local/hadoop                      //Hdoop 安装路径export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:/usr/local/hadoop/sbin:/usr/

异常描述: An internal error occurred during: "reload maven project". java.lang.NullPointerExceptio 导入一个Maven项目,嫌弃慢删除了eclipse的进程,后面就跑不起来 解决方案: 1.找到workspace文件夹下的/.metadata文件夹,将其删除掉,然后在讲项目重新导入进去eclipse中.但是这个有一点不好的地方,之前对eclipse所做的配置也会恢复为默认配置 2.在workspa

HBase的前提条件: JDK SSH Hadoop JDK:Hadoop和JDK运行的环境,他们的守护进程运行在JVM下.HBase支持JDK 1.6以上的版本.比如: jdk-8u161-linux-x64.rpm. SSH:实现简单的服务器与主机的通信.在集群中,只有启动sshd后,才可以通过脚本远程操作其他的Hadoop和HBase进程.为了实现自动化操作,需要配置SSH免密码的的登录方式. Hadoop:HDFS是HBase的底层存储文件系统. jdk和hadoop配置文件参考文章 1

1.hbase的改的会影响器他的组件的使用, 故而, 在修改 hadoop的任何组件后, 一定要记得其它的组件也能受到影响, 一下是我在将hadoop的集群改了之后 , 再次运行hbase的时候, 就会发生异常, 原因是在连接namenode的时候,发生连接不到, 就是因为我改了之前的配置,将端口号改了, 没有去将配置文件在hbase中进行更新, 具体问如下: ##我今天起得hbase的集群时候,发生了 1.http://node3:60010/master-status HTTP ERROR

[问题]在jenkins中配置自动更新部署项目时,如果采取用execute shell启动/关闭tomcat,会发现可以进行关闭tomcat,但是无法启动tomcat,虽然构建会显示执行成功,但是查看进程,tomcat是没有启动的. [原因]这是因为Jenkins默认会在Build结束后Kill掉所有的衍生进程. [解决方案]需要进行以下配置,才能避免此类情况发生:  1.重设环境变量build_id  在execute shell输入框中加入BUILD_ID=DONTKILLME,即可防止je

❲阮一峰❳Linux 守护进程的启动方法 "守护进程"(daemon)就是一直在后台运行的进程(daemon). 本文介绍如何将一个 Web 应用,启动为守护进程. 一.问题的由来 Web应用写好后,下一件事就是启动,让它一直在后台运行. 这并不容易.举例来说,下面是一个最简单的Node应用server.js,只有6行. var http = require('http');    http.createServer(function(req, res) {      res.writ