这个bug确实恶心的不要不要的.我一开始以为是我自己打开方式(毕竟不熟悉搭建流程,别人怎么做,我照着做) 我照着视频或者博客编写hdfs-site.xml(dfs.ha.fencing.methods) 但是一直再start-dfs.sh 后(DFSZKFailoverController进程没有启动) 在stop-dfs.sh后提示(no zkfc to stop) 我一开始当然顺势去看日志(程序员不看日志处理,还能干什么?) 因为在start-dfs.sh看到 看到zkfc的日志在$HADO

不多说,直接上干货! at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:) at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:) // :: INFO zookeeper.ClientCnxn: Opening socket connection to server bigdata-pro02.kfk.c

一.新建maven的java工程 1.eclipse里file-new-other,选择maven Project 2.选中 Use default Workspace location,然后 next 3.选择maven-archetype-quitstart,然后next 4.填入工程信息,然后finish 6.新建好的工程结构如图 7.将test下和java下自动生成的java类删除,右键build-path选择好jdk版本,整个工程就建好了. 二.配置log4j 1.将工程目录调整成下图

https://jenkins.io/index.html Jenkins的war包下载http://192.168.89.132:8080/jenkins /home/xmh/.jenkins   /home/xmh/.jenkins/workspace/  默认打包目录/home/xmh/soft/jenkins/apache-maven-3.2.3/conf/home/xmh/soft/jenkins/my/settings.xml 打开/etc/profile 设置环境变量 查看PATH

chkconfig原理: 1.脚本放到/etc/init.d下面,并且可执行(/etc/init.d/sshd) 需要被chkconfig管理,需要添加进去chkconfig  --add  sshd 2.chkconfig  --level  3  sshd  on   实质就是  rm  -f  /etc/rc,d/rc3.d/K25sshd

1.启动zk 2.启动journalnode:         hadoop-daemons.sh start journalnode 3.格式化zkfc--让在zookeeper中生成ha节点         hdfs zkfc –formatZK 4.格式化hdfs         hadoop namenode –format 5.启动NameNode         hadoop-daemon start namenode 6.standby同步namenode的数据,并启动      

文章概览: 1.机器规划和预配置 2.软件安装 3.集群文件配置 4.启动集群 5.HA验证 6.注意事项 7.小结   机器规划和预配置 主机/进程 NN DN RM NM ZK(QP) ZKFC JN nna √    √    √  √   nns  √    √    √  √   dn1     √    √  √    √ dn2     √    √      √ dn3     √    √      √   软件安装 所需工具:虚拟机CentOS-6.5,JDK-1.8,Had

按照正常方式配置,发现无论如何也访问不了hdfs文件系统,因为我们是HA的集群,所以不能按照如下配置 将其改为 除此之外,还需要配置hdfs文件的 接着要去hadoop的目录下启动httpfs.sh 会看到一个守护进程,同时启动dfs.sh 接着启动hue才能访问

执行start-dfs.sh后,datenode没有启动,很大一部分原因是因为在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时主节点namenode的clusterID会重新生成,而从节点datanode的clusterID 保持不变导致的. 解决办法如下: 打开hdfs-site.xml找到如下节点 如上找到namenode和datanode(这个datanode是在从节点计算机中查看)的文件路径.分别进入这两个目

不多说,直接上干货! 全网最详细的启动zkfc进程时,出现INFO zookeeper.ClientCnxn: Opening socket connection to server***/192.168.80.151:2181. Will not attempt to authenticate using SASL (unknown error)解决办法(图文详解)   解决办法: 每台机器都,先执行,sudo chkconfig iptables off 再,执行 [kfk@bigdata-

第一次格式化dfs后,启动并使用hadoop,之后如果再次重新执行了格式化(hdfs namenode -format) start-all.sh启动时就会遇到datanode无法启动的问题,通常情况是datanode的clusterID 和 namenode的clusterID 经过再次格式化后已经不匹配 解决方案: 修改datanode里VERSION文件的clusterID保持和namenode的VERSION中的clusterID一致即可

1 - 概述脚本catalina.sh用于启动和关闭tomcat服务器,是最关键的脚本另外的脚本startup.sh和shutdown.sh都是使用不同的参数调用了该脚本该脚本的使用方法如下(引自该脚本本身):  echo "Usage: catalina.sh ( commands ... )"  echo "commands:"  echo "  debug             Start Catalina in a debugger" 

今天遇到个趣的问题,linux上springboot启动,连接达梦数据库报错. 解决思路: 1)是不是数据库本身有问题,客户端登录没问题. 2)排查是不是war包问题,本地连接数据库,没问题. 3)是不是启动参数有问题?因为多数据源的关系,在启动参数里配置了数据源跟驱动名 --spring.datasource.url=jdbc:dm://172.31.98.190:5236/DMSERVER --spring.datasource.driverClassName=dm.jdbc.driver.

操作步骤: 1.进入/home/servers/codes/xxxx-dev/目录,从git上将项目clone下来: 2.确保/usr/local/xxx/xxxx-dev目录存在: 3.确保sh脚本有可执行权限: 4.执行"sh xxx.sh"命令启动脚本: #!/bin/bash #jdk环境变量 export JAVA_HOME=/usr/java/jdk1..0_211-amd64 export JAVA_BIN=$JAVA_HOME/bin export PATH=$PATH

1.hbase的改的会影响器他的组件的使用, 故而, 在修改 hadoop的任何组件后, 一定要记得其它的组件也能受到影响, 一下是我在将hadoop的集群改了之后 , 再次运行hbase的时候, 就会发生异常, 原因是在连接namenode的时候,发生连接不到, 就是因为我改了之前的配置,将端口号改了, 没有去将配置文件在hbase中进行更新, 具体问如下: ##我今天起得hbase的集群时候,发生了 1.http://node3:60010/master-status HTTP ERROR

服务器角色 服务器 192.168.58.180 192.168.58.181 192.168.58.182 192.168.58.183 Name CentOSMaster Slvae1 Slave2 StandByNameNode NameNode  Yes      Yes DataNode    Yes  Yes  Yes journalNode    Yes  yes  Yes ZooKeeper  Yes  Yes    Yes ZKFC  Yes      Yes Spark  Y

假设我们有3台虚拟机,主机名分别是hadoop01.hadoop02和hadoop03. 这3台虚拟机的Hadoop的HA集群部署计划如下: 3台虚拟机的Hadoop的HA集群部署计划 hadoop01 zookeeper journalnode nodemanager datanode resourcemanager namenode zkfc hadoop02 zookeeper journalnode nodemanager datanode resourcemanager namenod

1基本流程步骤1:准备硬件(linux操作系统)步骤2:准备软件安装包,并安装基础软件(主要是JDK)步骤3:修改配置文件步骤4:分发hadoop步骤5:启动服务步骤6:验证是否启动成功!2硬件配置要求 1测试环境: 一台pc机或者服务器 建议内存不少于4G(2G也行)---------越高越流畅 2生产环境:>小于100个节点 建议每台机器配置不少于: dual quad-core 2.6 Ghz CPU, 24 GB of DDR3 RAM dual 1 Gb Ethernet NICs a

假如我们只有3台linux虚拟机,主机名分别为hadoop01.hadoop02和hadoop03,在这3台机器上,hadoop集群的部署情况如下: hadoop01:1个namenode,1个datanode,1个journalnode,1个zkfc,1个resourcemanager,1个nodemanager: hadoop02:1个namenode,1个datanode,1个journalnode,1个zkfc,1个resourcemanager,1个nodemanager: hadoo

hadoop执行start-all后,显示正常启动. starting namenode, logging to /opt/hadoop-0.20.2-cdh3u0/logs/hadoop-hadoop-namenode-localhost.localdomain.out localhost: starting datanode, logging to /opt/hadoop-0.20.2-cdh3u0/bin/../logs/hadoop-hadoop-datanode-localhost.l