hadoop运维笔记

一. 故障处理部分

1.1. spark提交任务报错java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSON

报错原因： 在运行环境没有找到fastjson的依赖库

解决方法： 在SPARK_HOME/jars/ 添加fastjson-VERSION.jar包。例如我的环境下SPARK_HOME是/usr/local/service/spark/。

[hadoop@10 ~]$ ls $SPARK_HOME/jars/fast*
/usr/local/service/spark/jars/fastjson-1.2.12.jar

1.2. 跨HDFS集群、HDFS属主用户不同，传输文件没有权限的问题

这个问题衍生出两件事，把这两件事处理完问题即可解决。

不同集群间解析

不同集群属主

先看一下不同集群间解析。要想跨集群传输文件，首先得确定集群相互"认识"，即集群间确定通过ip或者hostname可达。在ip可达的前提下，我们判断集群间是否"认识"，则需要检查hdfs-site.xml中dfs.namenode.datanode.registration.ip-hostname-check这项配置。它表示是否将ip反向解析成主机名，默认为true。如果未设置这一项，则需要对/etc/hosts添加主机解析，对于HDFS这种规模性集群来说，这很显然是比较繁琐的。

对于不同集群属主来说，可以通过修改被传文件权限或通过添加用户、附加组使用户获得文件的读取权限。

1.3 HDFS中hdfshosts直接使用ip遇到的问题

故障描述：

在hdfs web页面显示dn全部dead
strace 追踪dn进程，发现连接nn超时
查看dn日志报错如下：

18/11/27 22:53:00 ERROR datanode.DataNode: Initialization failed for Block pool BP-958982478-10.0.220.44-1543329751956 (Datanode Uuid null) service to /10.0.220.44:9100 Datanode denied communication with namenode because hostname cannot be resolved (ip=10.0.220.48, hostname=10.0.220.48): DatanodeRegistration(0.0.0.0:50010, datanodeUuid=1e26933b-35a3-4d3f-8c5f-3ab03f10ca62, infoPort=50075, infoSecurePort=0, ipcPort=50020, storageInfo=lv=-56;cid=CID-1f213b85-b28c-4824-a44c-813c95ce7ecc;nsid=1612667934;c=0)
        at org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager.registerDatanode(DatanodeManager.java:852)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:4486)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.registerDatanode(NameNodeRpcServer.java:1286)
        at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolServerSideTranslatorPB.registerDatanode(DatanodeProtocolServerSideTranslatorPB.java:96)
        at org.apache.hadoop.hdfs.protocol.proto.DatanodeProtocolProtos$DatanodeProtocolService$2.callBlockingMethod(DatanodeProtocolProtos.java:28752)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2217)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2213)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1758)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2213)

问题分析：

首先想到的就是NN与DN通信出现了问题。但是如题所述"直接使用ip"，也就是说不在/etc/hosts做任何配置的前提下能正常工作。这时就需要考虑怎样在hdfs的配置里面能够使DN直接通过ip来访问NN，即禁用对DN的ip做反向域名解析。

解决方法:

在NameNode节点的 hdfs-site.xml添加如下内容

<property>
      <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
      <value>false</value>
</property>

1.4 ambari hive server2启动失败。

报错日志如下

Caused by: java.sql.SQLException: Access denied for user 'hive'@'xx.xx.xx.xx'(using password: YES)
        at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1078)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4187)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4119)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:927)
        at com.mysql.jdbc.MysqlIO.proceedHandshakeWithPluggableAuthentication(MysqlIO.java:1709)
        at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1252)
        at com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2488)
        at com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2521)
        at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2306)
        at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:839)
        at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:49)
        at sun.reflect.GeneratedConstructorAccessor17.newInstance(Unknown Source)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
        at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)
        at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:421)
        at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:350)
        at java.sql.DriverManager.getConnection(DriverManager.java:664)
        at java.sql.DriverManager.getConnection(DriverManager.java:208)
        at com.jolbox.bonecp.BoneCP.obtainRawInternalConnection(BoneCP.java:361)
        at com.jolbox.bonecp.BoneCP.<init>(BoneCP.java:416)
        ... 71 more

手动连接mysql依然连接不上，检查发现连接权限不够，重新授权后，启动成功。

1.5 通过flume HDFSSink 写HDFS丢数据

flume 日志报错如下

30 Jul 2018 21:33:01,573 WARN  [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.BucketWriter.append:545)  - Caught IOException writing to HDFSWriter (No lease on /tmp/20180730/2018073021.1564493581533.json.tmp (inode 33774359): File does not exist. [Lease.  Holder: DFSClient_NONMAPREDUCE_-2075237917_36, pendingcreates: 1]
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:3432)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.analyzeFileState(FSNamesystem.java:3233)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNewBlockTargets(FSNamesystem.java:3071)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3031)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:725)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:492)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2049)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2045)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2045)
). Closing file (hdfs://xx.xx.xx.xx:xx/tmp/20180730//2018073021.1564493581533.json.tmp) and rethrowing exception.

问题分析:

从报错情况来看，flume 使用HDFSWriter.appened方法写事件时，发现临时文件已经没有租约，并未找到该文件，然后尝试close文件，发现文件早已经close，再次抛出异常。

为什么出现这种情况呢？通过查看配置文件sink部分，发现hdfs.idleTimeout 的值设置过小。

agent.sinks.k1.type = hdfs
agent.sinks.k1.hdfs.path = "hdfs地址"
agent.sinks.k1.hdfs.filePrefix = %Y%m%d%H
agent.sinks.k1.hdfs.fileSuffix = .json
agent.sinks.k1.hdfs.useLocalTimeStamp=true
agent.sinks.k1.hdfs.writeFormat = Text
agent.sinks.k1.hdfs.fileType = DataStream
agent.sinks.k1.hdfs.rollInterval = 300
agent.sinks.k1.hdfs.rollSize = 5073741824
agent.sinks.k1.hdfs.batchSize = 10000
agent.sinks.k1.hdfs.rollCount = 0
agent.sinks.k1.hdfs.callTimeout = 100000
agent.sinks.k1.hdfs.idleTimeout = 30
agent.sinks.k1.hdfs.round = true
agent.sinks.k1.hdfs.roundValue =60
agent.sinks.k1.hdfs.roundUnit = minute

由于这个值设置的太小，然后每隔30s 就会判断正在 bucketWriter 的文件是否更新，如果没有更新，他就会flush，然后关闭bucketWriter 。而实际上我们的source类型采用的是spooldir，每60s才会产生新文件。在没有延迟的情况下，每60s bucketWriter才会更新，最后就导致一部分正常的HDFS写请求失败。

解决方法：

修改hdfs.idleTimeout 的值为 hdfs.rollInterval 的2倍。

agent.sinks.k1.hdfs.idleTimeout = 600

hdfs.rollInterval 为hdfs文件的回滚周期，刚好达到rollInterval 需要回滚时，若出现HDFS或者网络错误，导致回滚失败。那么就经常在hdfs上出现很多.tmp文件。这时如果设置了hdfs.idleTimeout ，就可以很好的解决这个问题。但是切记，不可以设置的太短。建议稍微大于 hdfs.rollInterval 值。

二. hadoop集群平滑退役/上线节点(DataName/tasktracker or NodeManager)

在生产环境中可能会遇到退役(下线)服务器需求，对于计算节点来说强制下线节点影响的只是task作业，但是对于HDFS来说，就会出现数据丢失的风险。当然hadoop也提供了平滑下线的机制。

2.1 退役DataNode

2.1.1 在namenode节点hdfs-site.xml中增加配置,PATH路径根据自己实际情况进行修改

<property>
       <name>dfs.hosts.exclude</name>
       <value>/usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts</value>
</property>

2.1.2 在相关文件中添加需要退役的主机

[hadoop@10 ~]$ cat  /usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts
10.0.0.1
10.0.0.2

2.1.3 在NameNode 运行以下命令，将经过审核的DataNode更新至NameNode

[hadoop@10 ~]$ hdfs dfsadmin -refreshNodes

2.1.4 查看下线情况

hdfs dfsadmin -report

Decomissioning标记的即为正在下线的DataNode，hadoop集群会将下线的DataNode数据块复制到其他节点。

复制完成之后会变成Decommission Status : Decommissioned。

2.1.5 下线完成后，清空/usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts 文件

[hadoop@10 ~]$ > /usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts

注意: 如果hadoop集群为HA，则需要在2个主控节点做相同操作

2.2 退役NodeManager 节点

2.2.1 在RM(ResourceManager)节点yarn-site.xml中增加配置,PATH路径根据自己实际情况进行修改

<property>
        <name>yarn.resourcemanager.nodes.exclude-path</name>
       <value>/usr/local/service/hadoop/etc/hadoop/yarnexcludedhosts</value>
</property>

2.2.2 在相关文件中添加需要退役的主机

[hadoop@10 ~]$ cat  /usr/local/service/hadoop/etc/hadoop/yarnexcludedhosts
10.0.0.1
10.0.0.2

2.2.3 在RM节点运行以下命令，将经过审核的NodeManager更新至RM

[hadoop@10 ~]$ yarn rmadmin -refreshNodes

2.2.4 下线完成后，在nodes include文件中去掉下线的机器,并清空exclude 文件

#yarn-site.xml 中nodes include 配置路径，路径根据自己实际情况
<property>
        <name>yarn.resourcemanager.nodes.include-path</name>
        <value>/usr/local/service/hadoop/etc/hadoop/yarnhosts</value>
</property>

[hadoop@10 hadoop]$ > /usr/local/service/hadoop/etc/hadoop/yarnexcludedhosts

注意: 如果hadoop集群为HA，则需要在2个主控节点做相同操作

2.3 上线DataNode节点

2.3.1 修改dfs.hosts对应配置文件,添加需要上线的机器

[hadoop@10 ~]$ cat /usr/local/service/hadoop/etc/hadoop/hdfshosts
10.0.100.53
10.0.100.52

2.3.2 在NameNode节点运行以下命令，将经过审核的datanode更新至namenode

[hadoop@10 ~]$ hdfs dfsadmin -refreshNodes

2.3.3 检查是否上线成功

hdfs dfsadmin -report

注意: 如果hadoop集群为HA，则需要在2个主控节点做相同操作

2.4 上线NodeManager节点

2.4.1 在nodes include文件中添加需要上线的机器

#yarn-site.xml 中nodes include 配置路径，路径根据自己实际情况
<property>
        <name>yarn.resourcemanager.nodes.include-path</name>
        <value>/usr/local/service/hadoop/etc/hadoop/yarnhosts</value>
</property>

[hadoop@10 ~]$ cat /usr/local/service/hadoop/etc/hadoop/yarnhosts
10.0.100.53
10.0.100.52

2.4.2 在RM节点运行以下命令，将经过审核的NodeManager更新至RM

[hadoop@10 ~]$ yarn rmadmin -refreshNodes

注意: 如果hadoop集群为HA，则需要在2个主控节点做相同操作

三. hadoop集群标签加入与退出

在生产环境中除了会遇到退役(下线)服务器需求，也可能会对集群标签做一些相关操作，下面主要说一下在集群中如何从标签中添加或退出节点

标签相关操作

列出当前集群中存在的节点标签

yarn cluster --list-node-labels

删除当前集群中已存在的节点标签

yarn rmadmin -removeFromClusterNodeLabels "<label1>,<label2>,..."

添加节点标签到节点上

yarn rmadmin -replaceLabelsOnNode "node1.example.com=X"

通过如下命令可以批量从节点标签中添加节点

$ cat addNodeList.txt
node1.example.com
node2.example.com
node3.example.com
node4.example.com
node5.example.com
$ cat addNodeList.txt | xargs -t -i yarn rmadmin -replaceLabelsOnNode "{}=X"

从节点标签中移除节点

yarn rmadmin -replaceLabelsOnNode "node1.example.com"

通过如下命令可以批量从节点标签中移除节点

cat addNodeList.txt
node1.example.com
node2.example.com
node3.example.com
node4.example.com
node5.example.com
$ cat addNodeList.txt | xargs -t -i yarn rmadmin -replaceLabelsOnNode "{}"

致谢：Hadoop 委任和解除节点

 Flume-ng HDFS Sink “丢数据”