问题描述

业务需要一个长期运行的程序,将上传的文件存放至HDFS,程序启动后,刚开始一切正常,执行一段时间(一般是一天,有的现场是三天),就会出现认证错误,用的JDK是1.8,hadoop-client,对应的版本是2.5.1,为什么强调这个版本号,因为错误的根本原因就在于版本问题

错误日志

Caused by: org.ietf.jgss.GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)
at sun.security.jgss.krb5.Krb5InitCredential.getInstance(Krb5InitCredential.java:147) ~[?:1.8.0_212]
at sun.security.jgss.krb5.Krb5MechFactory.getCredentialElement(Krb5MechFactory.java:122) ~[?:1.8.0_212]
at sun.security.jgss.krb5.Krb5MechFactory.getMechanismContext(Krb5MechFactory.java:187) ~[?:1.8.0_212]
at sun.security.jgss.GSSManagerImpl.getMechanismContext(GSSManagerImpl.java:224) ~[?:1.8.0_212]
at sun.security.jgss.GSSContextImpl.initSecContext(GSSContextImpl.java:212) ~[?:1.8.0_212]
at sun.security.jgss.GSSContextImpl.initSecContext(GSSContextImpl.java:179) ~[?:1.8.0_212]
at com.sun.security.sasl.gsskerb.GssKrb5Client.evaluateChallenge(GssKrb5Client.java:192) ~[?:1.8.0_212]
at org.apache.hadoop.security.SaslRpcClient.saslConnect(SaslRpcClient.java:413) ~[hadoop-common-2.5.1.jar:?]
at org.apache.hadoop.ipc.Client$Connection.setupSaslConnection(Client.java:552) ~[hadoop-common-2.5.1.jar:?]
at org.apache.hadoop.ipc.Client$Connection.access$1800(Client.java:367) ~[hadoop-common-2.5.1.jar:?]
at org.apache.hadoop.ipc.Client$Connection$2.run(Client.java:717) ~[hadoop-common-2.5.1.jar:?]
at org.apache.hadoop.ipc.Client$Connection$2.run(Client.java:713) ~[hadoop-common-2.5.1.jar:?]
at java.security.AccessController.doPrivileged(Native Method) ~[?:1.8.0_212]
at javax.security.auth.Subject.doAs(Subject.java:422) ~[?:1.8.0_212]
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614) ~[hadoop-common-2.5.1.jar:?]
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:712) ~[hadoop-common-2.5.1.jar:?]
at org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:367) ~[hadoop-common-2.5.1.jar:?]
at org.apache.hadoop.ipc.Client.getConnection(Client.java:1463) ~[hadoop-common-2.5.1.jar:?]
at org.apache.hadoop.ipc.Client.call(Client.java:1382) ~[hadoop-common-2.5.1.jar:?]
... 61 more

业务程序调用认证方法


public void init() { System.setProperty("java.security.krb5.conf", "krb5.conf"); } public void kerberosLogin() throws IOException {
// 已经认证通过
if ("hdfsuser".concat("@").concat("DATAHOUSE.COM")
.equals(UserGroupInformation.getCurrentUser().getUserName())) {
UserGroupInformation.getCurrentUser().checkTGTAndReloginFromKeytab();
return;
}
// ksbName 表示用户名 keytabPath表示秘钥存放位置
UserGroupInformation.loginUserFromKeytab("hdfsuser", "/etc/keytab/hdfsuser.keytab"); }
  • 主要思想就是第一次认证通过loginUserFromKeytab进行认证,之后每次请求再调用checkTGTAndReloginFromKeytab方法判断是否需要重新认证,防止ticket过期

  • 应用在每次获取FileSystem时,都会先调用kerberosLogin,之后才获取FileSystem

public FileSystem getFileSystem() throws IOException {

		try {
kerberosLogin();
return FileSystem.get(configuration);
} catch (Exception e) {
logger.error("create hdfs FileSystem has error", e);
throw e;
}
}

问题调查过程

根据错误在网上各种搜索,出来的结果和上面的代码大同小异,有的猜测是客户端调用间隔太大,超过了ticket_lifetime的值,建议加一个定时任务来周期性的调用kerberosLogin()方法,虽然我们业务不太可能出现这种情况,还是加上了这个处理,问题依旧,只好开始慢慢调试

UserGroupInformation.loginUserFromKeytab的认证过程

  1. UserGroupInformation.loginUserFromKeytab 利用传入的user和keytab路径信息,构建一个LoginContext,接着调用LoginContext的login方法

try {

login = newLoginContext(HadoopConfiguration.KEYTAB_KERBEROS_CONFIG_NAME,

subject, new HadoopConfiguration());

start = Time.now();

login.login();

。。。
```
  1. LoginContext.login方法依次通过反射调用了登陆模块的login和commit两个方法,调用的主要逻辑在invokePriv方法内

    public void login() throws LoginException {
    
        ...
    
        try {
    // module invoked in doPrivileged
    invokePriv(LOGIN_METHOD);
    invokePriv(COMMIT_METHOD); ...
  2. LoginContext.invokePriv方法主要在doPrivileged内调用invoke方法,invoke方法依次调用登陆模块对应的方法,第一次调用时,还会调用对应的initialize方法

    for (int i = moduleIndex; i < moduleStack.length; i++, moduleIndex++) {
    try { ... // 查找initialize方法
    methods = moduleStack[i].module.getClass().getMethods();
    for (mIndex = 0; mIndex < methods.length; mIndex++) {
    if (methods[mIndex].getName().equals(INIT_METHOD)) {
    break;
    }
    } Object[] initArgs = {subject,
    callbackHandler,
    state,
    moduleStack[i].entry.getOptions() };
    // 调用 initialize 方法
    methods[mIndex].invoke(moduleStack[i].module, initArgs);
    } // 接着查找相应的方法
    for (mIndex = 0; mIndex < methods.length; mIndex++) {
    if (methods[mIndex].getName().equals(methodName)) {
    break;
    }
    } // set up the arguments to be passed to the LoginModule method
    Object[] args = { }; // 调用相应的方法 boolean status = ((Boolean)methods[mIndex].invoke
    (moduleStack[i].module, args)).booleanValue();

实际执行时对应的moduleStack中有两个LoginModule * HadoopLoginModule :和kerberos认证关系不大,暂且不看
* Krb5LoginModule : kerberos认证类,根据第2步LoginContext.login中的方法可知,会依次调用这个module中的login和commit两个方法 1. Krb5LoginModule.login方法,就是利用我们提供的user名称和krb5.conf中的配置信息以及keytab信息进行认证。代码就不展示了,主要是调用attemptAuthentication进行的处理。
1. Krb5LoginModule.commit方法是要把认证后证书信息存入到Subject中,以便后续能重复使用subject进行认证,和本次调查问题有关的代码片段如下 ```
public boolean commit() throws LoginException { Set<Object> privCredSet = subject.getPrivateCredentials(); 。。。 if (ktab != null) {
if (!privCredSet.contains(ktab)) {
// 把keytab保存下来,再次认证使用
privCredSet.add(ktab);
}
} else {
succeeded = false;
throw new LoginException("No key to store");
} 。。。 ```
1. 按照这个逻辑,既然keytab保存到Subject中了,再次使用UserGroupInformation.getCurrentUser().checkTGTAndReloginFromKeytab();进行认证时,就可以使用保存的keytab直接认证了,应该是不会出错的,我们看下checkTGTAndReloginFromKeytab方法 ```
public synchronized void checkTGTAndReloginFromKeytab() throws IOException {
if (!isSecurityEnabled()
|| user.getAuthenticationMethod() != AuthenticationMethod.KERBEROS
|| !isKeytab)
return;
KerberosTicket tgt = getTGT();
if (tgt != null && Time.now() < getRefreshTime(tgt)) {
return;
}
reloginFromKeytab();
}
``` 方法逻辑,就是判断如果是用keytab进行的认证,就调用reloginFromKeytab进行认证。但在实际执行时却发现isKeytab的值是false,可代码明明是使用keytab来认证的,怎么是false呢,只能看看isKeytab这个值怎么赋值的了,对应逻辑在UserGroupInformation的构造函数里 ``` UserGroupInformation(Subject subject) {
...
this.isKeytab = !subject.getPrivateCredentials(KerberosKey.class).isEmpty();
...
} ```
1. 至此终于发现问题所在,我们在第5步,认证成功后在subject的PrivateCredentials中存入的是keytab对象,而这个地方判断的是KerberosKey,这肯定是不一样呀,那就只有一种可能,就是引用jar包的版本问题了。更换hadoop-client的版本号为2.10.0,再查看UserGroupInformation对应的构造函数 ```
private UserGroupInformation(Subject subject, final boolean externalKeyTab) {
...
this.isKeytab = KerberosUtil.hasKerberosKeyTab(subject);
...
}

将判断逻辑移到了KerberosUtil.hasKerberosKeyTab方法中

    /**
* Check if the subject contains Kerberos keytab related objects.
* The Kerberos keytab object attached in subject has been changed
* from KerberosKey (JDK 7) to KeyTab (JDK 8)
*
*
* @param subject subject to be checked
* @return true if the subject contains Kerberos keytab
*/
public static boolean hasKerberosKeyTab(Subject subject) {
return !subject.getPrivateCredentials(KeyTab.class).isEmpty();
}
```
可以看到判断对象已经变成了KeyTab了,并且从注释信息中明确看到在JDK7时使用的是KerberosKey,在JDK8时换成了KeyTab。 总结,kerberos认证功能虽然强大,实际使用还是有点复杂,特别是和jaas结合后,出了错还是有些难调查,可只要慢慢分析,还是会找到解决方法的,还有一点就是虽然程序出现的错误一样,引起错误的根本原因还是会有所不同,不能只是按照网上说法一改就万事大吉,有时还是需要靠我们自己刨根问底好好研究。

hdfs/hbase 程序利用Kerberos认证超过ticket_lifetime期限后异常的更多相关文章

  1. hadoop的kerberos认证

    言归正传,介绍过hadoop的simple认证和kerberos后,我们在这一章介绍hadoop的kerberos认证 我们还使用hadoop集群的机器. OS 版本: Centos6.4 Kerbe ...

  2. 使用Spark的newAPIHadoopRDD接口访问有kerberos认证的hbase

    使用newAPIHadoopRDD接口访问hbase数据,网上有很多可以参考的例子,但是由于环境使用了kerberos安全加固,spark使用有kerberos认证的hbase,网上的参考资料不多,访 ...

  3. 通过BulkLoad快速将海量数据导入到Hbase(TDH,kerberos认证)

    一.概念 使用BlukLoad方式利用Hbase的数据信息是 按照特点格式存储在HDFS里的特性,直接在HDFS中生成持久化的Hfile数据格式文件,然后完成巨量数据快速入库的操作,配合MapRedu ...

  4. cloudera集群开启kerberos认证后,删除zk中的/hbase目录

    问题 在cdh集群中开启了kerberos认证,hbase集群出现一点问题,需要通过zookeeper-client访问zookeeper,删除/hbase节点时候报错:Authentication ...

  5. java操作HDFS相关demo(TDH,kerberos认证)

    public class Test {     private static Configuration conf;     private static FileSystem fs;     //开 ...

  6. 配置两个Hadoop集群Kerberos认证跨域互信

    两个Hadoop集群开启Kerberos验证后,集群间不能够相互访问,需要实现Kerberos之间的互信,使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Re ...

  7. spark 2.x在windows环境使用idea本地调试启动了kerberos认证的hive

    1 概述 开发调试spark程序时,因为要访问开启kerberos认证的hive/hbase/hdfs等组件,每次调试都需要打jar包,上传到服务器执行特别影响工作效率,所以调研了下如何在window ...

  8. CDH构建大数据平台-配置集群的Kerberos认证安全

     CDH构建大数据平台-配置集群的Kerberos认证安全 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 当平台用户使用量少的时候我们可能不会在一集群安全功能的缺失,因为用户少,团 ...

  9. Cloudera Hadoop启用Kerberos认证

    一.Kerberos 二.安装 node01服务器安装Kerberos的核心服务master KDC,node02和node03安装Kerberos client cm也安装在node01上了 1.m ...

随机推荐

  1. 基于ThinkPHP与阿里大于的PHP短信验证功能

    https://blog.csdn.net/s371795639/article/details/53381274 PHP阿里大鱼短信验证 第一步 登陆阿里大于注册账号,在用户管理中心创建应用,确定A ...

  2. Python数据可视化matplotlib和seaborn

    Python在数据科学中的地位,不仅仅是因为numpy, scipy, pandas, scikit-learn这些高效易用.接口统一的科学计算包,其强大的数据可视化工具也是重要组成部分.在Pytho ...

  3. sorted排序算法

  4. hdu 4394 Digital Square(bfs)

    Digital Square Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)To ...

  5. vue在渲染之前拿到数据操作.......vue数据获取

    异步请求数据,但是生命周期函数也是异步的,怎么才能保证渲染之前就能拿到数据呢? 官方给了两种方案, 我们可以在异步获取数据的时候加上一个loading表示现在在获取数据..... 由于ajax是异步操 ...

  6. P1048 数组中的逆序对

    题目描述 在数组中的两个数字,如果前面一个数字大于后面的数字,则这两个数字组成一个逆序对.输入一个数组,求出这个数组中的逆序对的总数. 输入格式 第一行包含一个整数 \(n\) ,表示数组中的元素个数 ...

  7. JPA查询之Specification以及HQL、SQL查询

    1.Specification //查询条件List List<Predicate> predicateList = new ArrayList<Predicate>(); S ...

  8. VMware虚拟机安装Windows2003操作教程

    1.下载好以下三个文件: 2.选择VMware安装包,跟随指令安装好后,打开: 3.选择"创建新的虚拟机"后,选择"安装光盘映像文件(iso)",点击浏览载入. ...

  9. Linux内存页大小

    当使用内存时, 记住一个内存页是 PAGE_SIZE 字节, 不是 4KB. 假定页大小是 4KB 并且 硬编码这个值是一个 PC 程序员常见的错误, 相反, 被支持的平台显示页大小从 4 KB 到 ...

  10. json文件生成

    // import Translate from 'translate-components' /* * 匹配所有汉字RegExp: [\u4e00-\u9fa5] [\u4E00-\u9FA5]|[ ...