一.背景说明 最早听说KDC和Kerberos应该是大三的<应用密码学>,当时感觉这套对称密钥分发机制比非对称密钥的PKI分发机制要好理解.但几年下来由于现实中使用SSL的场景比较比(主要是https)接触得也就比较多所以对PKI的认识反倒超过了KDC. Kerberos的接触印象中只有某运营商大数据平台一主机要ssh到其他主机时需要先kinit申请票据一把,具体原理不是很清楚,也没有深入探究.这几天一是比较有空二是感觉以后用得上所以来探究一番,本文可以认为是本链接文档的一次实现. 另外,首先

言归正传,介绍过hadoop的simple认证和kerberos后,我们在这一章介绍hadoop的kerberos认证 我们还使用hadoop集群的机器. OS 版本: Centos6.4 Kerberos版本: krb5-1.10.3 环境配置 机器名 Ip地址 功能 安装模块 ganglia.localdomain 192.168.124.140 Kerberos server krb5-libs krb5-server krb5-workstation krb5-devel hadoop1

为了能够方便的查看及管理Kafka集群,yahoo提供了一个基于Web的管理工具(Kafka-Manager). 这个工具可以方便的查看集群中Kafka的Topic的状态(分区.副本及消息量等),支持管理多个集群.重新分配Partition及创建Topic等功能. jdk.sbt自行安装吧 sbt源可参考:https://www.cnblogs.com/felixzh/p/10255145.html Deployment The command below will create a zip f

LDAP介绍 1),ladp(Lightweight Directory Access Protocol),轻量级目录访问协议,提供被称为目录服务的信息服务,特别是基于X.500(构成全球分布式的目录服务系统的协议)的目录服务. 2),ldap运行在TCP/IP或者其他面向连接的传输服务上. 3),ldap同时是一个IETF标准跟踪协议,在“轻量级目录访问协议(ldap)技术规范路线”RFC4510中被指定. 4),ldap软件来源于OpenLDAP项目,该项目是一个由志愿者组成的团队,官网网址

1 概述 开发调试spark程序时,因为要访问开启kerberos认证的hive/hbase/hdfs等组件,每次调试都需要打jar包,上传到服务器执行特别影响工作效率,所以调研了下如何在windows环境用idea直接跑spark任务的方法,本文旨在记录配置本地调试环境中遇到的问题及解决方案. 2 环境 Jdk 1.8.0 Spark 2.1.0 Scala 2.11.8 Hadoop 2.6.0-cdh5.12.1 Hive 1.1.0-cdh5.12.1 环境搭建略,直接看本地调试spar

最近这段时间一直在忙新集群迁移,上了最新的cdh6.3.0 于是Flink 提交遇到了许多的问题 还好有cloudera License 有了原厂的帮助和社区的伙伴,问题解决起来快了不少,手动滑稽 集群具体情况是,cdh6.3.0+Flink1.8.1,整个数据平台全部组件都上了kerberos和ldap因为要过认证,所以任务提交方法我们选择统一oozie提交任务 并且因为kerberos认证,还需要Flink perjob 需要单独的keytab,才能细腻度的控制权限,因为我们现在部门之间计算

网上找了一下,自己写了个KerberosUtil工具类,测试过可以用. 注意这个不是 org.apache.hadoop.security.authentication.util.KerberosUtil类. public class KerberosUtil { /** * 通过Kerberos认证用户的,注意keytabPath为本地路径不是HDFS路径 * @param conf * @param user user为运行jar的hadoop用户 * @param keytabPath *

kafka的认证方式一般有如下3种: 1. SASL/GSSAPI  从版本0.9.0.0开始支持 2. SASL/PLAIN   从版本0.10.0.0开始支持 3. SASL/SCRAM-SHA-256 以及 SASL/SCRAM-SHA-512   从版本0.10.2.0开始支持 其中第一种SASL/GSSAPI的认证就是kerberos认证,对于java来说有原生的支持,但是对于python来说配置稍微麻烦一些,下面说一下具体的配置过程,confluent kafka模块底层依赖于lib

 CDH构建大数据平台-配置集群的Kerberos认证安全 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 当平台用户使用量少的时候我们可能不会在一集群安全功能的缺失,因为用户少,团队规模小,相对容易把控,开发人员直接也彼此了解.这时候只需要做好团队内部或是企业通过一些列行政管理手段就能管理好集群的安全问题.但是别忘了我们的平台定位可是作为一个单一的大数据来支持企业内部所有应用的.正所谓人上一百,形形色色.当平台用户达到一定数量之后其素质难免会参差不齐,大数据平台面对的也不再是

一.Kerberos 二.安装 node01服务器安装Kerberos的核心服务master KDC,node02和node03安装Kerberos client cm也安装在node01上了 1.master节点配置 在node01上 yum install krb5-server krb5-libs krb5-auth-dialog krb5-workstation 修改配置文件,/etc/krb5.conf [logging] default = FILE:/var/log/krb5lib

问题描述 业务需要一个长期运行的程序,将上传的文件存放至HDFS,程序启动后,刚开始一切正常,执行一段时间(一般是一天,有的现场是三天),就会出现认证错误,用的JDK是1.8,hadoop-client,对应的版本是2.5.1,为什么强调这个版本号,因为错误的根本原因就在于版本问题 错误日志 Caused by: org.ietf.jgss.GSSException: No valid credentials provided (Mechanism level: Failed to find a

目录 Kerberos认证原理 简介 client访问server过程 一.Authentication Service Exchange (AS Exchange) 二.Ticket Granting Service Exchange (TGS Exchange) 三.Client/Server Exchange (C/S Exchange) 配置基于Kerberos认证的NFS文件共享 环境 相关术语 Kerberos相关配置 一.配置hostname 二.配置KDC 三.配置Server

使用newAPIHadoopRDD接口访问hbase数据,网上有很多可以参考的例子,但是由于环境使用了kerberos安全加固,spark使用有kerberos认证的hbase,网上的参考资料不多,访问hbase时,有些需要注意的地方,这里简单记录下最后的实现方案以及实现过程中遇到的坑,博客有kerberos认证hbase在spark环境下的使用提供了很大的帮助!!! 环境及版本信息 CDH6.2.1大数据集群(包含yarn.spark.hdfs等组件) 项目pom文件 首先说明的是不需要安装s

问题 在cdh集群中开启了kerberos认证,hbase集群出现一点问题,需要通过zookeeper-client访问zookeeper,删除/hbase节点时候报错:Authentication is not valid : /hbase 解决 登录zk,查看权限 zookeeper-client -server ip:2181 [zk: ip:2181(CONNECTED) 1] getAcl /hbase 'world,'anyone : r 'sasl,'hbase : cdrwa 可

一.概念 使用BlukLoad方式利用Hbase的数据信息是 按照特点格式存储在HDFS里的特性,直接在HDFS中生成持久化的Hfile数据格式文件,然后完成巨量数据快速入库的操作,配合MapReduce完成这样的操作. 二.优点 1.不占用Region资源 2.不会产生巨量的写入I/O. 3.只需要较少的CPU和网络资源 三.实现原理 通过一个MapReduce Job来实现的,通过job直接生成一个Hbase的内部HFile格式文件 ,用来形成一个特殊的Hbase数据表,然后直接将数据文件加

public class Test {     private static Configuration conf;     private static FileSystem fs;     //开启kerberos认证     static {         System.setProperty("java.security.krb5.conf", "D:\\HDFS-test\\krb5.conf");         conf=new Configurat

Kerberos是一种安全认证协议,意在提供 more secure authentication simplified management of password convenience of single sign on Kerberos的基本结构 Kerberos Client: 申请服务的一方 Kerberized Service: 提供服务的一方 Kerberos KDC: 提供密码管理的认证的一方.Client和service provider都会将自己的私密保存在KDC中.  

一 ssh公钥认证流程: sshclinet机器:产生公私钥(公钥相当于一把锁) sshclient:将公钥发给sshserver(抛出锁子) sshclinet去连sshserver不需要密钥   二 ssh优化 cat /etc/ssh/sshd_config 追加一下 Port 22#ssh连接默认的端口 PermitRootLogin yes #root用户黑客都知道,禁止它远程登录 PermitEmptyPasswords no #禁止空密码登录 UseDNS no #不使用DNS G

公钥认证,是使用一对加密字符串,一个称为公钥(public key), 任何人都可以看到其内容,用于加密:另一个称为密钥(private key),只有拥有者才能看到,用于解密. 在使用jenkins自动构建并远程登录服务器进行发布应用的时候,需要使用SSH公钥认证来解决登录服务器的问题. 其实很简单,只需要两个指令即可. ssh-keygen -t rsa -P '' ssh-copy-id -i ~/.ssh/id_rsa.pub <IP> 假设有两台服务器,A是Jenkins构建服务器,

Kerberos是诞生于上个世纪90年代的计算机认证协议,被广泛应用于各大操作系统和Hadoop生态系统中.了解Kerberos认证的流程将有助于解决Hadoop集群中的安全配置过程中的问题.为此,本文根据最近阅读的一些材料,详细介绍Kerberos认证流程.欢迎斧正! Kerberos解决什么问题? 简单地说,Kerberos提供了一种单点登录(SSO)的方法.考虑这样一个场景,在一个网络中有不同的服务器,比如,打印服务器.邮件服务器和文件服务器.这些服务器都有认证的需求.很自然的,不可能让每

1)创建其他用户 useradd [-d 登录目录] [-G ssh][用户名]  一定要将用户添加到ssh组不然无法没有权限登录ssh 2)设置ssh不允许root登录 vi /etc/ssh/sshd_config 找到 PermitRootLogin yes 修改为PermitRootLogin no 并在尾部添加 AllowUsers  [用户名列表] 然后重启ssh服务,/etc/init.d/ssh restart 3)如何使用公钥认证 先解释下什么是公钥密钥: 公钥私钥是不对称加密