使用Kerberos进行Hadoop认证 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. Kerberos是一种网络身份验证协议.它旨在通过使用秘密密钥加密为客户端/服务器应用程序提供强身份验证.麻省理工学院可以免费实施该协议.Kerberos也可用于许多商业产品. 尽管有许多配置参数和设置,但配置一个受Kerberos管理的Hadoop集群还是相当简单的.只要清楚地了解在前面部分中介绍的Kerberos概念,就可以自信地使用Kerberos来保护集群. 总之,Kerberos…

目录 前置条件 kerberos相关 给hadoop各组件创建kerberos账号 将这些账号做成keytab core-site.xml HDFS datanode的安全配置 证书生成和安装 hdfs-site.xml的重点配置 ssl-client.xml 和 ssl-server.xml配置 yarn container-executor build LinuxContainerExecutor 配置container-executor.cfg 文件权限修改 mapreduce 启动 参考…

本文由作者周梁伟授权网易云社区发布. 一般我们在使用kbs登陆hadoop服务时都直接在shell中调用kinit命令来获取凭证,这种方式简单直接,只要获取一次凭证之后都可以在该会话过程中重复访问.但是这种方式一个明显的问题就是如果在本次shell中会间隔调用不同的java程序,而这些程序需要访问不同权限的问题,需要在访问前调用各自的ktab文件获得授权.这中场景下情况会变得非常复杂,这时如果把kbs认证的过程移到java程序中就会简单很多,每个java程序中获取各自的凭证,及时多个进程同时运行…

转载请注明出处:http://www.cnblogs.com/xiaodf/ 之前的博客介绍了通过Kerberos + Sentry的方式实现了hive server2的身份认证和权限管理功能,本文主要介绍Spark SQL JDBC方式操作Hive库时的身份认证和权限管理实现. ThriftServer是一个JDBC/ODBC接口,用户可以通过JDBC/ODBC连接ThriftServer来访问SparkSQL的数据.ThriftServer在启动的时候,会启动了一个sparkSQL的应用程序…

Kerberos是诞生于上个世纪90年代的计算机认证协议,被广泛应用于各大操作系统和Hadoop生态系统中.了解Kerberos认证的流程将有助于解决Hadoop集群中的安全配置过程中的问题.为此,本文根据最近阅读的一些材料,详细介绍Kerberos认证流程.欢迎斧正! Kerberos解决什么问题? 简单地说,Kerberos提供了一种单点登录(SSO)的方法.考虑这样一个场景,在一个网络中有不同的服务器,比如,打印服务器.邮件服务器和文件服务器.这些服务器都有认证的需求.很自然的,不可能让每…

Hadoop Security Authentication Terminology --Kerberos What is kinit? Kinit -  obtain and cache Kerberos ticket-grantingticket If you use the kinit commandto get your tickets, make sure you use the kdestroy command to destroy yourtickets before you en…

1.1 What is Kerberos 1.1.1 简单介绍 Kerberos是一个用于鉴定身份(authentication)的协议, 它采取对称密钥加密(symmetric-key cryptography),这意味着密钥不会在网络上传输.在Kerberos中,未加密的密码(unencrypted password)不会在网络上传输,因此攻击者无法通过嗅探网络来偷取用户的密码. Kerberos利用对称加密和受信任的第三方(即KDC, key distribution center)来鉴别…

1.1 kerberos认证浅析 1.kerberos定义 1. Kerberos 是一种网络认证协议,其设计目标是通过密钥系统为客户机 / 服务器应用程序提供强大的认证服务. 2. Kerberos 作为一种可信任的第三方认证服务,是通过传统的密码技术(如:共享密钥)执行认证服务的. 3. Kerberos也能达到单点登录的效果,即当Client通过了Kerberos server的认证后,便可以访问多个Real Server. 2.kerberos几个重要组件 1. KDC:负责分发密钥的密…

0.背景 聆听了n1nty大佬(90后黑客代表)的谆谆指导,学习了n1nty大佬的基本操作,决定总结一下,做一个简要的读书笔记,也把之前自己记录的关于Windows的安全的一些博客能够串联起来.所以首先鸣谢:90后黑客代表n1nty大佬. 1.Kerberos的基本认证 1.1.NTLM的挑战认证 不啰嗦,直接说要点,server接到client的请求认证后,会回复16字节随机数据,也就是挑战.client使用自己生成的账号的NTLM的hash值对挑战数据进行某种加密运算,发送到server,s…

0x01 为什么要理解windows 安全认证机制: 加深对后续各种漏洞利用的理解深度,还是那句话,要知其然,更要知其所以然,不废话,咱们直接开始 0x02 windows认证协议主要有以下两种: 基于ntlm的认证方式,主要用在早期的windows工作组环境中,认证的过程也相对比较简单 另一种是基于Kerberos的认证方式,主要用在域环境中,下面就这两种不同的认证方式做些简要的通信流程说明 0x03 关于ntlm认证流程简要说明,如下: 0x04 从图中我们可以清晰的看到,ntlm在域中的认…

Cloudera Cloudera公司主要提供Apache Hadoop开发工程师认证(Cloudera CertifiedDeveloper for Apache Hadoop ,CCDH)和Apache Hadoop管理工程师认证(Cloudera CertifiedAdministrator for Apache Hadoop ,CCAH),更多相关信息,请参阅Cloudera公司官方网站.   Hortonworks Hortonworks Hadoop培训课程是由Apache Hado…

最近一段时间都在折腾安全(Security)方面的东西,比如Windows认证.非对称加密.数字证书.数字签名.TLS/SSL.WS-Security等.如果时间允许,我很乐意写一系列的文章与广大网友分享.交流.对于很多读者来说,今天讨论的可能是一个既熟悉.又陌生的话题——Windows认证. 目录 一.Kerberos认证简介 二.如何获得“认购权证”? 三.如何通过“认购权证”购买“入场券”? 四.凭票入场 一.Kerberos认证简介 Windows认证协议有两种NTLM(NT LAN M…

1 引言 在希腊神话中Kerberos是守护地狱之门的一条凶猛的三头神犬,而我们在本文中所要介绍的Kerberos认证协议是由美国麻省理工学院(MIT)首先提出并实现的,是该校雅典娜计划的一部分.这个定名是贴切的,因为Kerberos认证是一个三路处理过程,依赖称为密钥分发中心(KDC)的第三方服务来验证计算机相互的身份,并建立密钥以保证计算机间安全连接.本质上每台计算机分享KDC一个秘钥,而KDC有两个部件:一个Kerberos 认证服务器和一个票据授权服务器.如果KDC不知道被请求目标服务器…

前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候,讲了半天也别把那位老兄讲明白,还差点把自己给绕进去.后来想想原因有以下两点:对于一个没有完全不了解Kerberos的人来说,Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密.一会儿又要以另一个Key进行加密,确实很容易把人给弄晕:另一方面是我讲解方式有问题,一开始就从Kerberos的3个Sub-protocol全面讲述整个Authentication…

Windows安全认证是如何进行的?[Kerberos篇] NTLM 的简单看了一下 基本上了解了.. 这个KERBEROS 的看不太懂 感觉说的我也有点迷糊.. 虽然是对称加密的 但是不清不楚的..改天仔细再学习一下. 最近一段时间都在折腾安全(Security)方面的东西,比如Windows认证.非对称加密.数字证书.数字签名.TLS/SSL.WS-Security等.如果时间允许,我很乐意写一系列的文章与广大网友分享.交流.对于很多读者来说,今天讨论的可能是一个既熟悉.又陌生的话题——Wi…

http://www.cnblogs.com/artech/archive/2011/01/24/kerberos.html 最近一段时间都在折腾安全(Security)方面的东西,比如Windows认证.非对称加密.数字证书.数字签名.TLS/SSL.WS- Security等.如果时间允许,我很乐意写一系列的文章与广大网友分享.交流.对于很多读者来说,今天讨论的可能是一个既熟悉.又陌生的话题-- Windows认证. 目录 一.Kerberos认证简介 二.如何获得"认购权证"?…

​文章首发于公众号<Z2O安全攻防>​ 直接公众号文章复制过来的,排版可能有点乱, 可以去公众号看. https://mp.weixin.qq.com/s/WMGkQoMnQdyG8UmSyrAGIg 前言 Windows认证一般包括本地认证(NTLM HASH)和域认证(kerberos). 认证的原理网上有很多文章.如果喜欢听视频课程的话,这里推荐倾旋师傅的分享课 https://www.bilibili.com/video/BV1S4411e7hr?spm_id_from=333.788…

使用java client访问kerberos-secured cluster,最重要的是先从admin那里拿到可用的keytab文件,用来作认证.接下来就是调整连接的配置.以下先用连接hdfs为例进行说明. 申请可用的keytab文件 1. 申请可认证的keytab文件,keytab文件用来存储principal的key.由KDC那边生成的principal,最终可以存储在keytab文件中. 2. 安装Kerberos client常用命令,并熟悉kerberos认证原理. 3. 配置/et…

随着Hadoop越来越普及,对合适的管理平台的需求成为当前亟待解决的问题.已经有几个商业性的Hadoop管理平台,如Cloudera Enterprise Manager,但Apache Ambari是第一个开源实现.Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应.管理和监控.Ambari目前已支持大多数Hadoop组件,包括HDFS.MapReduce.Hive.Pig.Hbase.Zookeper.Sqoop和Hcatalog等. Shaun Co…

基本描述 Kerberos使用Needha-Schroeder协议作为它的基础.它使用了一个由两个独立的逻辑部分:认证服务器和票据授权服务器组成的"可信赖的第三方",术语称为密钥分发中心(KDC).Kerberos工作在用于证明用户身份的"票据"的基础上. KDC持有一个密钥数据库:每个网络实体--无论是客户还是服务器--共享了一套只有他自己和KDC知道的密钥.密钥的内容用于证明实体的身份.对于两个实体间的通信,KDC产生一个会话密钥,用来加密他们之间的交互信息.…

Hadoop版本:2.6.0 本文系从官方文档翻译而来,转载请尊重译者的工作,注明以下链接: http://www.cnblogs.com/zhangningbo/p/4146410.html 简介 本文描述了超级用户如何用一种安全的方法以其他用户的名义提交作业或者访问HDFS. 使用场景 下一节描述的代码示例适用于下面的使用场景. 超级用户super以用户joe的名义提交作业并访问HDFS.这个超级用户拥有kerberos秘钥,而用户joe没有.任务必须以用户joe的身份来执行,而且对name…

1.课程环境 本课程涉及的技术产品及相关版本: 技术 版本 Linux CentOS 6.5 Java 1.7 Hadoop2.0 2.6.0 Hadoop1.0 1.2.1 Zookeeper 3.4.6 CDH Hadoop 5.3.0 Vmware 10 Hive 0.13.1 HBase 0.98.6 Impala 2.1.0 Oozie 4.0.0 Hue 3.7.0 2.内容简介 本教程针对有一定Hadoop基础的学员,深入讲解如下方面的内容: 1.Hadoop2.0高阶运维,包括H…

介绍 Hadoop中的安全机制包括认证和授权.而Hadoop RPC中采用SASL(Simple Authentication and Security Layer,简单认证和安全层)进行安全认证,具体认证方法涉及Kerberos和DIGEST-MD5两种. 在这种机制中,Kerberos用于在客户端和服务器端之间建立一条安全的网络连接,之后客户端可通过该连接从服务器端获取一个密钥.由于该密钥仅有客户端和服务器端知道,因此,接下来客户端可使用该共享密钥获取服务的认证.使用共享密钥进行安全认证(使…

http://tech.meituan.com/hadoop-security-practice.html 前言 在2014年初,我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版, 与此同时部署了 Hadoop 的安全认证.本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及相应的解决方法. 背景 集群安全措施相对薄弱 最早部署Hadoop集群时并没有考虑安全问题,随着集群的不断扩大, 各部门对集群的使用需求增加,集群安全问题就显得颇为重…

接上一个属性,这个属性就是设置阈值的. hadoop.security.groups.cache.secs 300 配置用户组映射缓存时间的,当过期时重新获取并缓存. hadoop.security.groups.negative-cache.secs 30 当无效用户频繁访问,用于设置缓存锁定时间.建议设置为较小的值,也可以通过设置为0或负数来禁用此属性. hadoop.security.groups.cache.warn.after.ms 5000 当查询用户组时间超过设置的这个阈值时,则作…

1.背景 互联网从来就不是一个安全的地方.很多时候我们过分依赖防火墙来解决安全的问题,不幸的是,防火墙是假设"坏人"是来自外部的,而真正具有破坏性的攻击事件都是往往都是来自于内部的. 近几年,在thehackernews等网站上总会时不时看到可以看到一些因为数据安全问题被大面积攻击.勒索的事件.在Hadoop1.0.0之前,Hadoop并不提供对安全的支持,默认集群内所有角色都是可靠的.用户访问时不需要进行任何验证,导致恶意用户很容易就可以伪装进入集群进行破坏. 要保证Hadoop集群…

目录: 1.涉及插件简介 2.安装步骤 3.日志错误查看 1.kerberos是什么东西 度娘指导: Kerberos 是一种网络认证协议,其设计目标是通过密钥系统为 客户机 / 服务器 应用程序提供强大的认证服务.该认证过程的实现不依赖于主机操作系统的认证,无需基于主机地址的信任,不要求网络上所有主机的物理安全,并假定网络上传送的数据包可以被任意地读取.修改和插入数据.在以上情况下, Kerberos 作为一种可信任的第三方认证服务,是通过传统的密码技术(如:共享密钥)执行认证服务的. 认证过…

前言 近期在公司接到一个任务.是关于数据採集方面的. 需求主要有3个: 通过web端上传文件到HDFS; 通过日志採集的方式导入到HDFS; 将数据库DB的表数据导入到HDFS. 正好近期都有在这方面做知识储备.正所谓养兵千日,用兵一时啊. 学习到的东西仅仅有应用到真实的环境中才有意义不是么. 环境 这里仅仅做模拟环境.而不是真实的线上环境,所以也非常easy.假设要使用的话还须要优化优化. OS Debian 8.7 Hadoop 2.6.5 SpringBoot 1.5.1.RELEASE…

前言 在2014年初,我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版, 与此同时部署了 Hadoop 的安全认证.本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及相应的解决方法. 背景 集群安全措施相对薄弱 最早部署Hadoop集群时并没有考虑安全问题,随着集群的不断扩大, 各部门对集群的使用需求增加,集群安全问题就显得颇为重要.说到安全问题,一般包括如下方面: 用户认证(Authentication)即是对用户身份进行核对, 确认…

什么是Sentry? Sentry 是Cloudera 公司发布的一个Hadoop开源组件,它提供细粒度基于角色的安全控制 Sentry下的数据访问和授权 通过引进Sentry,Hadoop目前可在以下方面满足企业和政府用户的RBAC(role-based acess control)需求: 安全授权:Sentry可以控制数据访问,并对已通过验证的用户提供数据访问特权. 细粒度访问控制:Sentry支持细粒度的Hadoop数据和元数据访问控制.在Hive和Impala中Sentry的最初发行版本…