本主要介绍在 Kafka 中如何配置 Kerberos 认证,文中所使用到的软件版本:Java 1.8.0_261.Kafka_2.12-2.6.0.Kerberos 1.15.1. 1. Kerberos 安装 要使用 Kerberos 服务,需先安装 Kerberos,安装方法可参考:Kerberos 安装及使用. 2. Kafka 开启 Kerberos 认证 节点信息如下: IP 主机名 描述 10.0.16.14 centos-01 zookeeper.kafka 2.1 创建 key…

之前说过python confluent kafka客户端做kerberos认证的过程,如果使用kafka python客户端的话同样也可以进行kerberos的认证,具体的认证机制这里不再描述,主要叙述配置认证的过程 需要的模块有下面这些: kafka-python:https://pypi.org/project/kafka-python/ gssapi:https://pypi.org/project/gssapi/ decorator:https://pypi.org/project/d…

转载请注明出处:http://www.cnblogs.com/xiaodf/ 之前的博客介绍了通过Kerberos + Sentry的方式实现了hive server2的身份认证和权限管理功能,本文主要介绍Spark SQL JDBC方式操作Hive库时的身份认证和权限管理实现. ThriftServer是一个JDBC/ODBC接口,用户可以通过JDBC/ODBC连接ThriftServer来访问SparkSQL的数据.ThriftServer在启动的时候,会启动了一个sparkSQL的应用程序…

DBeaver链接kerberos安全认证的Phoenix集群 最近公司的CDH集群,启动了kerberos安全认证,所有的用户验证全部需要依赖kerberos来进行.之前的裸奔集群,总算有了一些安全认证的功能,虽然网上很多人都说不推荐使用kerberos进行集群的安全认证,但是也没有说明使用哪种安全认证的方式会更好,目前比较现成的安全认证方式也只知道kerberos. 使用kerberos认证之后,原本的Phoenix sqlline可以在存有kerberos缓存票据的机器上直接运行,链接方式…

Kylin开启Kerberos安全认证, 由于Kylin是依赖Hbase启动的, Kylin启动脚本kylin.sh中就是调用的Hbase的启动脚本, 所以当Hbase开启了Keberos之后就等于Kylin开启Kerberos, 但是由于Kylin自己有基本的用户名密码登陆管理, 目前Kylin代码中没有关于Kerberos的显示使用.…

一.背景 kafka提供了多种安全认证机制,主要分为SSL和SASL2大类.其中SASL/PLAIN是基于账号密码的认证方式,比较常用.最近做了个kafka的鉴权,发现官网上讲的不是很清楚,网上各种博客倒是很多,但是良莠不齐,巨多坑.经过一天的研究,终于搞定了,特在此记录下. 二.环境 操作系统:linux kafka版本:kafka_2.12-0.11.0.1 zookeeper版本:zookeeper-3.5.1-alpha 三.认证步骤 3.1.Zookeeper配置和启动 1.为zook…

一.JAAS配置 Zookeeper配置JAAS zookeeper环境下新增一个配置文件,如zk_server_jass.conf,内容如下: Server { org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin" user_admin="admin"; }; 其作用是:在改zookeeper节点创建了…

ZooKeeper的ACL机制 zookeeper通过ACL机制控制znode节点的访问权限. 首先介绍下znode的5种操作权限:CREATE.READ.WRITE.DELETE.ADMIN 也就是 增.删.改.查.管理权限,这5种权限简写为crwda(即:每个单词的首字符缩写)注:这5种权限中,delete是指对子节点的删除权限,其它4种权限指对自身节点的操作权限 身份的认证有4种方式: world:默认方式,相当于全世界都能访问 auth:代表已经认证通过的用户(cli中可以通过addau…

目录 kafka 2.x用户认证方式小结 SASL/PLAIN实例(配置及客户端) broker配置 客户端配置 自定义SASL/PLAIN认证(二次开发) kafka2新的callback接口介绍 自定义sasl/plain功能 用户认证功能,是一个成熟组件不可或缺的功能.在0.9版本以前kafka是没有用户认证模块的(或者说只有SSL),好在kafka0.9版本以后逐渐发布了多种用户认证功能,弥补了这一缺陷(这里仅介绍SASL). 本篇会先介绍当前kafka的四种认证方式,然后过一遍部署SA…

Kerberos是诞生于上个世纪90年代的计算机认证协议,被广泛应用于各大操作系统和Hadoop生态系统中.了解Kerberos认证的流程将有助于解决Hadoop集群中的安全配置过程中的问题.为此,本文根据最近阅读的一些材料,详细介绍Kerberos认证流程.欢迎斧正! Kerberos解决什么问题? 简单地说,Kerberos提供了一种单点登录(SSO)的方法.考虑这样一个场景,在一个网络中有不同的服务器,比如,打印服务器.邮件服务器和文件服务器.这些服务器都有认证的需求.很自然的,不可能让每…

前些日子要封装一个kafka的客户端驱动,配置了下kafka环境,发现配置复杂度完爆rabbitmq很多倍啊,而且发布订阅模式使用起来也很麻烦,可能就胜在分布式了吧. kafka需要java环境,自行安装java sdk 1.8+. http://kafka.apache.org/downloads 官方加载安装包,当前为kafka_2.11-1.1.0.tgz (新版kafka包内集成了zookeeper,直接启动即可) 解压缩后kafka目录下文件: 配置: config路径下配置文件: c…

0x01 为什么要理解windows 安全认证机制: 加深对后续各种漏洞利用的理解深度,还是那句话,要知其然,更要知其所以然,不废话,咱们直接开始 0x02 windows认证协议主要有以下两种: 基于ntlm的认证方式,主要用在早期的windows工作组环境中,认证的过程也相对比较简单 另一种是基于Kerberos的认证方式,主要用在域环境中,下面就这两种不同的认证方式做些简要的通信流程说明 0x03 关于ntlm认证流程简要说明,如下: 0x04 从图中我们可以清晰的看到,ntlm在域中的认…

最近一段时间都在折腾安全(Security)方面的东西,比如Windows认证.非对称加密.数字证书.数字签名.TLS/SSL.WS-Security等.如果时间允许,我很乐意写一系列的文章与广大网友分享.交流.对于很多读者来说,今天讨论的可能是一个既熟悉.又陌生的话题——Windows认证. 目录 一.Kerberos认证简介 二.如何获得“认购权证”? 三.如何通过“认购权证”购买“入场券”? 四.凭票入场 一.Kerberos认证简介 Windows认证协议有两种NTLM(NT LAN M…

1 引言 在希腊神话中Kerberos是守护地狱之门的一条凶猛的三头神犬,而我们在本文中所要介绍的Kerberos认证协议是由美国麻省理工学院(MIT)首先提出并实现的,是该校雅典娜计划的一部分.这个定名是贴切的,因为Kerberos认证是一个三路处理过程,依赖称为密钥分发中心(KDC)的第三方服务来验证计算机相互的身份,并建立密钥以保证计算机间安全连接.本质上每台计算机分享KDC一个秘钥,而KDC有两个部件:一个Kerberos 认证服务器和一个票据授权服务器.如果KDC不知道被请求目标服务器…

前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候,讲了半天也别把那位老兄讲明白,还差点把自己给绕进去.后来想想原因有以下两点:对于一个没有完全不了解Kerberos的人来说,Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密.一会儿又要以另一个Key进行加密,确实很容易把人给弄晕:另一方面是我讲解方式有问题,一开始就从Kerberos的3个Sub-protocol全面讲述整个Authentication…

1 概述 开发调试spark程序时,因为要访问开启kerberos认证的hive/hbase/hdfs等组件,每次调试都需要打jar包,上传到服务器执行特别影响工作效率,所以调研了下如何在windows环境用idea直接跑spark任务的方法,本文旨在记录配置本地调试环境中遇到的问题及解决方案. 2 环境 Jdk 1.8.0 Spark 2.1.0 Scala 2.11.8 Hadoop 2.6.0-cdh5.12.1 Hive 1.1.0-cdh5.12.1 环境搭建略,直接看本地调试spar…

 CDH构建大数据平台-配置集群的Kerberos认证安全 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 当平台用户使用量少的时候我们可能不会在一集群安全功能的缺失,因为用户少,团队规模小,相对容易把控,开发人员直接也彼此了解.这时候只需要做好团队内部或是企业通过一些列行政管理手段就能管理好集群的安全问题.但是别忘了我们的平台定位可是作为一个单一的大数据来支持企业内部所有应用的.正所谓人上一百,形形色色.当平台用户达到一定数量之后其素质难免会参差不齐,大数据平台面对的也不再是…

Windows安全认证是如何进行的?[Kerberos篇] NTLM 的简单看了一下 基本上了解了.. 这个KERBEROS 的看不太懂 感觉说的我也有点迷糊.. 虽然是对称加密的 但是不清不楚的..改天仔细再学习一下. 最近一段时间都在折腾安全(Security)方面的东西,比如Windows认证.非对称加密.数字证书.数字签名.TLS/SSL.WS-Security等.如果时间允许,我很乐意写一系列的文章与广大网友分享.交流.对于很多读者来说,今天讨论的可能是一个既熟悉.又陌生的话题——Wi…

目录 Kerberos认证原理 简介 client访问server过程 一.Authentication Service Exchange (AS Exchange) 二.Ticket Granting Service Exchange (TGS Exchange) 三.Client/Server Exchange (C/S Exchange) 配置基于Kerberos认证的NFS文件共享 环境 相关术语 Kerberos相关配置 一.配置hostname 二.配置KDC 三.配置Server…

public class Test {     private static Configuration conf;     private static FileSystem fs;     //开启kerberos认证     static {         System.setProperty("java.security.krb5.conf", "D:\\HDFS-test\\krb5.conf");         conf=new Configurat…

摸鱼了很长一段时间,被大佬按在地上摩擦,一时间精神恍惚想不起来写点啥,正好回来碰巧给别人讲kerberos协议认证流程,结果讲来讲去把自己讲晕了,就非常尴尬 于是有了这篇文章(友情提示:无事莫装X,装X遭人X),争取用我简单浅显而贫乏的词汇量,描述一下相关流程 0x01  认知 (1) 这是一个关于kerberos的经典图示,最简化地展示了kerberos的验证流程 kerberos是一种网络身份认证协议,设计目标是为了通过秘钥系统为C/S应用程序提供一种可靠的认证协议.它是双向验证的,即在保证…

http://www.cnblogs.com/artech/archive/2011/01/24/kerberos.html 最近一段时间都在折腾安全(Security)方面的东西,比如Windows认证.非对称加密.数字证书.数字签名.TLS/SSL.WS- Security等.如果时间允许,我很乐意写一系列的文章与广大网友分享.交流.对于很多读者来说,今天讨论的可能是一个既熟悉.又陌生的话题-- Windows认证. 目录 一.Kerberos认证简介 二.如何获得"认购权证"?…

​文章首发于公众号<Z2O安全攻防>​ 直接公众号文章复制过来的,排版可能有点乱, 可以去公众号看. https://mp.weixin.qq.com/s/WMGkQoMnQdyG8UmSyrAGIg 前言 Windows认证一般包括本地认证(NTLM HASH)和域认证(kerberos). 认证的原理网上有很多文章.如果喜欢听视频课程的话,这里推荐倾旋师傅的分享课 https://www.bilibili.com/video/BV1S4411e7hr?spm_id_from=333.788…

使用ranger对kafka进行鉴权测试环境:ranger-kafka-plugin为0.6.3版本,kafka版本为kafka_2.10-0.10.1.1,且kafka broker为一个节点.一.Ranger对kafka进行权限控制,前提需要kafka开启kerberos认证(注意:若kafka不开启kerberos的话Ranger无法获取kafka相关操作的用户,进而无法完成鉴权操作)二.开启kerberos认证包括zookeeper开启kerberos认证,kafka开启zookeepe…

<Apache kafka实战>读书笔记-管理Kafka集群安全之ACL篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 想必大家能看到这篇博客的小伙伴,估计你对kafka已经有了深入对一步了解了,因为现在的你已经不考虑如何部署kafka以及调优了,而是考虑到kafka安全的问题.其实,在很多企业中,很少有人考虑到kafka的安全,小到几十人的小型互联网公司,达到某些云平台的云服务(我这里就不说是哪家云公司了),他们默认都是不会给kafka配置相关安全策略的,而是要求用户自…

kerberos简单介绍 kerberos这一名词来源于希腊神话“三个头的狗---地狱之门守护者”后来沿用作为安全认证的概念,该系统设计上 采用客户端/服务器结构与DES(Data Encryption Standard标准加密技术),AES(Advanced Encryption Standerd 高级加密技术)等加密技术,并且能够进行相互认证,即客户端和服务端均可对对方进行身份认证.可以防止窃听. 防止replay攻击.保护数据完整性等场合,是一种应对对称密钥体制进行密钥管理的系统. 基本概…

一.概述 在Kafka0.9版本之前,Kafka集群时没有安全机制的.Kafka Client应用可以通过连接Zookeeper地址,例如zk1:2181:zk2:2181,zk3:2181等.来获取存储在Zookeeper中的Kafka元数据信息.拿到Kafka Broker地址后,连接到Kafka集群,就可以操作集群上的所有主题了.由于没有权限控制,集群核心的业务主题时存在风险的. 权限控制类型 kafka权限控制整体可以分为三种类型: 基于SSL 基于Kerberos(此认证一般基于CDH…

Canal Server发送binlog消息到Kafka消息队列中 一.背景 二.需要修改的地方 1.canal.properties 配置文件修改 1.修改canal.serverMode的值 2.修改kafka配置 2.修改 instance.propertios 配置文件 3.canal发消息到mq性能优化 三.kafka接收消息 1.canal 发送过来的消息 2.监听消息 3.获取消息 四.MQ配置相关的参数 五.MQ接收binlog代码 六.参考文章 一.背景 在上一篇文章中,我们使…

1. 概述 Kerberos可以与CDH集成,CDH里面可以管理与hdfs.yarn.hbase.yarn.kafka等相关组件的kerberos凭证.但当我们不使用CDH的时候,也需要了解hdfs.yarn.hbase和kafka是如何配置关联kerberos的. 该文是建立在Kerberos基本原理.安装部署及用法博客的前提上的,需要首先了解Kerberos的基本原理.安装用法,才能阅读下文. 集群机器信息为: ip hostname 192.168.1.150 cdh1 192.168.1…

转载请注明出处:http://www.cnblogs.com/xiaodf/ 2. 安装 Kerberos2.1. 环境配置 安装kerberos前,要确保主机名可以被解析. 主机名 内网IP 角色 Vmw201 172.16.18.201 Master KDC Vmw202 172.16.18.202 Kerberos client Vmw203 172.16.18.203 Kerberos client 2.2 Configuring a Kerberos Server2.2.1 确保环境可…