thin 客户端的实例代码 jdbc:phoenix:thin:url=<scheme>://<server-hostname>:<port>;authentication=SPNEGO 示例 jdbc:phoenix:thin:url=<scheme>://<server-hostname>:<port>;authentication=SPNEGO;principal=my_user;keytab=/home/my_user/my_…

1. 提交任务的命令 spark-submit \--class <classname> \--master yarn \--deploy-mode client \--executor-memory 2g \--executor-cores 2 \--driver-memory 2g \--num-executors 2 \--queue default \--principal ocsp-yg@ASIAINFO.COM \--keytab /etc/security/keytabs/hdf…

1.kerberos认证覆盖问题 先显示指定KRB5CCNAME存储的路径 export KRB5CCNAME=/tmp/krb5cc_xxx kinit -kt /home/xxx.keytab xxx…

用户名枚举 原理 不存在的用户 存在的用户 通过这个比较就可以写脚本改变cname的值进行用户名枚举. 利用 https://github.com/ropnop/kerbrute/ kerbrute.exe userenum -d muxue.com user.txt 获取到用户名后 就可以接着枚举密码了:也就是Password Spraying Password Spraying 原理 密码错误 密码成功 利用 kerbrute.exe passwordspray -d muxue.com u…

当我们使用Windows Authentication去连接SQL Server的时候,SQL Server可能会使用Kerberos或者是NTLM来进行认证,有时间就会因为认证失败的缘故造成各种登录错误(login failed).解决这些问题往往令人很迷惑.今天我们就来做一个简单的介绍. 1. Kerberos VS NTLM NTLM认证:Challenge – Response 模式 在使用NTLM协议时,客户端发送用户名到服务器端:服务器生成一个challenge并发送给客户端:客户端…

1.背景 互联网从来就不是一个安全的地方.很多时候我们过分依赖防火墙来解决安全的问题,不幸的是,防火墙是假设"坏人"是来自外部的,而真正具有破坏性的攻击事件都是往往都是来自于内部的. 近几年,在thehackernews等网站上总会时不时看到可以看到一些因为数据安全问题被大面积攻击.勒索的事件.在Hadoop1.0.0之前,Hadoop并不提供对安全的支持,默认集群内所有角色都是可靠的.用户访问时不需要进行任何验证,导致恶意用户很容易就可以伪装进入集群进行破坏. 要保证Hadoop集群…

Kerberos 介绍 Kerberos 是一个网络认证的框架协议,其设计的初衷便是通过密钥系统为 Client 和 Server 应用程序之间提供强大的认证服务.在使用 Kerberos 认证的集群中,Client 不会直接和 Server 进行认证,而是通过 KDC(Key Distribution Center)来完成互相的认证.首先,我们需要简单的介绍下跟 Kerberos 相关的术语,如表 1 所示. 表 1.Kerberos 相关的术语 术语 简述 KDC(Key Distribut…

Kerberos和NTLM - SQL Server https://www.cnblogs.com/dreamer-fish/p/3458425.html 当我们使用Windows Authentication去连接SQL Server的时候,SQL Server可能会使用Kerberos或者是NTLM来进行认证,有时间就会因为认证失败的缘故造成各种登录错误(login failed).解决这些问题往往令人很迷惑.今天我们就来做一个简单的介绍. 1. Kerberos VS NTLM NTLM…

kerberos相关: kadmin.local //以超管身份进入kadmin kadmin //进入kadmin模式,需输入密码 kdb5_util create -r JENKIN.COM -s //创建数据库 service krb5kdc start //启动kdc服务 service kadmin start //启动kadmin服务 service kprop start //启动kprop服务 kdb5_util dump /var/kerberos/krb5kdc/slave_…

背景 今天在使用JavaAPI来连接sqoop1.99.7的时候,遇到了个错误. 错误信息如下: 0 [main] WARN org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform… using builtin-java classes where applicable Exception in thread "main" org.apache.sq…

此篇文章仅做Kerberos的基本原理和基本使用做说明,本人对Kerberos了解有限,也是通过大量英文文档中翻译过来, 加上自己对Kerberos的理解所写,本人英文太菜,看文档看的头昏眼花若有写的不通顺的地方,请做参考实验部分,通过 实验部分,可让你对Kerberos有比较直观的认识,由于各方面原因,不能加过多图片,请自行实验看效果. 希望看客记住一句话: 快就是慢,慢就是快!! ---------马帮弟子:zcf =================================[这部分K…

kerberos && openldap 1.install openldap & kerberos server: yum install db4 db4-utils db4-devel cyrus-sasl* krb5-server-ldap -y yum install openldap openldap-servers openldap-clients openldap-devel compat-openldap -y 2.conf ldap rm -rf /var/lib…

CDH构建大数据平台-Kerberos高可用部署[完结篇] 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.  一.安装Kerberos相关的软件包并同步配置文件 1>.实验环境说明 [root@node101.yinzhengjie.org.cn ~]# cat /etc/redhat-release CentOS Linux release (Core) [root@node101.yinzhengjie.org.cn ~]# [root@node101.yinzhengji…

中心思想,设置kerberos环境变量时,发现JDK源码当中的一个问题,故描述如下. 在平时的使用中,如果hadoop集群配置kerberos认证的话,使用java访问hdfs或者hive时,需要先进行认证登陆,之后才可以访问.登陆代码大致如下: package demo.kerberos; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Pa…

目录 Kerberos认证原理 简介 client访问server过程 一.Authentication Service Exchange (AS Exchange) 二.Ticket Granting Service Exchange (TGS Exchange) 三.Client/Server Exchange (C/S Exchange) 配置基于Kerberos认证的NFS文件共享 环境 相关术语 Kerberos相关配置 一.配置hostname 二.配置KDC 三.配置Server…

目录 前置条件 kerberos相关 给hadoop各组件创建kerberos账号 将这些账号做成keytab core-site.xml HDFS datanode的安全配置 证书生成和安装 hdfs-site.xml的重点配置 ssl-client.xml 和 ssl-server.xml配置 yarn container-executor build LinuxContainerExecutor 配置container-executor.cfg 文件权限修改 mapreduce 启动 参考…

说明:这里是Linux服务综合搭建文章的一部分,本文可以作为单独搭建Kerberos和NTP时钟服务的参考. 注意:这里所有的标题都是根据主要的文章(Linux基础服务搭建综合)的顺序来做的. 如果需要查看相关软件版本和主机配置要求,请根据目录自行查看. Linux服务综合搭建的文章目录 ==================================================== Linux基础服务搭建综合 1.foundation创建yum仓库 2.部署DNS 3.将YUM源通过h…

本主要介绍在 Kafka 中如何配置 Kerberos 认证,文中所使用到的软件版本:Java 1.8.0_261.Kafka_2.12-2.6.0.Kerberos 1.15.1. 1. Kerberos 安装 要使用 Kerberos 服务,需先安装 Kerberos,安装方法可参考:Kerberos 安装及使用. 2. Kafka 开启 Kerberos 认证 节点信息如下: IP 主机名 描述 10.0.16.14 centos-01 zookeeper.kafka 2.1 创建 key…

Flume官方文档翻译--Flume 1.7.0 User Guide (unreleased version)(一) Flume官方文档翻译--Flume 1.7.0 User Guide (unreleased version)(二) Flume Properties Property Name            Default  Description flume.called.from.service – If this property is specified then the…

http://tech.meituan.com/hadoop-security-practice.html 前言 在2014年初,我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版, 与此同时部署了 Hadoop 的安全认证.本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及相应的解决方法. 背景 集群安全措施相对薄弱 最早部署Hadoop集群时并没有考虑安全问题,随着集群的不断扩大, 各部门对集群的使用需求增加,集群安全问题就显得颇为重…

翻译自官网flume1.8用户指南,原文地址:Flume 1.8.0 User Guide 篇幅限制,分为以下5篇: [翻译]Flume 1.8.0 User Guide(用户指南) [翻译]Flume 1.8.0 User Guide(用户指南) source [翻译]Flume 1.8.0 User Guide(用户指南) Sink [翻译]Flume 1.8.0 User Guide(用户指南) Channel [翻译]Flume 1.8.0 User Guide(用户指南) Proces…

前言 在2014年初,我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版, 与此同时部署了 Hadoop 的安全认证.本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及相应的解决方法. 背景 集群安全措施相对薄弱 最早部署Hadoop集群时并没有考虑安全问题,随着集群的不断扩大, 各部门对集群的使用需求增加,集群安全问题就显得颇为重要.说到安全问题,一般包括如下方面: 用户认证(Authentication)即是对用户身份进行核对, 确认…

概述 Apache Flume是一个分布式,可靠且可用的系统,用于有效地从许多不同的source收集,聚合和移动大量日志数据到集中式数据存储. Apache Flume的使用不仅限于日志数据聚合.由于数据source是可定制的,因此Flume可用于传输大量event 数据,包括但不限于网络流量数据,社交媒体生成的数据,电子邮件消息以及几乎任何可能的数据source. Apache Flume是Apache Software Foundation的顶级项目. 系统要求 Java运行时环境 - Ja…

本次遇到的问题描述,日志采集同步时,当单条日志(日志文件中一行日志)超过2M大小,数据无法采集同步到kafka,分析后,共踩到如下几个坑.1.flume采集时,通过shell+EXEC(tail -F xxx.log 的方式) source来获取日志时,当单条日志过大超过1M时,source端无法从日志中获取到Event.2.日志超过1M后,flume的kafka sink 作为生产者发送给日志给kafka失败,kafka无法收到消息.以下针对踩的这两个坑做分析,flume 我使用的是1.9.0…

我被被派去做别的事情了,所以与hadoop相关的工作就只能搁下.写篇总结,把最近遇到的和kerberos相关的东西列一下. JAAS是Java 认证和授权服务(Java Authentication and Authorization Service)的缩写,是PAM框架的Java实现.javax.sercurity.auth.Subject是一个不可继承的实体类,它表示单个实体的一组相关信息,与请求的来源相关.javax.security.auth.Principal是一个接口,表示带有不同类…

前言 在当前的复杂分布式架构环境下,服务治理已经大行其道.但目光往下一层,从上层 APP.Service,到底层计算引擎这一层面,却还是各个引擎各自为政,Client-Server 模式紧耦合满天飞的情况.如何做好“计算治理”,让复杂环境下各种类型的大量计算任务,都能更简洁.灵活.有序.可控的提交执行,和保障成功返回结果?计算中间件 Linkis 就是上述问题的最佳实践. 一.复杂分布式架构环境下的计算治理有什么问题? 1. 什么是复杂分布式架构环境? 分布式架构,指的是系统的组件分布在通过网络…

最近又复习了一下内网的相关知识,把以前的整理了一下发出来做个记录. 0x01 哈希传递攻击概念 有一点内网渗透经验的都应该听说过哈希传递攻击,通过找到相应账户相关的密码散列值(LM Hash,NTLM Hash)来进行未授权登陆. 可参考Wikipedia的介绍,地址如下:https://en.wikipedia.org/wiki/Pass_the_hash 在域环境中,用户登录计算机时使用的大都是域账号,大量计算机在安装时会使用相同的本地管理员账号和密码,因此,如果计算机的本地管理员账号和密码…

Apache Kyuubi(Incubating)(下文简称Kyuubi)是⼀个构建在Spark SQL之上的企业级JDBC网关,兼容HiveServer2通信协议,提供高可用.多租户能力.Kyuubi 具有可扩展的架构设计,社区正在努力使其能够支持更多通信协议(如 RESTful. MySQL)和计算引擎(如Flink). Kyuubi的愿景是让大数据平民化.一个的典型使用场景是替换HiveServer2,帮助企业把HiveQL迁移到Spark SQL,轻松获得10~100倍性能提升(具体提升…

点亮 ️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler 精彩回顾 近期,初灵科技的大数据开发工程师钟霈合在社区活动的线上 Meetup 上中,给大家分享了<基于 Apache DolphinScheduler 对千亿级数据的应用实践>主题演讲. 我们对于千亿级数据量的数据同步需求,进行分析和选型后,初灵科技最终决定使用DolphinScheduler进行任务调度,同时需要周期性调度 DataX.SparkSQL…

目录SAIU R20 1 6 第1页第1 章. 初识STM32...................................................................................................................... 11.1. 课前预习..........................................................................................…