一.生成主体 在kerberos服务器生成用于ranger的用户主体: # kadmin.local addprinc -randkey HTTP/manager1@HADOOP.COM addprinc -randkey rangadmin/manager1@HADOOP.COM ktadd -norandkey -kt rangadmin.keytab HTTP/manager1@HADOOP.COM rangadmin/manager1@HADOOP.COM 拷贝rangadmin.key…

版本信息如下: hadoop2.9.2 hive 2.x ranger 最新版2.1.0 在hive端部署完ranger 插件以后,在使用beeline连接查询数据库时报错,报错信息如下: verbose: on : jdbc:hive2://192.168.0.9:10000> show databases; Getting log thread is interrupted, since query is done! Error: Error running query: java.lang…

----------------------目录导航见左上角------------------------------- 环境 HDP 3.0.1.0 (已有) JDK   1.8.0_91 (已有) Mysql  5.7.25 (已有) Kerberos       1.10.3-30 (后续文档中有介绍如何安装) LDAP       knox自带的通用LDAP (已有) Ranger    1.1.0 (已有) 目的 集成HDP kerberos /LDAP/ranger之前必须先了解为…

一.安装Apache 1.1.安装Apache Apache程序是目前拥有很高市场占有率的Web服务程序之一,其跨平台和安全性广泛被认可且拥有快速.可靠.简单的API扩展. 它的名字取自美国印第安人土著语,寓意着拥有高超的作战策略和无穷的耐性,在红帽RHEL5.6.7系统中一直作为着默认的Web服务程序而使用,并且也一直是红帽RHCSA和红帽RHCE的考试重点内容.Apache服务程序可以运行在Linux系统.Unix系统甚至是Windows系统中,支持基于IP.域名及端口号的虚拟主机功能.支持…

一.安装Apache 1.1.安装Apache apt-get update apt-get install apache2 过程如下: root@duke01:~# apt-get update命中:1 http://cn.archive.ubuntu.com/ubuntu xenial InRelease命中:2 http://cn.archive.ubuntu.com/ubuntu xenial-updates InRelease命中:3 http://cn.archive.ubuntu.…

atlas英 [ˈætləs] 阿特拉斯. 美 [ˈætləs] n.地图集;〈比喻〉身负重担的人 == Apache Atlas Version: 1.1.0 Last Published: 2018-09-18 版本:1.1.0  最新出版:2018-09-18 == Data Governance and Metadata framework for Hadoop Hadoop的数据管理和元数据框架 Overview 概述 Atlas is a scalable and extensibl…

本文由  网易云发布. 作者:网易/刘勋(本篇文章仅限知乎内部分享,如需转载,请取得作者同意授权.) 面对海量且持续增加的各式各样的数据对象,你是否有信心知道哪些数据从哪里来以及它如何随时间而变化?采用Hadoop必须考虑数据管理的实际情况,元数据与数据治理成为企业级数据湖的重要部分. 为寻求数据治理的开源解决方案,Hortonworks 公司联合其他厂商与用户于2015年发起数据治理倡议,包括数据分类.集中策略引擎.数据血缘.安全和生命周期管理等方面.Apache Atlas 项目就是这个倡议…

dremio,spark-sql,presto和ranger的整合 当前,ranger没有现成的插件来管理dremio,spark-sql,presto. 暂时使用的方法是新建一个用户,如presto可以创建一个presto用户,然后在ranger中对presto用户赋予hive,hdfs的访问权限. 尤其是在hive doas权限开启的时候,一定要把对应的hdfs的权限也分配一下. 然后使用presto用户来启动presto的worker,cordinaor进程,这样提交的查询都是使用这个用户…

第一部分:ldap1. 安装ldap yum install -y openldap openldap-clients openldap-servers openldap-devel 2. 配置ldap # cat /etc/openldap/slapd.conf include /etc/openldap/schema/core.schemainclude /etc/openldap/schema/cosine.schemainclude /etc/openldap/schema/inetor…

最近这段时间一直在忙新集群迁移,上了最新的cdh6.3.0 于是Flink 提交遇到了许多的问题 还好有cloudera License 有了原厂的帮助和社区的伙伴,问题解决起来快了不少,手动滑稽 集群具体情况是,cdh6.3.0+Flink1.8.1,整个数据平台全部组件都上了kerberos和ldap因为要过认证,所以任务提交方法我们选择统一oozie提交任务 并且因为kerberos认证,还需要Flink perjob 需要单独的keytab,才能细腻度的控制权限,因为我们现在部门之间计算…