一、安装hdfs插件

从源码安装ranger的服务器上拷贝hdfs的插件到你需要安装的地方

1、解压安装

# tar zxvf ranger-2.1.0-hdfs-plugin.tar.gz -C /data1/hadoop

2、修改插件配置文件,如下

# cd /data1/hadoop/ranger-2.1.0-SNAPSHOT-hdfs-plugin/

修改install.properties文件

主要修改以下几个参数:

POLICY_MGR_URL= http://192.168.4.50:6080   #policy地址,也就是ranger-admin地址

REPOSITORY_NAME=hadoopdev  #服务名字,在ranger-admin前台创建的时候,需要与这个参数值一样。

XAAUDIT.SOLR.ENABLE=true    #开启审计日志

XAAUDIT.SOLR.URL=http://192.168.4.50:6083/solr/ranger_audits #solr地址

CUSTOM_USER=hduser   #定义插件用户,我猜这个值是启动集群的用户

CUSTOM_GROUP=hduser

3、修改hdfs配置文件

# vim hdfs-site.xml

添加如下配置:

<property>

<name>dfs.namenode.inode.attributes.provider.class</name>

<value>org.apache.ranger.authorization.hadoop.RangerHdfsAuthorizer</value>

</property>

<property>

<name>dfs.permissions</name>

<value>true</value>

</property>

<property>

<name>dfs.permissions.ContentSummary.subAccess</name>

<value>true</value>

</property>

4、启动插件

# sudo ./enable-hdfs-plugin.sh   (需要root权限)

二、安装yarn插件

1、解压安装

# tar zxvf ranger-2.0.0-yarn-plugin.tar.gz -C /data1/hadoop

2、修改配置文件install.properties

修改如下属性:

POLICY_MGR_URL=http://192.168.4.50:6080

REPOSITORY_NAME=yarndev

XAAUDIT.SOLR.ENABLE=true

XAAUDIT.SOLR.URL=http://192.168.4.50:6083/solr/ranger_audits

CUSTOM_USER=hduser

CUSTOM_GROUP=hduser

3、修改yarn-site.xml配置文件

添加如下属性:

<property>

<name>yarn.acl.enable</name>

<value>true</value>

</property>

<property>

<name>yarn.authorization-provider</name>

<value>org.apache.ranger.authorization.yarn.authorizer.RangerYarnAuthorizer</value>

</property>

4、启动yarn插件

# ./enable-yarn-plugin.sh

# 重启集群

三、前台配置

1、hdfs配置

(1) 登录:http/192.168.4.50:6080

(1) 添加服务

点击加号添加服务

点击测试

配置完了不要忘记点击保存。

配置完在前台界面如下:

(1) 配置策略

点击hadoopdev进行策略的配置

默认已经有两个策略,这里点击右上角进行策略的添加

保存。

(1) 测试yjt这个用户是否还有对/out1这个目录有权限。

分析:

从上述可以看到,对于这个目录只要没有对用户或者组加决绝的ACL,正常是可以读取的,但是上述我们对yjt这个用户对/out1这个目录进行了策略控制(拒绝访问)的限制,可以看到,目前这个用户对于该目录没有权限读取了,说明配置成功。

2、yarn配置

(1) 添加服务

配置完可以进行测试连接,看配置是否ok

(1) 添加策略

对yarn的限制,主要是对于用户对队列的访问,以及任务提交限制

添加权限控制

(1) 测试yjt这个用户是否可以提交任务

从上可以看出,yjt这个用户,不允许提交任务到hadoop队列。

hdfs、yarn集成ranger的更多相关文章

  1. 2.安装hdfs yarn

    下载hadoop压缩包设置hadoop环境变量设置hdfs环境变量设置yarn环境变量设置mapreduce环境变量修改hadoop配置设置core-site.xml设置hdfs-site.xml设置 ...

  2. Hue联合(hdfs yarn hive) 后续......................

    1.启动hdfs,yarn start-all.sh 2.启动hive $ bin/hive $ bin/hive --service metastore & $ bin/hive --ser ...

  3. hdfs、yarn集成kerberos

    1.kdc创建principal 1.1.创建认证用户 登陆到kdc服务器,使用root或者可以使用root权限的普通用户操作: # kadmin.local -q “addprinc -randke ...

  4. Hadoop HDFS, YARN ,MAPREDUCE,MAPREDUCE ON YARN

    HDFS 系统架构图 NameNode 是主节点,存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等.NameNode将 ...

  5. hadoop/hdfs/yarn 详细命令搬运

    转载自文章 http://www.cnblogs.com/davidwang456/p/5074108.html 安装完hadoop后,在hadoop的bin目录下有一系列命令: container- ...

  6. centos7 hdfs yarn spark 搭建笔记

    1.搭建3台虚拟机 2.建立账户及信任关系 3.安装java wget jdk-xxx rpm -i jdk-xxx 4.添加环境变量(全部) export JAVA_HOME=/usr/java/j ...

  7. Hadoop源代码点滴-系统结构(HDFS+YARN)

    Hadoop建立起HDFS和YARN两个字系统,前者是文件系统,管数据存储:后者是计算框架,管数据处理. 如果只有HDFS而没有YARN,那么Hadoop集群可以被用作容错哦的文件服务器,别的就没有什 ...

  8. hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。这里包含我们使用到的组件:HDFS, YARN, Hbase, Hive, ZooKeeper:

    组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode 50075 ...

  9. kerberos系列之hdfs&yarn认证配置

    一.安装hadoop 1.解压安装包重命名安装目录 [root@cluster2_host1 data]# tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/ [ ...

随机推荐

  1. MySQL优化——MySQL 生产环境下 my.cnf 优化配置

    MySQL 5.6/5.7 参数文件优化配置[client]port = 3306socket = /data/mysql/tmp/mysql.sockdefault-character-set = ...

  2. php与mysql交互 面向过程

    1.建立.关闭与MySQL服务器的连接 1)连接指定的mysql服务器 $mysqli_connect=@mysqli_connect($host, $user, $password,$databas ...

  3. AM335X有关MMC的启动参数问题分析

    AM335X有关MMC的启动参数问题分析 一. 问题来源 硬件平台:AM335X芯片 SDK版本:ti-processor-sdk-linux-am335x-evm-03.00.00.04-Linux ...

  4. [LIN].LIN总线详解

    转自:https://www.2cto.com/kf/201806/754227.html 参考:https://wenku.baidu.com/view/a9b08d786bd97f192379e9 ...

  5. session和cookie的区别和联系详解,Cookie Session相关看这篇就够了。

    本文转自:91博客:原文地址:http://www.9191boke.com/199015867.html 有一朋友做面试官的时候,曾经问过很多朋友这个问题: Cookie 和 Session 有什么 ...

  6. CVE-2019-0708:RDP终极EXP复现

    0x00 前言 每次复现都会遇到各种各样的问题,这次也不例外,经过多次尝试才复现成功,因此把可能的解决方法也和大家分享一下,有想要一起复现学习/投稿的可以联系我哈 0x01 影响版本 Windows ...

  7. docker学习3-镜像的基本使用

    前言 Docker的三大核心概念:镜像.容器.仓库.初学者对镜像和容器往往分不清楚,学过面向对象的应该知道类和实例,这跟面向对象里面的概念很相似 我们可以把镜像看作类,把容器看作类实例化后的对象. d ...

  8. msdtc不可用

    在使用“经销商园地 网上订单处理程序”等程序时,如果程序报:服务器×××上的MSDTC不可用”,可以按照以下方法进行解决: 在windows控制面版-->管理工具-->服务-->Di ...

  9. Spark Partition

    分区的意义 Spark RDD 是一种分布式的数据集,由于数据量很大,因此它被切分成不同分区并存储在各个Worker节点的内存中.从而当我们对RDD进行操作时,实际上是对每个分区中的数据并行操作.Sp ...

  10. 2019牛客国庆集训派对day1 K题 双向链表练习题 splay区间翻转

    题目链接: 解法: 先建n颗平衡树,合并的时候将a中最右的结点翻转到根节点,b中最左的结点翻转到根节点,对合并后的根节点进行标记. #include <bits/stdc++.h> usi ...