Apache Sentry部署

三台hadoop集群，分别是master、slave1和slave2。下面是这三台机器的软件分布：

master：NameNode、ZK、HiveMetaSotre、HiveServer2、SentryServer
slave1：DataNode、ZK
slave2：DataNode、ZK

2 软件需求

MySql
mysql-jdbc.jar：mysql-connector-java-5.1.38-bin.jar
Hadoop
Hive1.1.0：apache-hive-1.1.0-bin.tar.gz
Sentry1.6.0：apache-sentry-1.6.0-incubating-bin.tar.gz
注意：这里的Sentry1.6.0版本对应的是Hive1.1.0版本，目前还不支持Hive1.2及以上版本。

3 软件安装

3.1 MySql安装

在线安装：sudo apt-get install mysql-server。
修改文件：vim /etc/mysql/my.cnf，内容如下：

#bind-address = 127.0.0.1

bind-address = 0.0.0.0

重启mysql：service mysql restart

3.2 Hadoop安装

此处省略

3.2 Hive安装

此处省略

创建hive的元数据mysql数据库

create database hive;

CREATE USER hive IDENTIFIED BY 'hive';

GRANT all ON hive.* TO hive@'%' IDENTIFIED BY'hive';

flush privileges;

3.3 Sentry安装

1. 解压安装

tar -zxvf apache-sentry-1.6.0-incubating-bin.tar.gz -C /opt

2. 修改sentry的配置文件(sentry-site.xml)

mv apache-sentry-1.6.0-incubating-bin apache-sentry-1.6.0

cp mysql-connector-java-5.1.38-bin.jar /opt/apache-sentry-1.6.0/lib

cd /opt/apache-sentry-1.6.0/conf

vim sentry-site.xml

3. 修改sentry-sitem.xml文件

<?xml version="1.0" encoding="utf-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>sentry.service.admin.group</name>

<value>admin</value>

</property>

<property>

<name>sentry.service.allow.connect</name>

<value>hive,admin</value>

</property>

<property>

<name>sentry.service.reporting</name>

<value>JMX</value>

</property>

<property>

<name>sentry.service.server.rpc-address</name>

<value>192.168.70.110</value>

</property>

<property>

<name>sentry.service.server.rpc-port</name>

<value>8038</value>

</property>

<property>

<name>sentry.store.group.mapping</name>

<value>org.apache.sentry.provider.common.HadoopGroupMappingService</value>

</property>

<property>

<name>sentry.hive.server</name>

<value>server1</value>

</property>

<!-- 配置Webserver -->

<property>

<name>sentry.service.web.enable</name>

<value>true</value>

</property>

<property>

<name>sentry.service.web.port</name>

<value>51000</value>

</property>

<property>

<name>sentry.service.web.authentication.type</name>

<value>NONE</value>

</property>

<property>

<name>sentry.service.web.authentication.kerberos.principal</name>

<value> </value>

</property>

<property>

<name>sentry.service.web.authentication.kerberos.keytab</name>

<value> </value>

</property>

<!--配置认证-->

<property>

<name>sentry.service.security.mode</name>

<value>none</value>

</property>

<property>

<name>sentry.service.server.principal</name>

<value> </value>

</property>

<property>

<name>sentry.service.server.keytab</name>

<value> </value>

</property>

<!-- 配置Jdbc -->

<property>

<name>sentry.store.jdbc.url</name>

<value>jdbc:mysql://192.168.70.110:3306/sentry</value>

</property>

<property>

<name>sentry.store.jdbc.driver</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>sentry.store.jdbc.user</name>

<value>sentry</value>

</property>

<property>

<name>sentry.store.jdbc.password</name>

<value>sentry</value>

</property>

</configuration>

4. 配置环境变量
编辑vim /etc/profile

export SENTRY_HOME=/opt/apache-sentry-1.6.0

export PATH=${SENTRY_HOME}/bin:$PATH

使生效source /etc/profile
5. 在mysql中创建sentry数据库

create database sentry;

CREATE USER sentry IDENTIFIED BY 'sentry';

GRANT all ON sentry.* TO sentry@'%' IDENTIFIED BY 'sentry';

flush privileges;

6. 将mysql-jdbc的jar包拷贝到sentry/lib目录下

cp mysql-connector-java-5.1.38-bin.jar ${SENTRY_HOME}/lib

7. 替换hadoop中jline的jar包

rm ${HADOOP_HOME}/share/hadoop/yarn/lib/jline-0.9.94.jar

cp ${SENTRY_HOME}/lib/jline-2.12.jar ${HADOOP_HOME}/share/hadoop/yarn/lib

8. 初始化sentry数据库

sentry --command schema-tool --conffile ${SENTRY_HOME}/conf/sentry-site.xml --dbType mysql --initSchema

9. 启动sentry服务

sentry --command service --conffile ${SENTRY_HOME}/conf/sentry-site.xml

4 Hive集成Sentry

1. 修改hive-site.xml配置文件

<?xml version="1.0" encoding="utf-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>hive.sentry.conf.url</name>

<value>file:///opt/apache-hive-1.1.0/conf/sentry-site.xml</value>

</property>

<!-- 配置开关控制列访问权限 -->

<property>

<name>hive.stats.collect.scancols</name>

<value>true</value>

</property>

<!-- Hive Metastore集成Sentry -->

<property>

<name>hive.metastore.pre.event.listeners</name>

<value>org.apache.sentry.binding.metastore.MetastoreAuthzBinding</value>

</property>

<property>

<name>hive.metastore.event.listeners</name>

<value>org.apache.sentry.binding.metastore.SentryMetastorePostEventListener</value>

</property>

<!-- Hive Server2集成Sentry -->

<property>

<name>hive.server2.session.hook</name>

<value>org.apache.sentry.binding.hive.HiveAuthzBindingSessionHook</value>

</property>

<property>

<name>hive.security.authorization.task.factory</name>

<value>org.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl</value>

</property>

<!-- 设置mysql-jdbc -->

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://192.168.70.110:3306/hive?createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>hive</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hive</value>

</property>

</configuration>

2. 修改sentry-site.xml配置文件
注意：该文件是在hive/conf目录下的，不要和sentry/conf目录下的sentry-site.xml文件混淆！

<?xml version="1.0" encoding="utf-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>sentry.service.client.server.rpc-address</name>

<value>192.168.70.110</value>

</property>

<property>

<name>sentry.service.client.server.rpc-port</name>

<value>8038</value>

</property>

<property>

<name>sentry.service.client.server.rpc-connection-timeout</name>

<value>200000</value>

</property>

<!--配置认证-->

<property>

<name>sentry.service.security.mode</name>

<value>none</value>

</property>

<property>

<name>sentry.service.server.principal</name>

<value> </value>

</property>

<property>

<name>sentry.service.server.keytab</name>

<value> </value>

</property>

<property>

<name>sentry.provider</name>

<value>org.apache.sentry.provider.file.HadoopGroupResourceAuthorizationProvider</value>

</property>

<property>

<name>sentry.hive.provider.backend</name>

<value>org.apache.sentry.provider.db.SimpleDBProviderBackend</value>

</property>

<property>

<name>sentry.metastore.service.users</name>

<value>hive</value>

<!--queries made by hive user (beeline) skip meta store check-->

</property>

<property>

<name>sentry.hive.server</name>

<value>server1</value>

</property>

<property>

<name>sentry.hive.testing.mode</name>

<value>true</value>

</property>

</configuration>

3. 拷贝sentry/lib下的jar包到hive/lib目录下

cp ${SENTRY_HOME}/lib/sentry*.jar ${HIVE_HOME}/lib

cp ${SENTRY_HOME}/lib/shiro-*.jar ${HIVE_HOME}/lib

注意：shiro-*.jar一定也要拷贝过去，否则会报错。
4. 修改Hive在HDFS上的文件权限

hadoop fs -chown -R hive:hive /user/hive/warehouse

hadoop fs -chmod -R 770 /user/hive/warehouse

由于HDFS上文件是hive：hive权限，所以linux用户上能
5. 启动Hive Metastore服务

hive --service metastore -hiveconf hive.root.logger=DEBUG,console

6. 启动Hive Server2服务

hive --service hiveserver2 -hiveconf hive.root.logger=DEBUG,console

5 Hive权限验证

5.1 准备测试数据

创建测试数据文件：vim /tmp/events.csv，内容如下：

10.1.2.3,US,android,createNote

10.200.88.99,FR,windows,updateNote

10.1.2.3,US,android,updateNote

10.200.88.77,FR,ios,createNote

10.1.4.5,US,windows,updateTag

然后，在hive中运行下面sql语句（注意：以hive用户启动hive命令）：

create database sensitive;
create table sensitive.events (ip STRING, country STRING, client STRING, action STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
load data local inpath '/tmp/events.csv' overwrite into table sensitive.events;
create database filtered;
create view filtered.events as select country, client, action from sensitive.events;
create view filtered.events_usonly as select * from filtered.events where country = 'US';

在master上通过 beeline 连接 hiveserver2，运行下面命令创建角色和组：

beeline -u "jdbc:hive2://master:10000/" -n admin -p admin -d org.apache.hive.jdbc.HiveDriver

在beelin中执行下面的 sql 语句创建 role、group等：

create role admin_role;
GRANT ALL ON SERVER server1 TO ROLE admin_role;
GRANT ROLE admin_role TO GROUP admin;
create role test_role;
GRANT ALL ON DATABASE filtered TO ROLE test_role;
use sensitive;
GRANT SELECT(ip) on TABLE sensitive.events TO ROLE test_role;
GRANT ROLE test_role TO GROUP test;

上面创建了两个角色：

admin_role，具有管理员权限，可以读写所有数据库，并授权给 admin 和 hive 组（对应操作系统上的组）
test_role，只能读写 filtered 数据库，和只能读取sensitive库中events 表中的ip字段，并授权给 test 组。

因为系统上没有test用户和组，所以需要手动创建：useradd test

5.2 测试

5.2.1 测试admin_role角色

使用admin用户访问beelin：

beeline -u "jdbc:hive2://master:10000/" -n admin -p admin -d org.apache.hive.jdbc.HiveDriver

admin用户属于admin_role组，具有管理员权限，可以查看所有角色：

0: jdbc:hive2://master:10000/> show roles;

+-------------+--+

| role |

+-------------+--+

| admin_role |

| test_role |

+-------------+--+

2 rows selected (0.251 seconds)

查看所有权限：

0: jdbc:hive2://master:10000/> show grant role admin_role;

+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

| * | | | | admin_role | ROLE | * | false | 1461507543582000 | -- |

+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

1 row selected (0.111 seconds)

0: jdbc:hive2://master:10000/> show grant role test_role;

+------------+---------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

+------------+---------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

| filtered | | | | test_role | ROLE | * | false | 1461557354579000 | -- |

+------------+---------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

2 rows selected (0.111 seconds)

hive用户可以查看所有数据库、访问所有表：

0: jdbc:hive2://master:10000/> show databases;

+----------------+--+

| database_name |

+----------------+--+

| default |

| filtered |

| sensitive |

+----------------+--+

3 rows selected (0.142 seconds)

0: jdbc:hive2://master:10000/> use filtered;

No rows affected (0.144 seconds)

0: jdbc:hive2://master:10000/> select * from filtered.events;

+-----------------+----------------+----------------+--+

| events.country | events.client | events.action |

+-----------------+----------------+----------------+--+

| US | android | createNote |

| FR | windows | updateNote |

| US | android | updateNote |

| FR | ios | createNote |

| US | windows | updateTag |

+-----------------+----------------+----------------+--+

5 rows selected (0.458 seconds)

0: jdbc:hive2://master:10000/> select * from sensitive.events;

+---------------+-----------------+----------------+----------------+--+

+---------------+-----------------+----------------+----------------+--+

| 10.1.2.3 | US | android | createNote |

| 10.200.88.99 | FR | windows | updateNote |

| 10.1.2.3 | US | android | updateNote |

| 10.200.88.77 | FR | ios | createNote |

| 10.1.4.5 | US | windows | updateTag |

+---------------+-----------------+----------------+----------------+--+

5 rows selected (0.731 seconds)

5.2.2 测试test_role角色

使用test用户访问beeline：

beeline -u "jdbc:hive2://master:10000/" -n test -p test -d org.apache.hive.jdbc.HiveDriver

test用户不是管理员，是不能查看所有角色的：

0: jdbc:hive2://master:10000/> show roles;

ERROR : Error processing Sentry command: Access denied to test.Please grant admin privilege to test.

Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.SentryGrantRevokeTask. SentryAccessDeniedException: Access denied to test (state=08S01,code=1)

test用户可以列出所有数据库：

0: jdbc:hive2://master:10000/> show databases;

+----------------+--+

| database_name |

+----------------+--+

| default |

| filtered |

| sensitive |

+----------------+--+

test用户可以filtered库：

0: jdbc:hive2://master:10000/> use filtered;

No rows affected (0.256 seconds)

0: jdbc:hive2://master:10000/> select * from events;

+-----------------+----------------+----------------+--+

| events.country | events.client | events.action |

+-----------------+----------------+----------------+--+

| US | android | createNote |

| FR | windows | updateNote |

| US | android | updateNote |

| FR | ios | createNote |

| US | windows | updateTag |

+-----------------+----------------+----------------+--+

5 rows selected (0.199 seconds)

test用户只能查看sensitive库中events表中的ip字段，其他的都都无法查看：

0: jdbc:hive2://master:10000/> use sensitive;

No rows affected (0.112 seconds)

0: jdbc:hive2://master:10000/> select * from events;

Error: Error while compiling statement: FAILED: SemanticException No valid privileges

User test does not have privileges for QUERY (state=42000,code=40000)

0: jdbc:hive2://master:10000/> select ip from events;

+---------------+--+

| ip |

+---------------+--+

| 10.1.2.3 |

| 10.200.88.99 |

| 10.1.2.3 |

| 10.200.88.77 |

| 10.1.4.5 |

+---------------+--+

5 rows selected (0.176 seconds)

原文出处：http://www.shsxt.com/it/Big-data/825.html

上海尚学堂大数据教研组创作

Apache Sentry部署的更多相关文章

Apache+Tomcat部署负载均衡（或集群）
本来只打算写Tomcat集群部署,简化Apache和Tomcat整合过程的.后来想了想,这样不便于没有用过Apache的朋友来学习本文内容.于是干脆加大篇幅,让对Apache不了解的朋友能对Apach ...
安装配置apache sentry服务
环境系统环境:Centos6.7 Hadoop版本:CDH5.10 jdk版本:jdk7 注:本文并未集成kerberos组件安装Sentry Server 选择安装hive的节点进行安装测试: ...
Apache + mod_wsgi部署webpy应用
Apache + mod_wsgi部署webpy应用引用:http://webpy.org/cookbook/mod_wsgi-apache.zh-cn 下面的步骤在Apache-2.2.3 ( ...
Ubuntu系统Apache 2部署SSL证书
几天前用Apache 2部署了一个静态网页,但通过域名访问时Google提示“不安全”,经了解,原来是缺少证书. 什么是SSL证书? SSL 是指安全套接字层,简而言之,它是一项标准技术,可确保互联网 ...
Linux下Apache服务部署静态网站------网站服务程序
文章链接(我的CSDN博客): Linux下Apache服务部署静态网站------网站服务程序
使用Apache服务部署静态网站2019-7-5
使用Apache服务部署静态网站第1步:把镜像挂载到系统中第2步:使用vim文件编辑器创建YUM仓库的配置文件 [root@study ~]# vim /etc/yum.repos.d/abc.r ...
《Linux就该这么学》培训笔记_ch10_使用Apache服务部署静态网站
<Linux就该这么学>培训笔记_ch10_使用Apache服务部署静态网站文章最后会post上书本的笔记照片. 文章主要内容: 网站服务程序配置服务文件参数 SELinux安全子系统 ...
CentOS7中apache的部署与配置
一.apache的部署输入命令 yum list | grep httpd 查看可安装的软件包,选择"httpd.x86_64"安装. 输入命令 yum install http ...
Apache Kylin 部署之不完全指南
1. 引言 Apache Kylin(麒麟)是由eBay开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据.底层存储用的是HBase,数据输入与cu ...

随机推荐

http/2.0与http/1.1的区别
http/2是http协议自1999年http1.1发布后的首个更新主要基于SPDY协议 2.0 采用二进制而不是文本格式完全多路复用而不是有序并阻塞的只需要一个连接即可实现并行使 ...
Spring+Quartz集群环境下定时调度的解决方案
集群环境可能出现的问题在上一篇博客我们介绍了如何在自己的项目中从无到有的添加了Quartz定时调度引擎,其实就是一个Quartz 和Spring的整合过程,很容易实现,但是我们现在企业中项目通常都是 ...
关于Android UI 优化
之前项目为了同时兼容tv和手机端的UI,使用了百分比布局来动态计算控件的宽高,这种适配方案只关心屏幕的宽高(分辨率),与屏幕的像素密度无关. 在新的项目里也使用了这种方案.但是由于项目的运行硬件计算能 ...
Oracle 12c 创建新的数据库实例、用户
前提:安装好了Oracle 12c数据库,已有一个数据库实例xe,登录用户/密码:system/oralce 我用的是docker安装的Oracle 12c的实例: docker run --name ...
MongoDB及Mongoose的记录
MongoDB是一种NoSQL的文档型数据库,其存储的文档类型都是JSON对象. 在node.js中由于代码都是异步执行,且nosql也没有“事物”这一定义,所以日常使用中很难保证数据库操作的原子性. ...
oracle异机恢复参考官方文档
How to use Rman Duplicate on ASM/RAC/OMF/Single Instance (Doc ID 840647.1) How to perform Rman dupli ...
LR 11录制IE起不来
注:LR 11一般使用的是IE8或IE9 1.在录制脚本时Start Recoding中,默认如下,这样有可能IE打不开,需要更改路径,到对应的IE路径再尝试. 2.降低IE版本到IE8或者9 3.I ...
C#读取word内容实践
C#读取word文档是如何实现的呢?我们可以使用FileStream对象来把文本文件里面的信息读取出来,但是对于word文档来说就不能使用这样的方法了. 这种情况下C#读取word文档的实现我们需要使 ...
1-spring boot 入门
我从08年到现在,毕业马山就10年了,一直从事.net平台开发工作(期间应该有1年时间从事java开发). 一.为什么要转java: 1.目前市场很多招聘java架构师的职位,且薪资都不错,但.net ...
前端js收藏
1 爱心特效 <script type="text/javascript"> (function(window,document,undefined){ var hea ...

Apache Sentry部署

Apache Sentry部署的更多相关文章

随机推荐

热门专题