There are two types of people in the world. I hate both of them.

Hadoop集群上搭建Ranger

在搭建Ranger工程之前,需要完成https://www.cnblogs.com/taojietaoge/p/10803537.html 中的搭建Hadoop集群步骤。

准备到Ranger官网下载ranger的源码:http://ranger.apache.org/download.html

1、Ranger编译

Ranger编译的过程实在非虚拟机环境下完成的,下载好ranger源码后并解压,然后进入源码解压目录执行如下命令进行编译:

mvn clean compile package assembly:assembly install -Dmaven.test.skip=true

在编译过程中可能会有一些异常,比如jar包无法下载(需要手动需官网下载并放入相应的位置)、UTF-8编码无法识别或是其他报错,根据提示修改下就OK了,问题不大;初次编译时间较长20分钟这样都不夸张,直到出现如下图中的 BUILD SUCCESS 则表示编译通过了:

同时会在ranger/target目录下生成我们之后需要在虚拟机上用到的一系列安装包,如下图:

2、安装部署

在安装部署之前,还需在要部署的服务器服务器上安装下Mysql:https://www.cnblogs.com/taojietaoge/p/10692557.html

1)上传之前本地编译好的ranger-2.0.0-SNAPSHOT-admin.tar.gz文件到tjt03机器上,并解压,然后修改解压后到install.properties文件;

解压:

[root@tjt03 opt]# tar -vxf ranger-2.0.-SNAPSHOT-admin.tar.gz

修改install.properties 文件:

[root@tjt03 opt]# cd ranger-2.0.-SNAPSHOT-admin/
[root@tjt03 ranger-2.0.-SNAPSHOT-admin]# vi install.properties

想要修改的地方有几处:

1. mysql-connector-java的jar包路径要能找得到:

SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar

2. 修改连接数据库的账号密码、存储的数据库账号密码:

db_root_user=root
db_root_password=TANjintao@520
db_host=localhost db_name=ranger
db_user=rangeradmin
db_password=TANjintao@520

3. 修改为非集群:

# audit_store=solr
audit_store=

4. 修改首页显示的插件:

policymgr_supportedcomponents=hive,hbase,hdfs,kms,knox,yarn

5. 修改Linux的用户、用户组和密码:

unix_user=root
unix_user_pwd=tanjintao
unix_group=root

6. 修改hadoop_conf:

hadoop_conf=/opt/hadoop-2.7./etc/hadoop

2) 安装Ranger Admin

Ranger Admin的运行环境需要python,执行 yum install python 简单安装下python即可:

[root@tjt03 ranger-2.0.-SNAPSHOT-admin]# yum install python

然后,创建ranger数据库:

mysql> create database ranger

然后,修改下ranger数据库的字符集,执行下面的命令:

mysql>alter database ranger character set latin1;
mysql>flush privileges;

然后,创建用户并授权,执行下面的命令即可:

grant all privileges on ranger.* to rangeradmin@localhost identified by 'TANjintao@520';
grant all privileges on *.* to root@localhost identified by 'TANjintao@520' with grant option;
flush privileges;

上述的准备工作都OK后,就可以进入ranger-2.0.0-SNAPSHOT-admin目录执行安装命令:

[root@tjt03 ranger-2.0.-SNAPSHOT-admin]# ./setup.sh

安装过程大概几分钟,终端显示安装成功后,本地连接远程服务器的数据库检查下是否有相应的数据库和表:

需要在tjt03机器上授权后才可以在本地连接远程数据库,执行如下命令:

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'TANjintao@520' WITH GRANT OPTION;

看到远程数据库如下图,就说明Ranger Admin安装成功了:

3)启动Ranger Admin 服务

[root@tjt03 ~]# ranger-admin start

(停止:ranger-admin stop ,重启:ranger-admin restart)

4)验证Ranger Admin服务,在浏览器中打开:http://172.16.114.132:6080 或是 http://tjt03:6080 如果出现Ranger的登录界面,说明安装成功了. 登录的用户名/密码:admin/admin

使用http://tjt03:6080  访问需要配置下本机的host 文件,配置如下:

Taojie:~ apple$ vi /etc/hosts

5)结果测试

可以正常登录看到如下界面,则安装OK:

tjt03域名登录:admin/admin

3.2、安装hdfs-plugins

由于之前定义了NameNode的地址为 hdfs://tjt01:9000,使用hdfs-plugins插件必须安装在该主机上:

1)上传并解压ranger-2.0.0-SNAPSHOT-usersync.tar.gz 文件,然后修改install.properties;

[root@tjt01 opt]# tar -xzvf ranger-2.0.-SNAPSHOT-usersync.tar.gz

[root@tjt01 ranger-2.0.-SNAPSHOT-usersync]# vi install.properties 

修改1:

POLICY_MGR_URL=http://tjt03:6080
logdir=/var/log/ranger/usersync

修改2:

rangerUsersync_password=enums8000

2)安装usersync Plugin

[root@tjt01 ranger-2.0.-SNAPSHOT-usersync]# ./setup.sh

执行结果:

3)启用usersync plugin插件

开机回自动启动,初次安装需要手动开启

[root@tjt01 ranger-2.0.-SNAPSHOT-usersync]# ./ranger-usersync-services.sh start

3.3.2 安装hdfs-plugin

1)上传并解压ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz 文件

[root@tjt01 opt]# tar -xzvf ranger-2.0.-SNAPSHOT-hdfs-plugin.tar.gz 

然后修改解压出来的 install.properties 文件:

[root@tjt01 ranger-2.0.-SNAPSHOT-hdfs-plugin]# vi install.properties

修改如下:

POLICY_MGR_URL=http://tjt03:6080
REPOSITORY_NAME=hadoopdev
COMPONENT_INSTALL_DIR_NAME=/opt/hadoop-2.7.
XAAUDIT.HDFS.HDFS_DIR=hdfs://tjt01:9000/ranger/audit
XAAUDIT.HDFS.DESTINATION_DIRECTORY=hdfs://tjt01:9000/ranger/audit/%app-
type%/%time:yyyyMMdd%
CUSTOM_USER=root
CUSTOM_GROUP=root

2)执行启动命令

[root@tjt01 ranger-2.0.-SNAPSHOT-hdfs-plugin]# ./enable-hdfs-plugin.sh 

3)测试hdfs 插件

新建hdfs 服务:

测试hdfs 服务连接:

3.3 安装hive-plugin

1)上传并解压ranger-2.0.0-SNAPSHOT-hive-plugin.tar.gz;

[root@tjt01 opt]# tar -xzvf ranger-2.0.-SNAPSHOT-hive-plugin.tar.gz

然后修改install.properties文件;

[root@tjt01 ranger-2.0.-SNAPSHOT-hive-plugin]# vi install.properties 

修改如下:

POLICY_MGR_URL=http://tjt03:6080
REPOSITORY_NAME=hivedev
COMPONENT_INSTALL_DIR_NAME=/usr/local/hive
CUSTOM_USER=root
CUSTOM_GROUP=root

2)执行启动命令:

[root@tjt01 ranger-2.0.-SNAPSHOT-hive-plugin]# ./enable-hive-plugin.sh 

3)重启hive

3.4 安装hbase-plugin

Hadoop集群上搭建Ranger的更多相关文章

  1. 在Hadoop集群上,搭建HBase集群

    (1)下载Hbase包,并解压:这里下载的是0.98.4版本,对应的hadoop-1.2.1集群 (2)覆盖相关的包:在这个版本里,Hbase刚好和Hadoop集群完美配合,不需要进行覆盖. 不过这里 ...

  2. hadoop集群环境搭建之zookeeper集群的安装部署

    关于hadoop集群搭建有一些准备工作要做,具体请参照hadoop集群环境搭建准备工作 (我成功的按照这个步骤部署成功了,经实际验证,该方法可行) 一.安装zookeeper 1 将zookeeper ...

  3. hadoop集群环境搭建之安装配置hadoop集群

    在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/  (如果没有这个目录 ...

  4. hadoop集群环境搭建准备工作

    一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...

  5. hadoop集群的搭建与配置(2)

    对解压过后的文件进行从命名 把"/usr/hadoop"读权限分配给hadoop用户(非常重要) 配置完之后我们要创建一个tmp文件供以后的使用 然后对我们的hadoop进行配置文 ...

  6. 关于hadoop集群管理系统搭建的规划说明

    Hadoop集群管理系统搭建是每个入门级新手都非常头疼的事情,因为你可能花费了很久的时间在搭建运行环境,最终却不知道什么原因无法创建成功.但对新手来说,运行环境搭建不成功的概率还蛮高的. 在之前的分享 ...

  7. hadoop集群的搭建(分布式安装)

    集群 计算机集群是一种计算机系统,他通过一组松散集成的计算机软件和硬件连接起来高度紧密地协同完成计算工作. 集群系统中的单个计算机通常称为节点,通常通过局域网连接. 集群技术的特点: 1.通过多台计算 ...

  8. [转载] 把Nutch爬虫部署到Hadoop集群上

    http://f.dataguru.cn/thread-240156-1-1.html 软件版本:Nutch 1.7, Hadoop 1.2.1, CentOS 6.5, JDK 1.7 前面的3篇文 ...

  9. 把Nutch爬虫部署到Hadoop集群上

    原文地址:http://cn.soulmachine.me/blog/20140204/ 把Nutch爬虫部署到Hadoop集群上 Feb 4th, 2014 | Comments 软件版本:Nutc ...

随机推荐

  1. Mysql中分组函数

    查询每个工种的最高薪资

  2. C# 生成二维码(QR Code)

    参考:   C#通过ThoughtWorks.QRCode生成二维码(QR Code)   通过ThoughtWorks.QRCode(ThoughtWorks.QRCode.dll)来实现 1)   ...

  3. layui的使用说明

    一.定义 layui,是一款采用自身模块规范编写的前端 UI 框架,遵循原生 HTML/CSS/JS 的书写与组织形式,跟其他UI框架比较(比如bootstrap.easyui.findui.topu ...

  4. from import语句

    *)假如导入出现了问题,那么一定是导入的文件里的语法问题或者其他问题 参考链接:http://www.cnblogs.com/hwf-73/p/5493328.html 1)导入时重命名 as fro ...

  5. Python连接MongoDB数据库并执行操作

    原文:https://blog.51cto.com/1767340368/2092813 环境设置: [root@mongodb ~]# cat /etc/redhat-release CentOS ...

  6. js数组去重 数组拼接 替换数组中的指定值 递归数组 判断数组中是否存在指定值 数组求和 根据条件判数组值

    这是学习过程中记录的一些关于数组操作的常用属性或方法,记录一下方便以后使用. // 数组去重 var arr1 = [1,1,2,3,4,5,6,3,2,4,5,'a','b','c','a',6,7 ...

  7. android studio学习---签名打包的两种方式

    注:给我们自己开发的app签名,就代表着我自己的版权,以后要进行升级,也必须要使用相同的签名才行.签名就代表着自己的身份(即keystore),多个app可以使用同一个签名. 如果不知道签名是啥意思, ...

  8. 第二篇Scrum冲刺博客

    第二篇Scrum冲刺博客 一.站立式会议 提供当天站立式会议照片一张 二.每个人的工作 成员 已完成工作 明天计划完成的工作 遇到的困难 林剑峰 初步学习小程序的编写.博客园的撰写 初步完成用户界面 ...

  9. Python从零开始——基本数据类型

  10. Linux shell 函数应用示例01

    函数Function的使用 定义函数 (1) 函数名称() {     ...     ... } (2) function 函数名称{     ...     ... } 调用函数         ...