ranger 使用外置的solr
一、solrcloud部署
1、下载部署
1)、下载二进制包
#wget http://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/8.3.0/solr-8.3.0-src.tgz #下载最新版
2)、解压
#tar zxvf solr-8.3..tgz -C /data1/hadoop/
#mv solr-8.3.0 solr
3)、配置环境变量
修改当前用户下的bashrc文件 ~/.bashrc, 添加如下配置:
export SOLR_HOME=/data1/hadoop/solr
export PATH=${SOLR_HOME}/bin:$PATH
使用source 让配置生效
#source ~/.bashrc
注:solrcloud依赖于zookeeper,在部署solrcloud时,需要安装zookeeper。
2、修改配置
1)、修改/data1/hadoop/solr/bin/solr.in.sh文件
修改属性如下:
SOLR_JAVA_HOME="/data1/jdk" #jdk SOLR_HEAP="5g" #堆内存,建议2g以上 ZK_HOST="rslog084:2181,rslog085:2181,rslog086:2181/solr" #zookeeper地址 SOLR_HOST="xxx" #solr主机地址,由于是集群模式,这里的地址为当前机器的主机名或者ip,所以拷贝到其他节点时,这个值需要修改 SOLR_HOME=/data1/hadoop/solr/ranger_audit_server #solr家目录,用于存放数据,索引的跟路径 SOLR_DATA_HOME=/data1/hadoop/solr/ranger_audit_server/data #数据目录 SOLR_LOGS_DIR=/data1/hadoop/solr/ranger_audit_server/logs #数据目录 SOLR_PORT=4051 #端口,默认是8983
注:上述的目录需要自己手动创建
2)、拷贝配置
上述配置修改完以后,把整个solr目录拷贝到其他节点
示例
#scp -r /data1/hadoop/solr 远程主机:/data1/hadoop
记得修改SOLR_HOST的值
3)、在zookeeper生成跟路径
#solr zk mkroot /solr -z rslog084:
用于集合碎片共享配置集
3、启动solr
在每一台节点都需要启动,执行如下命令:
#solr start
4、创建集合
#solr create -c ranger_audits -d /data1/hadoop/ranger/ranger-admin/contrib/solr_for_audit_setup/conf/ -s -rf 3
上述参数解析:
create: 创建集合或者core
-c 指定集合名称
-d 指定server目录,该目录为ranger admin的conf目录,该目录存放着配置集
-s 指定碎片数量
-rf 指定副本数量
5、web界面查
web界面查看创建的数据集
二、ranger admin 配置
主要是修改install.properties文件,主要修改的属性如下:
SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar db_root_user=root
db_root_password=xxx
db_host=rslog84
db_name=ranger
db_user=root
db_password=xxx audit_store=solr audit_solr_urls=http://xxx:4051/solr/ranger_audits
audit_solr_user=solr
audit_solr_zookeepers=rslog084:,rslog085:,rslog086:/solr audit_solr_collection_name=ranger_audits
audit_solr_config_name=ranger_audits
audit_solr_no_shards=
audit_solr_no_replica= policymgr_external_url=http://xxx:4052
#以下是配置kerberos,如果没有集成kerberos,不需要配置下面的信息
spnego_principal=HTTP/rslog084@HADOOP.COM
spnego_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
token_valid=
cookie_domain=rslog084
admin_principal=ranger/rslog084@HADOOP.COM
admin_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
lookup_principal=ranger/rslog084@HADOOP.COM
lookup_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
hadoop_conf=/data1/hadoop/hadoop/etc/hadoop/conf
上述配置完以后,需要使用setup.sh重新初始化ranger admin
访问ranger的admin 界面,
如果报错,报错信息可能如下:
Error running solr query, please check solr configs. Error from server at http://xxxx:4051/solr/ranger_audits: sort param field can't be found: evtTime
出现这种:基本就是配置文件,或者创建集合指定配置集有问题如。
ranger 使用外置的solr的更多相关文章
- Ranger安装部署 - solr安装
1. 概述 Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库: Solr是以Lucene为基础实现的文本检索应用服务.Solr部署方式有单机方式.多机Master-Slaver方法. ...
- 环境篇:Atlas2.0.0兼容CDH6.2.0部署
环境篇:Atlas2.0.0兼容CDH6.2.0部署 Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系 ...
- 环境篇:Atlas2.1.0兼容CDH6.3.2部署
环境篇:Atlas2.1.0兼容CDH6.3.2部署 Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系 ...
- Ranger-Solr审计日志安装
使用RangerAdmin安装solr,基于已有的solr环境安装,主要是在solr创建用于存储数据的CoreAdmin. # 1.解压安装 在solr的安装机器上面,获取RangerAdmin并且解 ...
- win7+jdk1.6+solr4.7.2在内嵌jetty servelt或外置tocmat服务器的solr服务使用
solr安装,目前初步接触solr,了解两种启动方式.一种是自带的jetty,另一种是基于tomcat.由于超过4.7.2版本的solr需要java1.7及以上版本的支持,所以我们选择solr ...
- solr 从零学习开始
2010-10 目 录 1 1.1 1.2 1.2.1 1.2.2 1.2.3 1.2.4 1.2.5 1.2.6 1.2.7 1.3 1.3.1 1.3.2 1.4 1.4.1 1.4.2 1.4. ...
- ranger部署文档(记)
目录 概览... 2 1. ranger-admin. 2 2. ranger-user-sync. 2 3. ranger-*-plugins. 2 安装... 3 1 ...
- 大数据安全利器ranger 编译安装
ranger大数据领域的一个集中式安全管理框架,它可以对诸如hdfs.hive.kafka.storm等组件进行细粒度的权限控制.本文将介绍部署过程 1. 部署准备 ranger: 进入apa ...
- Hadoop集群上搭建Ranger
There are two types of people in the world. I hate both of them. Hadoop集群上搭建Ranger 在搭建Ranger工程之前,需要完 ...
随机推荐
- ASP.NET MVC 页面静态化操作的思路
本文主要讲述了在asp.net mvc中,页面静态化的几种思路和方法.对于网站来说,生成纯html静态页面除了有利于seo外,还可以减轻网站的负载能力和提高网站性能.在asp.net mvc中,视图的 ...
- springboot多环境下maven打包
前言: 最近在项目中使用springboot时发现,采用在pom中定义不同的profile,并且maven打包时 采用-P参数并不能替换我application.properties文件中指定占位符的 ...
- 【故障处理】队列等待之TX - allocate ITL entry引起的死锁处理
[故障处理]队列等待之TX - allocate ITL entry引起的死锁处理 1 BLOG文档结构图 2 前言部分 2.1 导读和注意事项 各位技术爱好者,看完本文后,你可以掌 ...
- 【OGG】RAC环境下配置OGG单向同步 (四)
[OGG]RAC环境下配置OGG单向同步 (四) 一.1 BLOG文档结构图 一.2 前言部分 一.2.1 导读 各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的 ...
- Gtest:源码解析
转自:玩转Google开源C++单元测试框架Google Test系列(gtest)之七 - 深入解析gtest 一.前言 “深入解析”对我来说的确有些难度,所以我尽量将我学习到和观察到的gtest内 ...
- 使用opencv去操作树莓派摄像头保存图片和视频
利用树莓派的摄像头去学习opencv的基本操作 —— 保存图片和视频 1.使用Opencv去控制树莓派的摄像头拍照并保存到本地,主要使用cv2和numpy库 #!/usr/bin/python3 # ...
- jquery 表单元素选择器
<!DOCTYPE html> <html> <head> <meta http-equiv="Content-type" content ...
- mysql终止当前正在执行的sql语句
show processlist;找出你要停止的语句然后找出你要终止的语句的idkill 248
- APT 信息收集——shodan.io ,fofa.so、 MX 及 邮件。mx记录查询。censys.io查询子域名。
信息收集 目标是某特殊机构,外网结构简单,防护严密.经探测发现其多个子机构由一家网站建设公司建设. 对子域名进行挖掘,确定目标ip分布范围及主要出口ip. 很多网站主站的访问量会比较大.往往主站都是挂 ...
- C#启动计算器并设计算器为活动窗口
启动计算器,并获取焦点 using System; using System.Runtime.InteropServices; namespace ConsoleApplication3 { clas ...