一、solrcloud部署

1、下载部署

1)、下载二进制包

#wget http://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/8.3.0/solr-8.3.0-src.tgz   #下载最新版

2)、解压

#tar zxvf solr-8.3..tgz -C /data1/hadoop/
#mv solr-8.3.0 solr

3)、配置环境变量

修改当前用户下的bashrc文件 ~/.bashrc, 添加如下配置:

export SOLR_HOME=/data1/hadoop/solr
export PATH=${SOLR_HOME}/bin:$PATH

使用source 让配置生效

#source ~/.bashrc

注:solrcloud依赖于zookeeper,在部署solrcloud时,需要安装zookeeper。

2、修改配置

1)、修改/data1/hadoop/solr/bin/solr.in.sh文件

修改属性如下:

SOLR_JAVA_HOME="/data1/jdk"  #jdk

SOLR_HEAP="5g"   #堆内存,建议2g以上

ZK_HOST="rslog084:2181,rslog085:2181,rslog086:2181/solr"  #zookeeper地址

SOLR_HOST="xxx"   #solr主机地址,由于是集群模式,这里的地址为当前机器的主机名或者ip,所以拷贝到其他节点时,这个值需要修改

SOLR_HOME=/data1/hadoop/solr/ranger_audit_server   #solr家目录,用于存放数据,索引的跟路径

SOLR_DATA_HOME=/data1/hadoop/solr/ranger_audit_server/data  #数据目录

SOLR_LOGS_DIR=/data1/hadoop/solr/ranger_audit_server/logs #数据目录

SOLR_PORT=4051  #端口,默认是8983

注:上述的目录需要自己手动创建

2)、拷贝配置

上述配置修改完以后,把整个solr目录拷贝到其他节点

示例
#scp -r /data1/hadoop/solr 远程主机:/data1/hadoop
记得修改SOLR_HOST的值

3)、在zookeeper生成跟路径

#solr zk mkroot /solr -z rslog084:

用于集合碎片共享配置集

3、启动solr

在每一台节点都需要启动,执行如下命令:

#solr start 

4、创建集合

#solr create -c ranger_audits -d /data1/hadoop/ranger/ranger-admin/contrib/solr_for_audit_setup/conf/ -s  -rf 3
上述参数解析:
create: 创建集合或者core
-c 指定集合名称
-d 指定server目录,该目录为ranger admin的conf目录,该目录存放着配置集
-s 指定碎片数量
-rf 指定副本数量

5、web界面查

web界面查看创建的数据集

二、ranger admin 配置

主要是修改install.properties文件,主要修改的属性如下:

SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar

db_root_user=root
db_root_password=xxx
db_host=rslog84
db_name=ranger
db_user=root
db_password=xxx audit_store=solr audit_solr_urls=http://xxx:4051/solr/ranger_audits
audit_solr_user=solr
audit_solr_zookeepers=rslog084:,rslog085:,rslog086:/solr audit_solr_collection_name=ranger_audits
audit_solr_config_name=ranger_audits
audit_solr_no_shards=
audit_solr_no_replica= policymgr_external_url=http://xxx:4052
#以下是配置kerberos,如果没有集成kerberos,不需要配置下面的信息
spnego_principal=HTTP/rslog084@HADOOP.COM
spnego_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
token_valid=
cookie_domain=rslog084
admin_principal=ranger/rslog084@HADOOP.COM
admin_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
lookup_principal=ranger/rslog084@HADOOP.COM
lookup_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
hadoop_conf=/data1/hadoop/hadoop/etc/hadoop/conf

上述配置完以后,需要使用setup.sh重新初始化ranger admin

访问ranger的admin 界面,

如果报错,报错信息可能如下:

Error running solr query, please check solr configs. Error from server at http://xxxx:4051/solr/ranger_audits: sort param field can't be found: evtTime

出现这种:基本就是配置文件,或者创建集合指定配置集有问题如。

ranger 使用外置的solr的更多相关文章

  1. Ranger安装部署 - solr安装

    1. 概述 Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库: Solr是以Lucene为基础实现的文本检索应用服务.Solr部署方式有单机方式.多机Master-Slaver方法. ...

  2. 环境篇:Atlas2.0.0兼容CDH6.2.0部署

    环境篇:Atlas2.0.0兼容CDH6.2.0部署 Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系 ...

  3. 环境篇:Atlas2.1.0兼容CDH6.3.2部署

    环境篇:Atlas2.1.0兼容CDH6.3.2部署 Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系 ...

  4. Ranger-Solr审计日志安装

    使用RangerAdmin安装solr,基于已有的solr环境安装,主要是在solr创建用于存储数据的CoreAdmin. # 1.解压安装 在solr的安装机器上面,获取RangerAdmin并且解 ...

  5. win7+jdk1.6+solr4.7.2在内嵌jetty servelt或外置tocmat服务器的solr服务使用

        solr安装,目前初步接触solr,了解两种启动方式.一种是自带的jetty,另一种是基于tomcat.由于超过4.7.2版本的solr需要java1.7及以上版本的支持,所以我们选择solr ...

  6. solr 从零学习开始

    2010-10 目 录 1 1.1 1.2 1.2.1 1.2.2 1.2.3 1.2.4 1.2.5 1.2.6 1.2.7 1.3 1.3.1 1.3.2 1.4 1.4.1 1.4.2 1.4. ...

  7. ranger部署文档(记)

    目录 概览... 2 1.      ranger-admin. 2 2.      ranger-user-sync. 2 3.      ranger-*-plugins. 2 安装... 3 1 ...

  8. 大数据安全利器ranger 编译安装

    ranger大数据领域的一个集中式安全管理框架,它可以对诸如hdfs.hive.kafka.storm等组件进行细粒度的权限控制.本文将介绍部署过程 1.  部署准备 ranger:    进入apa ...

  9. Hadoop集群上搭建Ranger

    There are two types of people in the world. I hate both of them. Hadoop集群上搭建Ranger 在搭建Ranger工程之前,需要完 ...

随机推荐

  1. ASP.NET MVC 页面静态化操作的思路

    本文主要讲述了在asp.net mvc中,页面静态化的几种思路和方法.对于网站来说,生成纯html静态页面除了有利于seo外,还可以减轻网站的负载能力和提高网站性能.在asp.net mvc中,视图的 ...

  2. springboot多环境下maven打包

    前言: 最近在项目中使用springboot时发现,采用在pom中定义不同的profile,并且maven打包时 采用-P参数并不能替换我application.properties文件中指定占位符的 ...

  3. 【故障处理】队列等待之TX - allocate ITL entry引起的死锁处理

    [故障处理]队列等待之TX - allocate ITL entry引起的死锁处理 1  BLOG文档结构图       2  前言部分 2.1  导读和注意事项 各位技术爱好者,看完本文后,你可以掌 ...

  4. 【OGG】RAC环境下配置OGG单向同步 (四)

    [OGG]RAC环境下配置OGG单向同步 (四) 一.1  BLOG文档结构图 一.2  前言部分 一.2.1  导读 各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的 ...

  5. Gtest:源码解析

    转自:玩转Google开源C++单元测试框架Google Test系列(gtest)之七 - 深入解析gtest 一.前言 “深入解析”对我来说的确有些难度,所以我尽量将我学习到和观察到的gtest内 ...

  6. 使用opencv去操作树莓派摄像头保存图片和视频

    利用树莓派的摄像头去学习opencv的基本操作 —— 保存图片和视频 1.使用Opencv去控制树莓派的摄像头拍照并保存到本地,主要使用cv2和numpy库 #!/usr/bin/python3 # ...

  7. jquery 表单元素选择器

    <!DOCTYPE html> <html> <head> <meta http-equiv="Content-type" content ...

  8. mysql终止当前正在执行的sql语句

    show processlist;找出你要停止的语句然后找出你要终止的语句的idkill 248

  9. APT 信息收集——shodan.io ,fofa.so、 MX 及 邮件。mx记录查询。censys.io查询子域名。

    信息收集 目标是某特殊机构,外网结构简单,防护严密.经探测发现其多个子机构由一家网站建设公司建设. 对子域名进行挖掘,确定目标ip分布范围及主要出口ip. 很多网站主站的访问量会比较大.往往主站都是挂 ...

  10. C#启动计算器并设计算器为活动窗口

    启动计算器,并获取焦点 using System; using System.Runtime.InteropServices; namespace ConsoleApplication3 { clas ...