一、solrcloud部署

1、下载部署

1)、下载二进制包

#wget http://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/8.3.0/solr-8.3.0-src.tgz   #下载最新版

2)、解压

#tar zxvf solr-8.3..tgz -C /data1/hadoop/
#mv solr-8.3.0 solr

3)、配置环境变量

修改当前用户下的bashrc文件 ~/.bashrc, 添加如下配置:

export SOLR_HOME=/data1/hadoop/solr
export PATH=${SOLR_HOME}/bin:$PATH

使用source 让配置生效

#source ~/.bashrc

注:solrcloud依赖于zookeeper,在部署solrcloud时,需要安装zookeeper。

2、修改配置

1)、修改/data1/hadoop/solr/bin/solr.in.sh文件

修改属性如下:

SOLR_JAVA_HOME="/data1/jdk"  #jdk

SOLR_HEAP="5g"   #堆内存,建议2g以上

ZK_HOST="rslog084:2181,rslog085:2181,rslog086:2181/solr"  #zookeeper地址

SOLR_HOST="xxx"   #solr主机地址,由于是集群模式,这里的地址为当前机器的主机名或者ip,所以拷贝到其他节点时,这个值需要修改

SOLR_HOME=/data1/hadoop/solr/ranger_audit_server   #solr家目录,用于存放数据,索引的跟路径

SOLR_DATA_HOME=/data1/hadoop/solr/ranger_audit_server/data  #数据目录

SOLR_LOGS_DIR=/data1/hadoop/solr/ranger_audit_server/logs #数据目录

SOLR_PORT=4051  #端口,默认是8983

注:上述的目录需要自己手动创建

2)、拷贝配置

上述配置修改完以后,把整个solr目录拷贝到其他节点

示例
#scp -r /data1/hadoop/solr 远程主机:/data1/hadoop
记得修改SOLR_HOST的值

3)、在zookeeper生成跟路径

#solr zk mkroot /solr -z rslog084:

用于集合碎片共享配置集

3、启动solr

在每一台节点都需要启动,执行如下命令:

#solr start 

4、创建集合

#solr create -c ranger_audits -d /data1/hadoop/ranger/ranger-admin/contrib/solr_for_audit_setup/conf/ -s  -rf 3
上述参数解析:
create: 创建集合或者core
-c 指定集合名称
-d 指定server目录,该目录为ranger admin的conf目录,该目录存放着配置集
-s 指定碎片数量
-rf 指定副本数量

5、web界面查

web界面查看创建的数据集

二、ranger admin 配置

主要是修改install.properties文件,主要修改的属性如下:

SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar

db_root_user=root
db_root_password=xxx
db_host=rslog84
db_name=ranger
db_user=root
db_password=xxx audit_store=solr audit_solr_urls=http://xxx:4051/solr/ranger_audits
audit_solr_user=solr
audit_solr_zookeepers=rslog084:,rslog085:,rslog086:/solr audit_solr_collection_name=ranger_audits
audit_solr_config_name=ranger_audits
audit_solr_no_shards=
audit_solr_no_replica= policymgr_external_url=http://xxx:4052
#以下是配置kerberos,如果没有集成kerberos,不需要配置下面的信息
spnego_principal=HTTP/rslog084@HADOOP.COM
spnego_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
token_valid=
cookie_domain=rslog084
admin_principal=ranger/rslog084@HADOOP.COM
admin_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
lookup_principal=ranger/rslog084@HADOOP.COM
lookup_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
hadoop_conf=/data1/hadoop/hadoop/etc/hadoop/conf

上述配置完以后,需要使用setup.sh重新初始化ranger admin

访问ranger的admin 界面,

如果报错,报错信息可能如下:

Error running solr query, please check solr configs. Error from server at http://xxxx:4051/solr/ranger_audits: sort param field can't be found: evtTime

出现这种:基本就是配置文件,或者创建集合指定配置集有问题如。

ranger 使用外置的solr的更多相关文章

  1. Ranger安装部署 - solr安装

    1. 概述 Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库: Solr是以Lucene为基础实现的文本检索应用服务.Solr部署方式有单机方式.多机Master-Slaver方法. ...

  2. 环境篇:Atlas2.0.0兼容CDH6.2.0部署

    环境篇:Atlas2.0.0兼容CDH6.2.0部署 Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系 ...

  3. 环境篇:Atlas2.1.0兼容CDH6.3.2部署

    环境篇:Atlas2.1.0兼容CDH6.3.2部署 Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系 ...

  4. Ranger-Solr审计日志安装

    使用RangerAdmin安装solr,基于已有的solr环境安装,主要是在solr创建用于存储数据的CoreAdmin. # 1.解压安装 在solr的安装机器上面,获取RangerAdmin并且解 ...

  5. win7+jdk1.6+solr4.7.2在内嵌jetty servelt或外置tocmat服务器的solr服务使用

        solr安装,目前初步接触solr,了解两种启动方式.一种是自带的jetty,另一种是基于tomcat.由于超过4.7.2版本的solr需要java1.7及以上版本的支持,所以我们选择solr ...

  6. solr 从零学习开始

    2010-10 目 录 1 1.1 1.2 1.2.1 1.2.2 1.2.3 1.2.4 1.2.5 1.2.6 1.2.7 1.3 1.3.1 1.3.2 1.4 1.4.1 1.4.2 1.4. ...

  7. ranger部署文档(记)

    目录 概览... 2 1.      ranger-admin. 2 2.      ranger-user-sync. 2 3.      ranger-*-plugins. 2 安装... 3 1 ...

  8. 大数据安全利器ranger 编译安装

    ranger大数据领域的一个集中式安全管理框架,它可以对诸如hdfs.hive.kafka.storm等组件进行细粒度的权限控制.本文将介绍部署过程 1.  部署准备 ranger:    进入apa ...

  9. Hadoop集群上搭建Ranger

    There are two types of people in the world. I hate both of them. Hadoop集群上搭建Ranger 在搭建Ranger工程之前,需要完 ...

随机推荐

  1. angularJs指令的Scope(作用域)

    每当一个指令被创建的时候,都会有这样一个选择,是继承自己的父作用域(一般是外部的Controller提供的作用域或者根作用域($rootScope)),还是创建一个新的自己的作用域,当然Angular ...

  2. JAVA基础之会话技术-Cookie及Session

    至此,学习Servlet三个域对象:ServletContext(web项目).request(一次请求).Session(一个客户端)!均有相同的方法! 从用户开始打开浏览器进行操作,便开始了一次会 ...

  3. 基于代理类实现Spring AOP

    目录 ProxyFactoryBean类介绍 基于JDK动态代理的Spring  AOP实现 基于CGLIB代理的Spring  AOP实现 Spring的通知类型 ProxyFactoryBean类 ...

  4. PHP 将json的int类型转换为string类型 解决php bigint转科学计数法的问题

    /** * 将json的int类型转换为string类型 * @param $str * @param int $minLength 最小的转换位数,即只有大于等于这个长度的数字才会被转换为字符串 * ...

  5. Centos 脚本中几个特殊符号的作用笔记

    反斜杠(\):使反斜杠后面的一个变量变为单纯的字符串 单引号(''):转义其中所有的变量为单纯的字符串 双引号(""):保留其中的变量属性,不进行转义处理 反引号(``):把其中的 ...

  6. MySQL- [Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column 'information_schema.PROFILING.SEQ' which is not functionally dependent on columns in GR

    新建的mysql,在查询时报异常信息,虽然有正常执行结果. [Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY claus ...

  7. 为安卓项目添加FileProvider

    简单记录 android7.0开始出现FileProvider.从一个小白角度看需要注意这几点: Manifest.xml中添加provider节点 添加xml文件 模块的build.gradle中添 ...

  8. ffmpg常用命令解析

    1 相关学习官网地址 官网地址:https://www.ffmpeg.org 安装步骤:https://www.johnvansickle.com/ffmpeg/faq/ 2 涉及的常用命令 视频格式 ...

  9. UDS诊断学习笔记

    定义介绍: UDS(Unified Diagnostic Service)诊断的诊断服务.诊断协议是面向整车所有ECU(电控单元)的一种诊断通信协议,是诊断服务的规范化标准. UDS本质上是一系列服务 ...

  10. oracle 字符串分隔去重函数

    create or replaceFUNCTION "SF_SPLIT_ACCOUNT_ID_LIST" ( account_id_list IN VARCHAR2)RETURN ...