Ranger使用solrCloud存储审计日志
Ranger使用solrCloud存储审计日志
标签(空格分隔): Ranger
1, Zookeeper 搭建
1,忽略。默认已经搭建好zk 集群。
VECS17820:2181,VECS17821:2181,VECS17822:2181
2,SolrCloud模式安装(三台机器)
1,JDK,环境变量及 solr 用户默认已经建立,且安装包 及 log 等等目录均已赋权。
安装Solr 集群步骤:
1
solr@VECS017820:/app$ ll
total 412840
lrwxrwxrwx 1 root root 12 Oct 15 14:19 jdk -> jdk1.8.0_181
drwxr-xr-x 7 10 143 4096 Jul 7 2018 jdk1.8.0_181
drwxr-xr-x 9 root root 4096 Oct 16 17:16 ranger-2.0.0-admin
-rw-r--r-- 1 root root 250254688 Oct 17 11:05 ranger-2.0.0-admin.tar.gz
lrwxrwxrwx 1 solr solr 10 Oct 15 17:18 solr -> solr-7.7.2
drwxr-xr-x 9 solr solr 4096 May 28 23:38 solr-7.7.2
-rw-r--r-- 1 solr solr 172470530 Oct 15 17:14 solr-7.7.2.zip
lrwxrwxrwx 1 zookeeper zookeeper 16 Oct 15 14:22 zookeeper -> zookeeper-3.4.10
drwxr-xr-x 10 zookeeper zookeeper 4096 Mar 23 2017 zookeeper-3.4.10
其中solr 集群机器上(该节点)的ranger-2.0.0-admin 安装包为临时需要copy到此机器,并不是ranger-admin 节点。(后续步骤中会用到这个包的conf 目录)
2
修改每台机器的solr配置文件solr.in.sh(在solr 安装包的 bin 目录下,在修改后将solr 安装包及其所涉及的目录均赋给 solr 用户。)
SOLR_JAVA_MEM="-Xmx20g -Xms20g -Xmn5g -Xss256k -XX:MaxPermSize=384m -XX:SurvivorRatio=6 -XX:+UseParNewGC -XX:ParallelGCThreads=10 -XX:+UseConcMarkSweepGC -XX:ParallelCMSThreads=16 -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullC
ollection -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:CMSMaxAbortablePrecleanTime=500 -XX:CMSFullGCsBeforeCompaction=5 -XX:+CMSClassUnloadingEnabled -XX:+HeapDumpOnOutOfMemoryError -verbose:gc -XX:+PrintG
CDateStamps -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:/app/solr/bin/gc-solr-`hostname`.log"
ZK_HOST="VECS17820:2181,VECS17821:2181,VECS17822:2181/ranger_audits"
3
在其中一台solr 集群节点上执行如下命令,用以在zookeeper上创建 ranger_audits 的chroot目录,该目录只需要创建一次
sudo su - solr
cd /app/solr-7.7.2
server/scripts/cloud-scripts/zkcli.sh -zkhost VECS17820:2181,VECS17821:2181,VECS17822:2181 -cmd makepath /ranger_audits
4启动三台solr集群节点(每台都执行)
sudo su - solr
cd /app/solr-7.7.2/bin
./solr start -c
5 创建名为ranger_audits的连接
注:手动解压安装包搭建solr集群模式,必须使用ranger中的solr配置项创建连接
cd /app/solr-7.7.2
bin/solr create_collection -c ranger_audits -d /app/ranger-2.0.0-admin/contrib/solr_for_audit_setup/conf -shards 3 -replicationFactor 2
上面命令执行时,会自动把默认配置集下的 conf 目录上传到zookeeper中并关联到默认的collection中。
3、Ranger-Admin配置
vim /app/ranger-2.0.0-admin/install.properties
#Source for Audit Store. Currently only solr is supported.
# * audit_store is solr
audit_store=solr
# * audit_solr_url URL to Solr. E.g. http://<solr_host>:6083/solr/ranger_audits
audit_solr_urls=http://VECS07820:8983/solr/ranger_audits
audit_solr_user=
audit_solr_password=
audit_solr_zookeepers=VECS17820:2181,VECS17821:2181,VECS17822:2181/ranger_audits
audit_solr_collection_name=ranger_audits
#solr Properties for cloud mode
audit_solr_config_name=ranger_audits
audit_solr_no_shards=3
audit_solr_no_replica=2
audit_solr_max_shards_per_node=1
audit_solr_acl_user_list_sasl=solr,infra-solr
在setup.sh 之后
/app/ranger/ews/webapp/WEB-INF/classes/conf/ranger-admin-site.xml
配置文件中将会加载 install.perproties 中的配置项。
ranger-admin-site.xml
<property>
<name>ranger.audit.solr.urls</name>
<value>http://VECS07820:8983/solr/ranger_audits</value>
<description />
</property>
<property>
<name>ranger.audit.solr.zookeepers</name>
<value>VECS07820:2181,VECS07821:2181,VECS07822:2181/ranger_audits</value>
<description />
</property>
、Ranger-Hbase-Plugin为例配置
vi ranger-2.0.0-hdfs-plugin/install.properties
XAAUDIT.SOLR.ENABLE=true
XAAUDIT.SOLR.ZOOKEEPER=VECS17820:2181,VECS17821:2181,VECS17822:2181/ranger_audits
Ranger使用solrCloud存储审计日志的更多相关文章
- ABP大型项目实战(2) - 调试与排错 - 日志 - 查看审计日志
这是<ABP大型项目实战>系列文章的一篇. 项目发布到生产环境后难免会有错误. 那么如何进行调试和排错呢? 我看到俱乐部里有人是直接登陆生产服务器把数据库下载到开发机器进行调试排错 ...
- Abp + MongoDb 改造默认的审计日志存储位置
一.背景 在实际项目的开发当中,使用 Abp Zero 自带的审计日志功能写入效率比较低.其次审计日志数据量中后期十分庞大,不适合与业务数据存放在一起.所以我们可以重新实现 Abp 的 IAuditi ...
- Ranger-Solr审计日志安装
使用RangerAdmin安装solr,基于已有的solr环境安装,主要是在solr创建用于存储数据的CoreAdmin. # 1.解压安装 在solr的安装机器上面,获取RangerAdmin并且解 ...
- ABP(现代ASP.NET样板开发框架)系列之19、ABP应用层——审计日志
点这里进入ABP系列文章总目录 基于DDD的现代ASP.NET开发框架--ABP系列之19.ABP应用层——审计日志 ABP是“ASP.NET Boilerplate Project (ASP.NET ...
- ABP理论学习之审计日志
返回总目录 本篇目录 介绍 配置 通过特性开启/关闭 注意 我项目中的例子 介绍 维基百科说: "审计跟踪(也叫审计日志)是与安全相关的按照时间顺序的记录,记录集或者记录源,它们提供了活动序 ...
- 机器数据的价值 - Web 访问日志和数据库审计日志
计算机数据 大量的数据流,不断增长的来源,蕴含着巨大的价值 在 Splunk,我们大量谈及计算机数据.这些数据是指在数据中心.“物联网”和互联设备世界中运行的所有系统产生的数据.其中包括支撑组织的应用 ...
- ABP应用层——审计日志
ABP应用层——审计日志 点这里进入ABP系列文章总目录 基于DDD的现代ASP.NET开发框架--ABP系列之19.ABP应用层——审计日志 ABP是“ASP.NET Boilerplate Pro ...
- Kubernetes审计日志方案
前言 当前Kubernetes(K8S)已经成为事实上的容器编排标准,大家关注的重点也不再是最新发布的功能.稳定性提升等,正如Kubernetes项目创始人和维护者谈到,Kubernetes已经不再是 ...
- Ubuntu下rsyslog集中收集mysql审计日志
服务端 1.安装最新版本rsyslog sudo apt-get install software-properties-common python-software-properties sudo ...
随机推荐
- Java实现的基础数据结构
Java实现的基础数据结构 0,常用的基础数据结构 图1 基础数据结构&相关特性 图2 Java自带的类集框架&继承关系图 1,数组[Array] 特点:长度固定.查找方便[直接使用i ...
- ACM算法练习-——ZJU1164-Software CRC
具体的题目描述点此链接 http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemCode=1164 这道题,说实话 ...
- c# winform 窗体间的传值
1.父窗体传值给子窗体: 1) 父窗体: FrmXX frm = ,); frm.Owner = this; frm.ShowDialog(); 子窗体: ; public FrmXX(int ty, ...
- BZOJ4241历史研究题解--回滚莫队
题目链接 https://www.lydsy.com/JudgeOnline/problem.php?id=4241 分析 这题就是求区间权值乘以权值出现次数的最大值,一看莫队法块可搞,但仔细想想,莫 ...
- sass之mixin的全局引入(vue3.0)
sass之mixin的全局引入(vue3.0) 1.scss文件(mixin.scss) /* 渐变 */ @mixin gradual($color, $color1){ background: $ ...
- powershell查看版本信息
在终端输入$PSVersionTable
- Wxpython pannel切换
演示效果 实现panel切换思路 1.创建所有在某个区域需要切换面板对象,设置为None self.panel_Celan1 = None self.panel_Celan2 = None self. ...
- hourglassnet网络解析
hourglassnet中文名称是沙漏网络,起初用于人体关键点检测,代码,https://github.com/bearpaw/pytorch-pose 后来被广泛的应用到其他领域,我知道的有双目深度 ...
- DA_05_Linux(CentOS6.7) 安装MySql5.7数据库
1系统约定 安装文件下载目录:/data/software Mysql目录安装位置:/usr/local/mysql 数据库保存位置:/data/mysql 日志保存位置:/data/log/mysq ...
- Git学习笔记(2)-Eclipse中Git插件使用
目前我使用的Eclipse luna版本中已经集成了git插件,这里就不介绍如何安装Git插件了,不懂可以看其他的博客. 上篇笔记介绍了Git的基本指令,实际开发中我基本都使用eclipse插件进行代 ...