一.安装Elasticsearch 1.1 环境说明 Centos7.6 Elasticsearch7.1.1 #挂载数据盘 fdisk /dev/vdb n,p,,回车,回车,wq fdisk -l mkfs.ext4 /dev/vdb1 echo '/dev/vdb1 /opt ext4 defaults 0 0' >>/etc/fstab mount -a df -h #时间同步 yum install -y ntp systemctl enable ntpd && sy

基于ES内置及自定义用户实现kibana和filebeat的认证 作者:"发颠的小狼",欢迎转载 目录 ▪ 用途 ▪ 关闭服务 ▪ elasticsearch-修改elasticsearch.yml配置 ▪ elasticsearch-开启服务 ▪ elasticsearch-建立本地内置用户 ▪ kibana-创建私钥库 ▪ kibana-WEB界面确认用户 ▪ filebeat-在WEB界面创建角色及用户 ▪ filebeat-服务器上创建密钥库 ▪ filebeat-配置file

原文地址:https://blog.csdn.net/uncle_david/article/details/78713551 对于搭建好的mongodb副本集加分片集群,为了安全,启动安全认证,使用账号密码登录. 默认的mongodb是不设置认证的.只要ip和端口正确就能连接,这样是不安全的.mongodb官网上也说,为了能保障mongodb的安全可以做以下几个步骤: 1.使用新的端口,默认的27017端口如果一旦知道了ip就能连接上,不太安全 2.设置mongodb的网络环境,最好将mong

问题 在cdh集群中开启了kerberos认证,hbase集群出现一点问题,需要通过zookeeper-client访问zookeeper,删除/hbase节点时候报错:Authentication is not valid : /hbase 解决 登录zk,查看权限 zookeeper-client -server ip:2181 [zk: ip:2181(CONNECTED) 1] getAcl /hbase 'world,'anyone : r 'sasl,'hbase : cdrwa 可

转载自:https://mp.weixin.qq.com/s?__biz=MzUyNzk0NTI4MQ==&mid=2247483826&idx=1&sn=583e9a526050682ae060f601eced917b&chksm=fa769a9ccd01138a8740171769d1149a5df706ab3523eb0cbb5697293bda6e46954641d49f99&mpshare=1&scene=1&srcid=01245nkmq

Redis默认配置是不需要密码认证的,也就是说只要连接的Redis服务器的host和port正确,就可以连接使用.这在安全性上会有一定的问题,所以需要启用Redis的认证密码,增加Redis服务器的安全性. 1. 修改配置文件 Redis的配置文件默认在/etc/redis.conf,找到如下行: #requirepass foobared 2. 重启Redis 如果Redis已经配置为service服务,可以通过以下方式重启: service redis restart 如果Redis没有配置

Redis默认配置是不需要密码认证的,也就是说只要连接的Redis服务器的host和port正确,就可以连接使用.这在安全性上会有一定的问题,所以需要启用Redis的认证密码,增加Redis服务器的安全性. 1. 修改配置文件 Redis的配置文件默认在/etc/redis.conf,找到如下行: #requirepass foobared 去掉前面的注释,并修改为所需要的密码: requirepass myPassword 2. 重启Redis 如果Redis已经配置为service服务,可以

 CDH构建大数据平台-配置集群的Kerberos认证安全 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 当平台用户使用量少的时候我们可能不会在一集群安全功能的缺失,因为用户少,团队规模小,相对容易把控,开发人员直接也彼此了解.这时候只需要做好团队内部或是企业通过一些列行政管理手段就能管理好集群的安全问题.但是别忘了我们的平台定位可是作为一个单一的大数据来支持企业内部所有应用的.正所谓人上一百,形形色色.当平台用户达到一定数量之后其素质难免会参差不齐,大数据平台面对的也不再是

es7集群的搭建 一.需求 二.前置条件 三.搭建步骤 1.下载es 2.创建 `es` 用户并给es目录授权 3.修改es的配置文件 4.es01目录下 elasticsearch.yml 的一个完整的配置 5.启动es集群 6.查看集群是否启动 四.参考链接 一.需求 最近在看es相关的知识,此处简单记录一下es集群的搭建步骤.因为本地机器有限,此处模拟一下在同一台机器上搭建三个节点的集群. 二.前置条件 1.es不能使用root用户启动,因此需要创建一个用户. 2.本地的多个es节点之间不

本节内容: Kubernetes简介 环境信息 创建TLS加密通信的证书和密钥 下载和配置 kubectl(kubecontrol) 命令行工具 创建 kubeconfig 文件 创建高可用 etcd 集群 部署 kubernetes master节点 部署kubernetes node节点 安装和配置 kube-dns 插件 一.Kubernetes简介 Kubernetes是谷歌开源的容器集群管理系统,是Google多年大规模容器管理技术Borg的 开源版本,主要功能包括: 基于容器的应用部

做为SpringCloud Netflix服务套件中的一部分,springCloud eureka基于Netflix Eureka做了二次封装,默认提供WEB管理页面及服务治理. 为了确保在生产环境中的,eureka注册服务的元数据及WEB管理的信息安全,可以结合spring security增加安全认证. 步骤如下: 第一步,在eureka server端,开启安全认证配置,设置访问用户名和密码. 首先,增加spring security依赖包, <dependency> <group

1.cephx认证和授权 1.1 CephX认证机制 Ceph使用cephx协议对客户端进行身份认证: 1.每个MON都可以对客户端进行身份验正并分发密钥, 不存在单点故障和性能瓶颈 2. MON会返回用于身份验正的数据结构, 其包含获取Ceph服务时用到的session key. 3.session key通过客户端密钥进行加密 4.客户端使用session key向MON请求所需的服务 5.MON向客户端提供一个ticket, 用于向实际处理数据的OSD等验正客户端身份 6.MON和OSD共

前言 最近一直忙于和小伙伴倒腾着关于人工智能的比赛,一直都没有时间停下来更新更新我的博客.不过在这一个过程中,遇到了一些问题,我还是记录了下来,等到现在比较空闲了,于是一一整理出来写成博客.希望对于大家有帮助,如果在此有不对的地方,请大家指正,谢谢! 比赛遇到spark开启的问题 疑惑之处 在使用百度BMR的时候,出现了这样子一个比较困惑的地方.但百度那边帮我们初始化了集群之后,我们默认以为开启了spark集群了,于是就想也不想就开始跑我们的代码.可认真你就错了,发现它只是开启了local(即M

Kubernetes中的用户 K8S中有两种用户(User)--服务账号(ServiceAccount)和普通意义上的用户(User) ServiceAccount是由K8S管理的,而User通常是在外部管理,K8S不存储用户列表--也就是说,添加/编辑/删除用户都是在外部进行,无需与K8S API交互,虽然K8S并不管理用户,但是在K8S接收API请求时,是可以认知到发出请求的用户的,实际上,所有对K8S的API请求都需要绑定身份信息(User或者ServiceAccount),这意味着,可以

Storm开启HA高可用,包括Nimbus和UI开启两个及以上的进程. 基于已经安装好的Storm集群,开启关键节点角色的HA高可用. Storm安装请参考Storm集群安装Version1.0.1 1.修改storm.yaml文件 配置项配置可以启动nimbus的节点: nimbus.seeds: ["zdh-237", "zdh-238", "zdh-239"] 2.启动Nimubs和UI高可用 在集群中配置的三个节点启动nimbus和UI进

关于端口的官方说明:https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/ k8s master需要开启以下端口 firewall-cmd --permanent --add-port=6443/tcp firewall-cmd --permanent --add-port=2379-2380/tcp firewall-cmd --permanent --add-port=102

问题描述: 在执行redis-trib.rb命令查看集群状态的时候,报错: [aiprd@hadoop1 ~]$ redis-trib.rb check Traceback (most recent call last): : from /home/aiprd/softwares/redis-/src/redis-trib.rb::in `<main>' : from /home/aiprd/app/ruby-/lib/ruby//rubygems/core_ext/kernel_requir

两个Hadoop集群开启Kerberos验证后,集群间不能够相互访问,需要实现Kerberos之间的互信,使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务). 先决条件: 1)两个集群(IDC.COM和HADOOP.COM)均开启Kerberos认证 2)Kerberos的REALM分别设置为IDC.COM和HADOOP.COM 步骤如下: 1 配置KDC之间的信任ticket 实现DIDC.CO

所有 Ceph 部署都始于 Ceph 存储集群.基于 RADOS 的 Ceph 对象存储集群包括两类守护进程: 1.对象存储守护进程( OSD )把存储节点上的数据存储为对象: 2.Ceph 监视器( MON )维护集群运行图的主拷贝.一个 Ceph 集群可以包含数千个存储节点,最简系统至少需要一个监视器和两个 OSD 才能做到数据复制. Ceph 文件系统. Ceph 对象存储.和 Ceph 块设备从 Ceph 存储集群读出和写入数据 一.配置 Ceph 作为集群时可以包含数千个对象存储设备(

本节内容: 配置dashboard 执行所有定义的文件 检查执行结果 访问dashboard 这是接着上一篇<二进制方式部署Kubernetes 1.6.0集群(开启TLS)>写的.Kubernetes Dashboard is a general purpose, web-based UI for Kubernetes clusters. It allows users to manage applications running in the cluster and troubleshoo

导读:不知道大家有没有意识到一个现实:大部分时候,我们已经不像以前一样,通过命令行,或者可视窗口来使用一个系统了. 前言 现在我们上微博.或者网购,操作的其实不是眼前这台设备,而是一个又一个集群.通常,这样的集群拥有成百上千个节点,每个节点是一台物理机或虚拟机.集群一般远离用户,坐落在数据中心.为了让这些节点互相协作,对外提供一致且高效的服务,集群需要操作系统.Kubernetes 就是这样的操作系统. 比较 Kubernetes 和单机操作系统,Kubernetes 相当于内核,它负责集群软硬