一 .基础环境 软件 版本 作用 Linux/Win Server2012 CentOs/Win Server2012 服务器环境 JDK 1.8.0_151 运行环境依赖 Elasticsearch 7.0.0 数据持久化,存储 Logstash 6.5.4 数据过滤/处理,从filebeat中接收日志,转发到es中 Filebeat 7.1.1 日志采集,将日志发送到Logstash中 Kibana 5.1.2 kibana连接es进行数据展示,统计报表 二.安装JDK 1.下载jdkhtt…

单机ELK,另外两台服务器分别有一个elasticsearch节点,这样形成一个3节点的ES集群. 可以先尝试单独搭建es集群或单机ELK https://www.cnblogs.com/lz0925/p/12018209.html // 单机ELK https://www.cnblogs.com/lz0925/p/12011026.html // 三节点es集群 注意点 服务器内存:要求不低于8G,如果4G,没有跑其他程序的话,应该也可以,低于4G基本不用考虑. 我的系统:阿里云centOS7…

基于5台虚拟机,搭建ELK集群. 方案: 1. ELK是日志分析平台,而不是一款软件,是一整套解决方案,是三个软件产品的首字母缩写,ELK分别代表: Elasticsearch:负责日志检索和储存 Logstash:负责日志的收集和分析.处理 Kibana:负责日志的可视化 2. ELK组件在海量日志系统的运维中,可用于解决分布式日志数据集中式查询和管理系统监控等,故障排查,安全信息和事件管理,报表功能 部署Elasticsearch分布式集群安装,Kibana作为可视化平台,实时总结流量和数据…

环境搭建-Hadoop集群搭建 写在前面,前面我们快速搭建好了centos的集群环境,接下来,我们就来开始hadoop的集群的搭建工作 实验环境 Hadoop版本:CDH 5.7.0 这里,我想说一下,我们我没有选择官方版本,是因为,cdh版本已经解决好了各个组件之间的依赖.因为,后面,我们还会使用更多hadoop家族里面的组件.cdh版本目前也是国内成产环境中使用最多的一个版本. 环境所需要的安装包我可以在我的百度云分享中获取到: 链接:http://pan.baidu.com/s/1c24g…

环境搭建-CentOS集群搭建 写在前面 最近有许多小伙伴问我,大数据的hadoop分布式集群该如何去搭建.所以,想着,就写一篇博客,帮助到更多刚入门大数据的人.本博客会一步一步带你实现一个Hadoop的搭建.跟着博客上面的步骤,很详细的.你很快就会有一个自己的hadoop集群啦. 我是在自己的windows机器上使用virtualBox来虚拟三台机器,作为实验的环境. 实验环境 Windows 宿主机:Windows 10 (其余也是可以的) VirtualBox 版本:VirtualBox…

前言 本篇文章主要介绍在两台机器上使用 Docker 搭建 ELK. 正文 环境 CentOS 7.7 系统 Docker version 19.03.8 docker-compose version 1.23.2 系统设置 vim 编辑 /etc/security/limits.conf,在末尾加上: * soft nofile 65536 * hard nofile 65536 * soft nproc 4096 * hard nproc 4096 vim 编辑 /etc/sysctl.co…

上次是使用docker搭建的ELK,三个软件都跑在一台机器的一个docker中,这个就当是测试环境吧. 下面开始搭建正式环境下的ELK集群. 三台服务器 A:logstash B:Elasticsearch C:Kibana 1.下载对应软件 官网下载 https://www.elastic.co/downloads 我这里是centos7  下载的都是rpm包 2.安装 配置 A服务器: # rpm -ivh logstash-6.3.1.rpm 修改配置文件(下一篇详细讲解) B服务器: #…

druid.io 是一个比较重型的数据库查询系统,分为5种节点 . 在此就不对数据库进行介绍了,如果有疑问请参考白皮书: http://pan.baidu.com/s/1eSFlIJS 单台机器的集群搭建   首先说一下通用的集群搭建,基于 0.9.1.1 下载地址  http://pan.baidu.com/s/1hrJBjlq: 修改 conf/druid/_common 内的 common.runtime.properties,参考如下配置:   #   # Licensed to Met…

一.安装redis 1.安装gcc环境 yum install gcc-c++ 2.下载源码包并解压 wget http://download.redis.io/releases/redis-3.2.4.tar.gz tar -zxvf redis-.tar.gz cd redis- 3.安装ruby2.4.1并编译(一定要安装大于2.2.2的ruby,要不然redis在make的时候会报错) wget http://ftp.ruby-lang.org/pub/ruby/2.4/ruby-2.4…

最近陆陆续续有不少园友加我好友咨询 redis 集群搭建的问题,我觉得之前写的这篇 <基于Docker的Redis集群搭建> 文章一定是有问题了,所以我花了几分钟浏览之前的文章总结了下面几个问题: redis 数量太少,只创建了 3 个实例: 由于只有 3 个实例,所以全部只能是主节点,无法体现集群主从关系: 如何搭建主从集群?如何分配从节点? 基于之前的文章,我想快速的过一下这几个问题,本文基于 Docker + Redis 5.0.5 版本,通过 cluster 方式创建一个 6 个 re…