=============================================== 2017/12/24_第3次修改                       ccb_warlock 更新说明: 1.2017/12/24:补全部署内容 2.2017/12/25:修改部署存在的问题,修改描述不合理的内容 =============================================== ELK(elasticsearch.logstash.kibana)可以作为日志收集及

Centos7中ELK集群安装流程   说明:三个版本必须相同,这里安装5.1版. 一.安装Elasticsearch5.1   hostnamectl set-hostname elk vim /etc/sysconfig/network修改HOSTNAME=elk 安装Java环境:yum install java-1.8.0-openjdk.x86_64 添加JAVA环境:vim /etc/profile,添加下列行,保存后执行source /etc/profileexport JAVA_

单机ELK,另外两台服务器分别有一个elasticsearch节点,这样形成一个3节点的ES集群. 可以先尝试单独搭建es集群或单机ELK https://www.cnblogs.com/lz0925/p/12018209.html // 单机ELK https://www.cnblogs.com/lz0925/p/12011026.html // 三节点es集群 注意点 服务器内存:要求不低于8G,如果4G,没有跑其他程序的话,应该也可以,低于4G基本不用考虑. 我的系统:阿里云centOS7

上次是使用docker搭建的ELK,三个软件都跑在一台机器的一个docker中,这个就当是测试环境吧. 下面开始搭建正式环境下的ELK集群. 三台服务器 A:logstash B:Elasticsearch C:Kibana 1.下载对应软件 官网下载 https://www.elastic.co/downloads 我这里是centos7  下载的都是rpm包 2.安装 配置 A服务器: # rpm -ivh logstash-6.3.1.rpm 修改配置文件(下一篇详细讲解) B服务器: #

好了,本篇开始部署kafka集群 Zookeeper集群搭建 注:Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群(也可以用kafka自带的ZK,但不推荐) 1.软件环境 (3台服务器) 10.0.20.131 10.0.20.132 10.0.20.133 1.Linux服务器一台.三台.五台.(2*n+1),Zookeeper集群的工作是超过半数才能对外提供服务,3台中超过两台超过半数,允许1台挂掉 ,是否可以用偶数,其实没必要. 如果有四台那么挂掉一台还

一.安装jdk 1.下载jdk压缩包并移动到/usr/local目录 mv jdk-8u162-linux-x64.tar.gz /usr/local 2.解压 tar -zxvf jdk-8u162-linux-x64.tar.gz 配置JDK环境变量 export JAVA_HOME=/usr/local/jdk1.8.0_162 export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOM

转自http://www.cnblogs.com/zhenyuyaodidiao/p/6237019.html 一.简介 “A highly-available key value store for shared configuration and service discovery.” Etcd是coreos开发的分布式服务系统,内部采用raft协议作为一致性算法.作为一个高可用的配置共享.服务发现的键值存储系统,Etcd有以下的特点: 1)简单:安装配置简单,而且提供了 HTTP API

 一.前言 开始学习数据处理相关的知识了,第一步是搭建一个Hadoop集群.搭建一个分布式集群需要多台电脑,在此我选择采用VMWare+CentOS7搭建一个三台虚拟机组成的Hadoop集群. 注:1.本次搭建环境中操作系统的用户名为hadoop,请自行替换/home/hadoop为本机对应路径. 2.本次用到的软件版本为: VMware Workstation 14 Pro 14.1.3 build-9474260 CentOS 7.5.1804 Java 1.8.0_181 Apache H

前言 本篇文章主要介绍在两台机器上使用 Docker 搭建 ELK. 正文 环境 CentOS 7.7 系统 Docker version 19.03.8 docker-compose version 1.23.2 系统设置 vim 编辑 /etc/security/limits.conf,在末尾加上: * soft nofile 65536 * hard nofile 65536 * soft nproc 4096 * hard nproc 4096 vim 编辑 /etc/sysctl.co

centos7与之前的版本都不一样,修改主机名在/ect/hostname 和/ect/hosts 这两个文件控制 首先修改/ect/hostname vi /ect/hostname 打开之后的内容是: localhost.localdomain 把它修改成你想要的名字就可以,比如: niukou.com 保存退出 然后修改/ect/hosts文件 vi /ect/hosts 打开之后的内容是: 127.0.0.1   localhost localhost.localdomain local

环境准备 基础环境介绍 操作系统 部署应用 应用版本号 IP地址 主机名 CentOS 7.4 Elasticsearch/Logstash 6.4.3 192.168.1.1 elk1 CentOS 7.4 Elasticsearch/Logstash/Redis 6.4.3 192.168.1.2 elk2 CentOS 7.4 Elasticsearch/Kibana 6.4.3 192.168.1.3 elk3 基础环境配置 安装基本软件包以及配置hosts yum -y install

简介 通过 Erlang 的分布式特性(通过 magic cookie 认证节点)进行 RabbitMQ 集群,各 RabbitMQ 服务为对等节点,即每个节点都提供服务给客户端连接,进行消息发送与接收.这些节点通过 RabbitMQ HA 队列(镜像队列)进行消息队列结构复制.本方案中搭建 3 个节点,并且都是磁盘节点(所有节点状态保持一致,节点完全对等),只要有任何一个节点能够工作,RabbitMQ 集群对外就能提供服务. 1. 安装erlang,参考:http://fedoraprojec

环境准备: ssh shell工具: 远程连接 三个CentOS示例: 部署集群 配置好各个实例之间的网络访问,以及ssh免密登录. 下载&上传: 1.下载 Consul: Download Consul - Consul by HashiCorp 2.上传至虚拟机: ➜ Desktop scp consul_1.1.0_linux_amd64.zip root@192.168.1.11:/opt ➜ Desktop scp consul_1.1.0_linux_amd64.zip root@1

0.logstash的部分配置 output { stdout {codec => rubydebug} elasticsearch { hosts => ["172.31.250.16:9200"] index => "syslog-%{+YYY.MM.dd}" user => "elastic" password => "changeme" } } 1.elasticsearch的配置文件 [

大佬博客地址:https://blog.csdn.net/supermao1013/article/category/8269552 docker elasticsearch 集群启动命令 docker run -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -d -p 9200:9200 -p 9300:9300 -p 5601:5601 -v /usr/local/es/config/es1.yml:/usr/share/elasticsearch/conf

一.简述 Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统.致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用.有如下特性: 高可靠性 去中心化的多Master和多Worker, 自身支持HA功能, 采用任务队列来避免过载,不会造成机器卡死 简单易用 DAG监控界面,所有流程定义都是可视化,通过拖拽任务定制DAG,通过API方式与第三方系统对接, 一键部署 丰富的使用场景 支持暂停恢复操作. 支持多租户,更好的

一.手动搭建 1. 准备节点 节点数量至少为 6 个才能保证组成完整高可用的集群 (1) 目录结构 cluster ├── 9001 │   ├── data │   │   ├── appendonly.aof │   │   └── nodes-9001.conf │   ├── redis-9001.conf │   └── redis-9001.log ├── 9002 │   ├── data │   │   ├── appendonly.aof │   │   └── nodes-9

一.部署环境 操作系统:CentOS Linux release 7.6.1810 (Core) 安装软件: docker:18.06.3-ce kubernetes:v1.15.4 二.部署架构: 部署开始前,先把主机名改成如上图所示. 同时修改/etc/hosts,如下: 三.部署过程 1.安装docker(所有节点) 1.1.卸载可能存在的依赖包 sudo yum remove docker docker-common container-selinux docker-selinux do

1. 准备 两台虚拟机,IP分别为: 192.168.1.104 192.168.1.105 保证能互相 ping 通 2. 修改虚拟机的 host,分别任 c1.c2 在 192.168.1.105 中,设置其 host 为 c1: hostnamectl --static set-hostname c1 查看: hostnamectl status 在 192.168.1.104 中,设置其 host 为 c2: hostnamectl --static set-hostname c2 查看

Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计,分析出当前的流行趋势 有些数据,存储数据库浪费,直接存储硬盘效率又低 这些场景都有一个共同点: 数据是由上游模块产生,上游模块,使用上游模块的数据计算.统计.分析,这个时候就可以使用消息系统,尤其是分布式消息系统! 2.Kafka的定义 What is Kafka:它是一个分布

前提 安装Kafka前需要先安装zookeeper集群,集体安装方法请参照我的另一篇文档 Storm安装 下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.0/apache-storm-1.1.0.tar.gz 解压 tar -zxvf apache-storm-1.1.0.tar.gz 移动文件夹 mv apache-storm-1.1.0 /usr/local/hadoop/ vim stor