filebeat.prospectors: - type: log               #日志输出类型   enabled: true                                                              paths:                  #定义收集日志的目录      - /data/apps/logs/test1/*   fields:                 #自定义的两个字段,区分日志类型及host    …

前言 前面用到过的 minikube 只是一个单节点的 k8s 集群,这对于学习而言是不够的.我们需要有一个多节点集群,才能用到各种调度/监控功能.而且单节点只能是一个加引号的"集群". kubernetes 安装方式面面观 kubernetes 是一个组件化的系统,安装过程有很大的灵活性,很多组件都有多种实现,这些实现各有特点,让初学者眼花缭乱. 而且要把这些组件一个个安装配置好并且能协同工作,也是很不容易的. 因此社区出现了各种各样的安装方案.安装方案如此之多,以致于我不晓得该用哪…

下载解压 kafka 后,在 kafka/config 下有 3 个配置文件与主题的生产.消费相关. server.properties--服务端配置 producer.properties--生产端配置 consumer.properties--消费端配置 这里主要介绍服务端的参数配置.   server.properties  #指定 kafka集群中 broker 的全局编号,每一个 broker 的编号不能重复. broker. #Listeners 指明 broker 监听客户端连接的…

说明:hdfs:nn单点故障,压力过大,内存受限,扩展受阻.hdfs ha :主备切换方式解决单点故障hdfs Federation联邦:解决鸭梨过大.支持水平扩展,每个nn分管一部分目录,所有nn共享dn资源.使用JN集群保证数据一致性,使用zk集群解决主备切换 1.若使用主备节点,常常存在的问题:强一致性,若一致性.强一致性(同步):nn主节点必须等到nn副本返回成功后,才能向客户端返回成功.主和副本之间可能会有如网络延迟.阻塞等问题,就造成了nn的不可用,违背了HA初衷.弱一致性(异步):…

Topic日志清理 server.properties: log.cleanup.policy=delete (默认) 1. 按时间维度进行Kafka日志清理 log.retention.hours=1 log.retention.minutes=60 log.retention.ms=3600000 2. 按空间维度进行Kafka日志清理 log.retention.bytes=1073741824 无论时间还是空间维度,只要满足其中一个log就会被清理. 一小时后发现log已经被清除.…

文章目录 1.单节点访问http://192.168.1.61:8082/pay-web-boss/: 2.增加多一个消费者节点:192.168.1.62,以同样的方式部署pay-web-boss工程. 3.在Keepalived+Nginx组成的反向代理集群中的两个节点同步增加如下两处配置: 4.重启Nginx 5.通过反向代理集群的VIP访问pay-web-boss时,有时可以登录成功,但有时又会提示验证码错误,原因就是Session没有同步. 6.下载 7.下载 8.添加Tomcat的环境…

准备工作: 1.安装VMware Workstation Pro 2.新建三个虚拟机,安装centOS7.0 版本不限 配置工作: 1.准备三台服务器(nameNode10.dataNode20.dataNode30)2.配置三台机器网络ip分别为(192.168.18.10.192.168.18.20.192.168.18.30) 2.1 进入/etc/sysconfig/network-scripts 修改 ifcfg-ens33 文件,定义网卡 信息如下,三台机器都要配置 ONBOOT=y…

0x00 背景 K8S内运行Spring Cloud微服务,根据定制容器架构要求log文件不落地,log全部输出到std管道,由基于docker的filebeat去管道采集,然后发往Kafka或者ES集群. 0x01 多行匹配和yaml文件 在filebeat启动的yaml文件内,指定相应的名称空间并配置java堆栈的多行解析规则,如下yaml文件输出端是kafka,如需要输出到es集群,可更改对应配置 apiVersion: v1 kind: Namespace metadata: name:…

概述 学习和使用kafka不知不觉已经将近5年了,觉得应该总结整理一下之前的知识更好,所以决定写一系列kafka学习笔记,在总结的基础上希望自己的知识更上一层楼.写的不对的地方请大家不吝指正,感激万分.第一篇介绍消息队列概况和kafka的入门知识. 消息队列系统 首先说一下消息队列的含义,"消息系统"这个词是从英文翻译过来的,英文的名字是"Messaging System",稍微学习过英语基础的都知道要翻译成消息队列,但是也有一些大家觉得并不正确,因为它片面强调了消…

Andorid:日常学习笔记(3)——掌握日志工具的使用 使用Android的日志工具Log 方法: Android中的日志工具类为Log,这个类提供了如下方法来供我们打印日志: 使用方法: Log.d("MainActivity","onCreate execute"); 第一个参数tag:一般传入当前类名就好,主要用于队打印信息进行过滤. 第二个参数:msg,具体想打印的内容. 如: public class MainActivity extends AppCo…