阿里云ilogtail收集自建Kubernetes容器日志文件
背景
1,k8s属于自建。
2,需要收集应用服务容器里面指定目录的日志。
3,计划收集所有私有云php和nginx日志。
4,日志格式化处理。
思考
1,一个私有云一个Project,还是统一放入一个Project。
2,logstore 是一个日志类型一个还是一个私有云一个。
3,logtail配置多个在一个logstore,还是在一个logstore。
注:因为alibaba-log-controller 安装使用的是helm,所以集群需要有helm命令。helm就类似于yum apt。
传送门:helm安装
一、介绍
- 阿里云的日志服务SLS:https://sls.console.aliyun.com/lognext/profile
- 阿里云官方文档:https://help.aliyun.com/document_detail/48869.html
- 日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。
- 日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。
- 日志服务提供50多种数据接入方案。
- 一句话就是很牛逼。
我今天要说的是,我公司的一个实际的需求:
- 利用阿里云的ilogtail采集工具。
- 收集我们本地idc机房。
- 自建k8s集群。
- 多个日志文件。
再说一点为啥要用阿里云的ilogtail:
- ilogtail可以收集容器里面指定目录下的文件。
- 我们的日志文件没有挂载到宿主机。filebeat就做不到收集容器里面的日志。
- 我们需要收集的文件有nginx的access error。php的info,error.
- 日志分类。
二、安装阿里alibaba-log-controller
2.1 新建Project
- 登录阿里云日志服务控制台https://sls.console.aliyun.com/lognext/profile
- 创建一个以
k8s-log-custom-
开头的Project。k8s-log-custom-all-pcloud - k8s-log-custom- 这个是固定开头,但是我看阿里云的安装脚本,这个可以改一下试试。
2.2 安装logtail组件
安装脚本:点击下载脚本
# 这个脚本是被我稍微改了一下,可以定义机器组,传入的最后一个参数就是定义机器组。
bash ./alicloud-log-k8s-custom-install.sh all-pcloud cn-beijing 1234567890 ak sk pcloud-hkgc
参数说明:
参数 | 说明 |
all-pcloud |
创建的Project的名称中的自定义部分。k8s-log-custom-all-pcloud,则此处填写all-pcloud |
cn-beijing |
Project所在的地域ID,传送门:点击 |
1234567890 |
阿里云账号ID,传送门:点击 |
ak | ak |
sk | sk |
pcloud-hkgc |
Project的机器组名称,不同的私有云用不同的机器组区分,这个是我加的,方便区别机器组 |
验证:
helm status alibaba-log-controller
查看机器组:
- 然后去阿里云SLS服务上面的Project里面看机器组。
- 这个机器组就是pcloud-hkgc。
- 可以看到这个机器组下面的机器都是在线的。
2.3 收集日志
ilogtail采集器安装完毕了之后就要配置规则去收集日志了。
创建logstore:
- logstore其实就是一个各种日志的集合。
- 其实就是给你想要的日志分个组。
- 很灵活,我就是按照一个私有云集群来分的。
- 一个私有云一个logstore
创建logtail配置:
- logtail其实就是一组收集日志的规则。
- 收集哪个目录 文件的日志,格式化日志。
- 并且可以设置白名单,只收集哪个容器的,或者只收集那个namespaces的。官方文档:https://help.aliyun.com/document_detail/66655.html
说一下我工作中实际的用法:
- nginx access error文件各创建一个logtail配置
- php info error文件各创建一个logtail配置
- 因为我只收集zhumeng命名空间下的,所以我加上了io.kubernetes.pod.namespace:zhumeng 白名单。
- 并且日志路径匹配那每次都会收集/var/www/html/storage/logs/schedule*.log,所以这里的需要过滤掉。采集黑名单文件路径。
- config-operation-log logstore不能删除。这个是logtail容器插件自己的心跳。
下面再贴一个我收集php日志的截图
三、展示
- 我用机器组区分不同的k8s集群
- 用logstore把集群的不同日志放到一个日志库里
- 用logtail挂载到不同的机器组
阿里云ilogtail收集自建Kubernetes容器日志文件的更多相关文章
- 从运维的角度分析使用阿里云数据库RDS的必要性--你不应该在阿里云上使用自建的MySQL/SQL Server/Oracle/PostgreSQL数据库
开宗明义,你不应该在阿里云上使用自建的MySQL or SQL Server数据库,对了,还有Oracle or PostgreSQL数据库. 云数据库 RDS(Relational Database ...
- 一个或多个listeners启动失败,更多详细信息查看对应的容器日志文件
碰到这个问题很多次,每次碰到都是去百度找.但是,不尽人意,好在最后还是解决了,所以写下总结. 报错内容: org.apache.catalina.core.StandardContext.startI ...
- Serverless助力AI计算:阿里云ACK Serverless/ECI发布GPU容器实例
ACK Serverless(Serverless Kubernetes)近期基于ECI(弹性容器实例)正式推出GPU容器实例支持,让用户以serverless的方式快速运行AI计算任务,极大降低AI ...
- 阿里云ECS(Ubuntu)单节点Kubernetes部署
参考资料: kubernetes官网英文版 kubernetes官网中文版 前言 这篇文章是比较久之前写的了,无聊翻了下博客发现好几篇博文排版莫名其妙的变了... 于是修改并完善了下.当初刚玩k8s的 ...
- [Kubernetes]容器日志的收集与管理
在开始这篇文章之前,首先要明确一点: Kubernetes 中对容器日志的处理方式,都叫做 cluster-level-logging ,也就是说,这个日志处理系统,与容器, Pod 以及 Node ...
- Python 调用阿里云 API 收集 ECS 数据
#!/usr/bin/env python # coding: utf-8 # author: Wang XiaoQiang ''' 功能介绍: 1.调用阿里云API,收集所有区域 ECS 信息 2. ...
- Kubernetes容器日志收集
日志采集方式 日志从传统方式演进到容器方式的过程就不详细讲了,可以参考一下这篇文章Docker日志收集最佳实践,由于容器的漂移.自动伸缩等特性,日志收集也就必须使用新的方式来实现,Kubernetes ...
- 自建Kubernetes logtail日志采集客户端安装方式
自建Kubernetes安装方式 前提条件 Kubernetes集群版本1.8及以上. 已经安装Helm命令,版本2.6.4及以上. 安装步骤 在日志服务控制台创建一个Project,Project名 ...
- Delphi阿里云对象存储OSS【支持上传文件、下载文件、删除文件、创建目录、删除目录、Bucket操作等】
作者QQ:(648437169) 点击下载➨Delphi阿里云对象存储OSS 阿里云api文档 [Delphi阿里云对象存储OSS]支持 获取Bucket列表.设置Bucket ...
随机推荐
- 【JavaSE】集合
Java集合 2019-07-05 12:39:09 by冲冲 1. 集合的由来 通常情况下,程序直到运行时,才知道需要创建多少个对象.但在开发阶段,我们根本不知道到底需要多少个数量的对象,甚至不 ...
- [源码解析] PyTorch 分布式(13) ----- DistributedDataParallel 之 反向传播
[源码解析] PyTorch 分布式(13) ----- DistributedDataParallel 之 反向传播 目录 [源码解析] PyTorch 分布式(13) ----- Distribu ...
- azkaban执行任务长时间无法结束
问题显示: 由于一次执行较多的任务,导致azkaban的web程序崩溃,此时,关闭azkaban服务,重新启动azkaban 但是由于azkaban的exec程序无法关闭,这里采用kill的方式关掉e ...
- tensorboard No dashboards are active for the current data set.
修改一下启动命令时的路径 位置示例: 命令为 E:\PYTHON_PROJECT\testTF\inceptionV1_net\log>tensorboard --logdir=TEC4FN ...
- 我好像发现了一个Go的Bug?
从一次重构说起 这事儿还得从一次重构优化说起. 最近在重构一个路由功能,由于路由比较复杂,需求变化也多,于是想通过责任链模式来重构,刚好这段时间也在 Sentinel-Go 中看到相关源码. 用责任链 ...
- STM32一些特殊引脚做IO使用的注意事项
1 PC13.PC14.PC15的使用 这三个引脚与RTC复用,<STM32参考手册>中这样描述: PC13 PC14 PC15需要将VBAT与VDD连接,实测采用以下程序驱动4个74HC ...
- C++构造函数和析构函数初步认识
构造函数 1.构造函数与类名相同,是特殊的公有成员函数.2.构造函数无函数返回类型说明,实际上构造函数是有返回值的,其返回值类型即为构造函数所构建到的对象.3.当新对象被建立时,构造函数便被自动调用, ...
- PS只能各个工具使用的注意知识点
1.图章工具 <仿制图章工具>使用方法:按住alt点击吸取干净的地方,然后松开alt键,按住鼠标左键拖动或左击 擦拭 图章区域放大缩小,是按住alt键+鼠标右键左右滑动 当图片中多个图 ...
- EBS 抓trace 文件
如果要对FORM的操作做TRACE操作,可以使用 帮助->诊断->跟踪 中启用跟踪功能来实现. 但是如果要实现对并发请求的trace,需要在 系统管理员->并发->方案-> ...
- show processlist命令详解
1.show processlist; SHOW PROCESSLIST显示哪些线程正在运行.您也可以使用mysqladmin processlist语句得到此信息.如果您有SUPER权限,您可以看到 ...