Loki动态展示linux本地日志


背景

  • 产品需要拆分微服务部署,直接使用K8S部署虽然比较规范但是部署时间较长.
  • 本地文件系统部署简洁快速一些, 但是不太好直接复用一些规范的产品.
  • 本次处理方法就是基于Linux文件系统通过grafana展示微服务日志的方法
  • 本次涉及 grafana进行动态展示, loki显示日志 promtail 进行日志归集.

统一日志存放

  • 使用微服务部署方式将应用服务器存放于 /su 路径下面进行分别存放.
  • 使用脚本进行批量启动
for i in `ls /su` ;
do
cd /su/$i/apppath/ && nohup ./startup.sh > /sulog/$i.log & ;
done
  • 脚本说明
1. /su 路径下面存放具体微服务的程序路径. 并且带单独的启动脚本
2. /sulog 用于整体存放微服务的日志, 注意使用变量方式进行.便于查看.

镜像与配置文件

  • 拉取
docker pull grafana/grafana
docker pull grafana/loki
docker pull grafana/promtail
  • 获取配置文件
wget https://raw.githubusercontent.com/grafana/loki/v2.3.0/cmd/loki/loki-local-config.yaml -O /grafana/loki-config.yaml
wget https://raw.githubusercontent.com/grafana/loki/v2.3.0/clients/cmd/promtail/promtail-docker-config.yaml -O /grafana/promtail-config.yaml
wget https://raw.githubusercontent.com/grafana/loki/v2.3.0/production/docker-compose.yaml -O /grafana/docker-compose.yaml
  • 备注 Study From https://www.jianshu.com/p/87bc8a39fbd5

修改配置文件

  • loki的配置文件几乎不需要修改
  • promtail 配置文件需要如下修改
clients:
- url: http://10.110.x.x:3100/loki/api/v1/push
# 注意着一个地址需要与loki服务器指定, 并且建议打开防火墙
scrape_configs:
- job_name: system
static_configs:
- targets:
- localhost
labels:
job: varlogs
__path__: /sulog/*log
# 注意这个路径 需要与启动服务的路径保持一致.

修改docker-compose文件

version: "3"
networks:
loki:
services:
loki:
image: grafana/loki:latest
ports:
- "3100:3100"
command: -config.file=/grafana/loki-config.yaml
volumes:
- /grafana:/grafana
networks:
- loki
# 注意 loki 的配置文件需要通过 volumes 的方式进行挂载.
# 注意配置文件也是如此
promtail:
image: grafana/promtail:latest
volumes:
- /sulog:/sulog
- /grafana:/grafana
command: -config.file=/grafana/promtail-config.yaml
networks:
- loki
# 注意微服务的日志和配置文件都需要进行挂载.
grafana:
image: grafana/grafana:latest
ports:
- "3000:3000"
networks:
- loki
# grafana 基本上不需要修改.

启动服务

  • 复制docker-compose 到 /usr/bin 目录下并且设置权限
docker-compose up -d
# 启动服务
  • 注意可以通过如下方式进行简单配置检查
docker ps -a
# 查看镜像时会否正常
docker logs -f container_name
# 查看日志进行分析处理.

界面化验证

  • 登录grafana
打开 ip:3000 地址, 默认密码 admin/admin
第一次登录需要修改密码
  • 添加数据源
进入grafana 打开数据源定义 添加 loki数据源
注意建议选择 具体ip地址进行使用
localhost 可能是不通的.

界面化验证

  • 打开explore
  • 选择某一个文件,然后选择showlogs 展示日志
  • 注意可以选择 query log 并且定期刷新
  • 可以手工修改 log 文件名的方式来展示不同微服务的日志.
  • 提供给其他人使用.

Loki动态展示linux本地日志的更多相关文章

  1. Linux学习日志——基本指令②

    文章目录 Linux学习日志--基本指令② 前言 touch cp (copy) mv (move) rm vim 输出重定向(> 或 >>) cat df(disk free) f ...

  2. IOS本地日志记录方案

    我们在项目中日志记录这块也算是比较重要的,有时候用户程序出什么问题,光靠服务器的日志还不能准确的找到问题. 现在一般记录日志有几种方式: 1.使用第三方工具来记录日志,如腾讯的Bugly,它是只把程序 ...

  3. Linux Rsyslog日志集中管理

    Linux Rsyslog日志集中管理 一.Rsyslog简介 ryslog 是一个快速处理收集系统日志的程序,提供了高性能.安全功能和模块化设计.rsyslog 是syslog 的升级版,它将多种来 ...

  4. Linux下日志文件监控系统Logwatch的使用记录

    Linux下日志文件监控系统Logwatch的使用记录 原文:http://www.cnblogs.com/kevingrace/p/6519504.html 在维护Linux服务器时,经常需要查看系 ...

  5. IOS本地日志记录解决方案

    我们在项目中日志记录这块也算是比较重要的,有时候用户程序出什么问题,光靠服务器的日志还不能准确的找到问题 现在一般记录日志有几种方式: 1.使用第三方工具来记录日志,如腾讯的Bugly,它是只把程序的 ...

  6. linux系统——日志文件系统及性能分析

    Linux日志文件系统及性能分析 日志文件系统可以在系统发生断电或者其它系统故障时保证整体数据的完整性,Linux是目前支持日志文件系统最多的操作系统之一,本文重点研究了Linux常用的日志文件系统: ...

  7. Linux内核日志开关

    Linux内核日志开关 1.让pr_debug能输出 --- a/kernel/printk/printk.c +++ b/kernel/printk/printk.c @@ -59,7 +59,7 ...

  8. linux log日志解析

    linux log日志解析   其实,可以说成是监控系统的记录,系统一举一动基本会记录下来.这样由于信息非常全面很重要,通常只有 root 可以进行视察!通过登录文件(日志文件)可以根据屏幕上面的错误 ...

  9. Linux操作系统的日志管理之rsyslog实战案例

    Linux操作系统的日志管理之rsyslog实战案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.日志介绍 1>.什么是日志 历史事件: 时间,地点,人物,事件 日志级 ...

  10. 【.NET 6+Loki+Grafana】实现轻量级日志可视化服务功能

    前言:日志功能是几乎所有程序或系统都必备的一个功能.该文章通过使用Loki+Grafana来实现日志记录与可视化查询,欢迎围观. 有关环境: 操作系统:WIN 10 .NET环境:.NET 6 开发环 ...

随机推荐

  1. GaussDB CN服务异常实例分析

    摘要:先通过OPS确认节点状态是否已经恢复,或登录后台执行cm_ctl query -Cv确认集群是否已经Normal. 本文分享自华为云社区<[实例状态]GaussDB CN服务异常>, ...

  2. 云图说丨带你了解GaussDB(for Redis)双活解决方案

    摘要:GaussDB(for Redis)推出了双活解决方案,基于GaussDB NoSQL统一架构,通过两个数据库实例之间的数据同步,达成数据的一致性. 本文分享自华为云社区<[云图说]一张图 ...

  3. 拔掉电源会怎样?GaussDB(for Redis)双活让你有备无患

    摘要:GaussDB(for Redis)推出双活方案,助力全球化业务部署,为您的数据资产保驾护航! 本文分享自华为云社区<华为云GaussDB(for Redis)揭秘第22期:拔掉电源会怎样 ...

  4. 云小课丨SA基线检查:给云服务来一次全面“体检”

    摘要:随着企业上云进程的加快,由于云服务配置不合理.不合规等引发的安全风险与日俱增.如果没有加以重视并做及时的诊断处置,将会对企业云上业务带来巨大的安全隐患. 本文分享自华为云社区<云小课丨安全 ...

  5. 高性能 Jsonpath 框架,Snack3 3.2.57 发布

    Snack3,一个高性能的 JsonPath 框架 借鉴了 Javascript 所有变量由 var 申明,及 Xml dom 一切都是 Node 的设计.其下一切数据都以ONode表示,ONode也 ...

  6. 【scikit-learn基础】--『监督学习』之 层次聚类

    层次聚类算法是机器学习中常用的一种无监督学习算法,它用于将数据分为多个类别或层次.该方法在计算机科学.生物学.社会学等多个领域都有广泛应用. 层次聚类算法的历史可以追溯到上世纪60年代,当时它主要被用 ...

  7. Docker Jenkins 安装配置

    Docker Jenkins 安装配置 Windows 2016 安装 Jenkins Jenkins + SVN Jenkins + SVN/Git + Maven + Docker + 阿里云镜像 ...

  8. .Net Core 多语言

    StartUp.cs public void Configure(IApplicationBuilder app, IWebHostEnvironment env) { app.UseEndpoint ...

  9. SpringBoot 拦截器 统一日志 记录用户请求返回日志

    你请求我接口,传了什么参数,我返回了什么值给你,全部记下来.防止扯皮 需求:记录每次用户请求Controller的Body参数, 思路:在每个Controller 该当中记录,容易漏记,如果在拦截器里 ...

  10. websever

    1 在浏览器键入url,按下回车会经历如下行为 浏览器向 DNS 服务器请求解析该 URL 中的域名所对应的 IP 地址; 解析出 IP 地址后,根据该 IP 地址和默认端口 80,和服务器建立 TC ...