10月30日,全球权威数据调研机构IDC正式发布《IDCMarketScape:中国DevOps云市场2019,厂商评估》报告。京东云凭借丰富的场景和实践能力,以及高质量的服务交付和平台稳定性,取得优异的成绩,跻身“Major Players”(核心厂商)位置。

京东云DevOps能力起源于自身的业务实践,针对京东集团的复杂业务场景打造并经受住多次618、11.11电商大促的严峻考验,保证了高效高质的交付和对变化的灵活应对。能够支持复杂场景的自动化运维需求、实现工具链产品与平台化产品结合,帮助客户根据不同的需求灵活定制方案。

前两次的专题内容中,我们分别与大家分享了大型企业级监控系统的设计以及监控系统的可观测性与数据存储。今天,我们将通过介绍京东云DevOps落地实践,和大家继续分享DevOps中另一个重要内容:日志查询服务。

日志查询服务,是构建软件项目的基石之一,是系统稳定运行必不可少的一部分,已然成为DevOps中的标配选项。这里,我们来聊一聊京东云翼DevOps平台的日志查询服务实践。

本着客户为先,全心全意为用户服务的原则,云翼日志查询服务的发展分以下几个阶段解决用户的日志需求:

场景一:用户需要查看自己的应用日志,以此来判断自己的应用程序当前运行是否正常,或者在遇到问题时,需要通过查看应用输出的日志信息来定位问题。

针对用户的这个需求,我们开发并提供了现场日志查询功能。

何为现场日志?就是案发现场的日志。案发现场一般在哪里呢?当然是用户应用部署所在的主机了。

我们提供现场日志查询的功能,用于查询用户主机上的应用日志。该功能默认支持规范目录下的日志查询,且支持扩展的自定义路径。

  • 规范目录:/export/Logs/$appName/$instanceName/,在用户主机这个目录下的日志文件,会自动列到页面,用户选择要查询的文件进行查询即可。$ appName 代表用户的应用名称;$instanceName 代表应用部署的实例名称。
  • 用户自定义路径举例:/export/test.log,由于这个路径对我们系统来讲是“不规范”的,用户如果需要查这个日志信息,就需要自己手动输入该日志路径,然后再执行查询操作。


现场日志查询文件选择示例图

如何实现现场日志查询功能

想想一般我们自己要查看主机上的日志是怎么做的呢?第一步往往是ssh登录到主机,然后通过grep命令查询指定内容。是的,我们的现场日志就是将这一过程进行了平台化,用户在现场日志页面上选择要查询的日志文件,输入要查询的关键字,点查询按钮即可。出于安全性考虑,ssh认证我们采用密钥认证而非密码认证。当然了,既然通过ssh连接,那就要求用户主机必须开放22端口。

现场日志通过ssh查询遇到的问题

比如有的用户的主机是在VPC里的,ssh直接访问不到,怎么办呢?想想办法这个问题是可以解决的,那就是配置代理,这样就导致渐渐地要维护一堆的代理配置。

改进措施

随着云翼内部新的控制系统zero的出现(zero是一套控制系统,通过给用户主机上的zero-agent下发任务实现对用户主机的一些操作),现场日志查询有了新的实现方式,可以通过调用控制系统API,用控制系统下发任务的方式来实现日志查询,这样采用http的连接方式替代之前的ssh,不再依赖密钥,也不再需要再维护一堆的ssh代理配置了。嗯,感觉一下清爽了好多。

新的困境

改变实现方式后,发现一个新的问题,就是用户单条日志太大的情况下,查询数据量如果超过zero-agent一次传输数据量的限制会导致查询失败,这里就需要做个权衡了,要么用户调整日志长度,要么减小一页的数据展示条数,再要么可以考虑换一种查询方式,比如用下面将要介绍的历史日志查询,当然了,这只是权宜之计,历史日志功能并不是为了解决这个问题才产生的。


场景二:用户的应用部署在多台机器上,用户需要对多台机器上的日志进行集中检索,且做日志检索时不希望消耗自己机器上的资源(比如带宽、内存、CPU)。

为此,云翼的历史日志查询功能应运而生。我们期望历史日志支持最近7天的日志检索。

既然要集中检索,那我们首先需要及时把日志数据采集走,进行集中存储。这里需要用户做一个日志订阅的操作,其实就是告诉日志服务要采集哪个应用下的哪个日志文件的数据。

日志数据流向图:

上图反映了用户订阅后,用户日志数据的流向情况。可以看到数据存储涉及两种介质,一种是kafka,一种是ES,数据先缓存到kafka,最终流向ES。ElasticSearch简称ES,是一个开源的分布式搜索引擎,我们的历史日志查询功能正是借助于ES强大的搜索能力实现的。

下面依次介绍一下上图中的log-agent、fwd和indexer模块。

  • log-agent,是云翼的日志采集客户端,部署在用户的应用主机上。它可以动态发现用户的订阅信息,实时采集日志数据并将数据上报给fwd模块。log-agent内部封装了rsyslog,通过控制rsyslog的配置以及程序的启停来实现对用户日志的采集。rsyslog是linux上一款比较成熟的系统日志采集工具,我们拿来采集应用级别的日志,当然也是可以的。
  • fwd,这个模块负责接收log-agent上报的数据,并转发至kafka。它的价值在于解耦了log-agent和kafka,避免了成千上万的主机和kafka直连;当kafka有变动的时候,我们只给有限的几台fwd做修改和升级即可,不需要对所有的log-agent做统一的升级了。
  • indexer,该模块可以被看作一个数据搬运工,负责把日志数据从kafka搬到ES。indexer的本质是rsyslog,它的输入是kafka,输出是ES。是不是发现rsyslog很强大?这个模块虽然简单,但很重要。曾经一度令人特别头疼的是它经常罢工,要么吃内存,要么假死不干活。它不干活,ES就得眼巴巴等数据而不得,ES没数据,历史日志就查不出内容,这个问题简直太严重了。经过反复排查分析,最终发现是由于action队列里的消息出队太慢导致的,在对rsyslog的队列配置反复做了几次调整后,这家伙终于肯乖乖干活了,好开心。有时候并不是现成的工具不好用,而是我们不会用。

ES索引介绍

ES存储离不开索引,最初我们的索引是按照天的粒度来创建的,一天一个索引,例如:index-log-2019-10-21。但是随着日志量的增加,按天索引,每次查询时,搜索范围太大,会导致一次查询特别慢,用户体验非常不好。为了提升查询效率,后来就把索引改成了小时粒度,例如:index-log-2019-10-21-13。

索引时间如何确定

看完ES索引介绍,有人可能会有疑惑,既然是按时间索引,这个时间具体是怎么取的呢?从用户的日志消息中解析的吗?不是的。用户的日志,时间格式各不相同,从用户日志中解析时间显然是不现实的。

难道是按照当前的搬运时间来确定索引?这样的话,在数据处理不及时,kafka消息有积压的情况下,用户日志中的时间和索引的时间就很可能不一致了呀,比如15点的数据,可能会放到16点的索引中,这样在搜索15点的数据的时候是搜不到期望的数据的。

这里要说明一下,我们log-agent采集的每条数据,除了日志内容外,都会带有一些元信息,比如部门名称、应用名、日志文件路径,time时间戳等,这里的时间戳记录的是日志采集时的时间,由于是实时采集,这个时间和用户应用日志中的时间可以看作是几乎相等的。在索引数据前,先解析出time时间戳,通过这个时间戳来确定具体的索引。这样即使在kafka消息有积压的情况下,也能保证日志数据可以正确存放到期望的索引中。


历史日志查询示例图

历史日志面临的问题

随着日志量的增多,有一个比较尴尬的问题,就是ES存储资源会出现不足的情况。这是一个需要我们和用户一起努力来解决的问题。


场景三:有的用户觉得自己应用的日志比较重要,希望能够长久保留,比如三个月、半年……当突然需要某天的数据了,可以通过日志服务将数据文件下载下来进行查看。

针对这个用户需求,我们的做法是将用户的日志按照日期进行存储,然后在前端页面提供日志下载功能,供用户根据需要进行查询和下载指定日期的的日志文件。这里我们抽象出的功能叫日志下载。

日志下载功能的实现思路

日志下载的前提和核心是将零散的日志信息合并到文件进行长久存储。

之前我们将采集到的数据存放到了kafka,数据源有了,接下来就是把数据拉下来进行合并存储的问题了。对,期初我们选择的存储介质是HDFS(ES是检索利器,且存储成本太高,用做长久存储显然是不现实的)。

为此,我们写了一个Spark job的程序,起了一个consumerGroup从kafka消费数据,由于对实时性要求不高,我们用Spark Streaming的方式,每隔两分钟,进行一次数据拉取,然后进行离线计算。由于一条消息的元数据中包含采集时间戳和日志路径,我们很容易确定一条日志该追加到哪个HDFS文件中。最终通过httpfs从hdfs下载日志文件。


用HDFS作为存储,随着日志量的增加,资源不足的问题便呈现出来了。最终,我们把存储目标锁定到了京东云的对象存储OSS。当然了,初期的将数据计算后存储到HDFS的工作还是很有用的,接下来的工作就是把HDFS上的文件下载导入到OSS,然后生成OSS下载链接提供给用户就好了。这样HDFS相当于中转的作用,文件不需要保留太久,只要确定数据已经转存到OSS,HDFS上的文件就可以删除了,这样大大缓解了HDFS的存储压力。

日志转存(HDFS->OSS)遇到的问题及解决办法

在做日志转存至OSS的时候,我们遇到一个问题,比如用户的日志文件比较大,用户可能在自己的主机上做了日志切割,但是由于我们把数据采集后,变成了kafka中一条条的日志消息,我们相当于再把这一条条的日志消息重新合并到一个HDFS文件中。把一天的日志合到一个文件进行存储,有的应用日志打印比较频繁的话,最终合成的这个文件就会比较大,有的甚至超过了100G,这样不管是从HDFS进行下载和还是压缩上传至OSS操作都会比较耗时,而且磁盘空间占用也比较多。对于用户来说,下载一个大文件进行处理也会是一件比较头疼的事情。

为了解决这个问题,我们调整了spark job处理逻辑,实现了HDFS文件切割,确保单个HDFS文件大小不超过1G。这样一个大文件就被拆分成了多个小文件。对多个小文件进行并发转存,这样整体效率就大大提升了。压缩后的文件,一般不超过300MB,这样用户下载也会快很多。


日志下载功能示例图

OSS做持久化存储后,有一个缺点,就是由于需要转存,无法实时下载当天的日志,不过这并不是一个特别急迫的问题,因为当天的日志完全可以通过前面介绍的现场日志查询或历史日志查询功能来进行检索查看。


场景四:特定存储需求 - 用户说,我的日志数据不想交给你做集中存储,我想自己保存,然后用来做分析,你帮我收集到指定地方就好了。

这确实是比较典型的用户需求,为了满足用户的这个需求,我们开发了自定义日志目的地的功能。

自定义日志目的地,顾名思义,就是让用户自己来指定将日志存放到哪里,然后用户在做订阅操作的时候,指定这个目的地名称即可。

目前支持的日志目的地有两种类型:fwd和kafka。

  • fwd类型,要求提供目的地服务的域名和端口号,且目的地服务支持RELP协议,RELP是一种比TCP更可靠的传输协议。
  • kafka类型,需要指定kafka的broker和topic。

从使用情况来看,目前kafka类型的日志目的地占绝大多数。


至此,云翼日志服务的几个主要功能就介绍完了。从整个过程看,日志服务是连接运维和开发之间很好的桥梁,日志中几乎包含了运维和开发所关心的一切,也完整呈现出了应用程序在线上真实的运行情况。云翼的现场日志查询、历史日志查询、日志下载、自定义日志目的地这四个功能互相补充,可以满足用户在不同场景下的使用诉求。

目前京东云监控提供免费服务,点击【阅读】,了解更多关于京东云监控的内容。

欢迎点击“京东云”了解更多精彩内容


DevOps云翼日志服务实践的更多相关文章

  1. 微软云平台媒体服务实践系列 2- 使用动态封装为iOS, Android , Windows 等多平台提供视频点播(VoD)方案

    文章微软云平台媒体服务实践系列 1- 使用静态封装为iOS, Android 设备实现点播(VoD)方案  介绍了如何针对少数iOS, Android 客户端的场景,出于节约成本的目的使用媒体服务的静 ...

  2. 微软云平台媒体服务实践系列 1- 使用静态封装为iOS, Android 设备实现点播(VoD)方案

    微软的云平台媒体服务为流媒体服务提供了多种选择,在使用流媒体服务为企业做流媒体方案时,首先需要确认要流媒体接收目标,如针对广大iOS, Android移动设备,由于它们都支持HLS 格式的流媒体,基于 ...

  3. 重磅发布: 阿里云WAF日志实时分析上线 (含视频)

    摘要: 阿里云WAF与日志服务打通,对外开发Web访问与攻击日志.提供近实时的网站具体的日志自动采集存储.并提供基于日志服务的查询分析.报表报警.下游计算对接与投递的能力. 背景 Web攻击形势 互联 ...

  4. 日志服务与SIEM(如Splunk)集成方案实战

    背景信息 目标 本文主要介绍如何让阿里云日志服务与您的SIEM方案(如Splunk)对接, 以便确保阿里云上的所有法规.审计.与其他相关日志能够导入到您的安全运维中心(SOC)中. 名词解释 LOG( ...

  5. 从单个系统到云翼一体化支撑,京东云DevOps推进中的一波三折

    作者:王利莹 采访嘉宾:京东云DevOps团队负责人 郑永宽 今年,IDC 特别针对中国地区发布了<IDC MarketScape:中国 DevOps 云市场2019,厂商评估>研究报告, ...

  6. 技术沙龙|京东云DevOps自动化运维技术实践

    自动化测试体系不完善.缺少自助式的持续交付平台.系统间耦合度高服务拆分难度大.成熟的DevOps工程师稀缺,缺少敏捷文化--这些都是DevOps 在落地过程中,或多或少会碰到的问题,DevOps发展任 ...

  7. 【实战分享】又拍云 OpenResty / Nginx 服务优化实践

    2018 年 11 月 17 日,由 OpenResty 主办的 OpenResty Con 2018 在杭州举行.本次 OpenResty Con 的主题涉及 OpenResty 的新开源特性.业界 ...

  8. 沙龙报名 | 京东云DevOps——自动化运维技术实践

    随着互联网技术的发展,越来越多企业开始认识DevOps重要性,在企业内部推进实施DevOps,期望获得更好的软件质量,缩短软件开发生命周期,提高服务稳定性.但在DevOps 的实施与落地的过程中,或多 ...

  9. 【阿里云产品公测】简单日志服务SLS使用评测 + 教程

    [阿里云产品公测]简单日志服务SLS使用评测 + 教程 评测介绍 被测产品: 简单日志服务SLS 评测环境: 阿里云基础ECS x2(1核, 512M, 1M) 操作系统: CentOS 6.5 x6 ...

随机推荐

  1. 嵊州普及Day2T2

    题意:对于n个数的数列,进行排列,求第m个大于此数列的数列. 思路:查找后2个是否逆序,若是,将后3个递归.如此运算,找后面大于此数中最小数交换,然后将后面数列顺序排列. 相对简单. 见代码: #in ...

  2. 吴裕雄--天生自然java开发常用类库学习笔记:日期操作类DataFormat、SimpleDataFormat

    import java.text.DateFormat ; import java.util.Date ; public class DateDemo03{ public static void ma ...

  3. Golang的运算符-位运算符

    Golang的运算符-位运算符 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.位运算符概述 常见的位逻辑运算符: &: 位与运算符,表示AND(表示所有条件都得匹配), ...

  4. 网卡工作原理和wireshark混杂模式

    通过设置网卡为混杂模式就能捕获局域网内所有发包内容,包括非广播包和非发给自己主机的数据包 这是为什么呢? 即主机A发送一个数据包给主机B,我作为主机C怎么也能截获这个数据包呢,原理是什么? 我的网卡为 ...

  5. Inception SQL审核注解

    Inception SQL审核注解 1.建表语句 建表语句检查项 表属性的检查项 这个表不存在 对于create table like,会检查like的老表是不是存在. 对于create table ...

  6. web安全(xss攻击和csrf攻击)

    1.CSRF攻击: CSRF(Cross-site request forgery):跨站请求伪造. (1).攻击原理: 如上图,在B网站引诱用户访问A网站(用户之前登录过A网站,浏览器 cookie ...

  7. 微信小程序添加背景图片的坑

    给微信小程序页面加载背景图片解决方案 直接附上原文地址: 给微信小程序页面加载背景图片解决方案 - YUSIR 完美CODING世界 - CSDN博客  https://blog.csdn.net/y ...

  8. ServletConfig详解

    ServletConfig是Servlet中的init()方法的参数类型,服务器会在调用init()方法时传递ServletConfig对象给init()方法.   ServletConfig对象封装 ...

  9. Centos7.4 kafka集群安装与kafka-eagle1.3.9的安装

    Centos7.4 kafka集群安装与kafka-eagle1.3.9的安装 集群规划: hostname Zookeeper Kafka kafka-eagle kafka01 √ √ √ kaf ...

  10. ntpdate更新系统时间时报错Can't find host ntp1.aliyun.com: Servname not supported for ai_socktype (-8)

    ntpdate更新系统时间时报错Can't find host ntp1.aliyun.com: Servname not supported for ai_socktype (-8) 所报错误: [ ...