前言

简单整理一些自己使用kafka的一些感受。

正文

一切都要回到真实的世界上, 计算机世界只是真实事件的一个缩影。

计算机世界有一个重要的东西,那就是数据库。

数据库记录着真实世界发生了什么,准确的说就是这个世界发生了什么然后产生了什么结果。

比如说一辆火车,那么数据库记录这辆火车是开启的开始停止的,或者说乘坐着几个人,也就是这辆火车对当前世界的状态。

有比如说,一个人,数据库里面记录着这个人的年龄、身高、性别等。也就是记录这个人的状态。

可以说数据库,是事物的状态机。

这个是满足以前的,但是呢,现在有一个新的需求了。 就是这辆火车,在A 站每一趟上去多少人下去多少人。

这似乎就不是某件事物的状态了,而是某个事件的状态了,也就是到底发生了什么事,时间、地点、任务等,而且是一个递增的关系。

如果将事件状态存储到数据库中,也是可以的(这里不要去考虑技术、性能这块)。 但是适合不适合呢?

无论是无关系数据库还是关系数据库,他们的表或者说集合吧,都是有固定结构的,无关系数据库不是说没有数据结构哈,而是说集合直接没有明确的关系。

但是描述一件事情好像是没有固定的结构的,当然了也可以有,但是这样无法准确的表述这件事了。

那么人们就定义了一种结构体,叫做log,就是日志,来描述这件事情发生了什么。那么日志如何管理呢?

kafka 制作出来作为一个日志管理器了。

如果不了解日志的重要性的话,初学者认为自己debug 调试的时候的日志,有啥管理的,有错误看下日志即可,还需要管理,难道是要统一管理?

这里的日志,不仅仅是我们项目中的debug日志或者线上的异常日志,还可以是表述业务中一件事情的状态,这个也是日志。

可以想象,原来我们数据库存储的是事务的状态,那么日志的是事件的状态,可想而知日志管理是多么重要。

那么日志如何管理呢? 想到的就是给日志加上分类,这个分类就是topic,也就是主题了。

现在日志有管理了,可以对其进行不同的分类了,比如定义了火车主题,里面有火车上停战的时候下了多少人、几点停战的的,还有火车的能源消耗,每分钟记录一次这样的事件、里面记录了能源的各种值、记录时间等。

有比如说一个账户主题,那么里面记录着用户权限的变化、 用户信息的变化等。

现在这个数据相当庞大了,当然了也有很多的需求需要解决,比如说有个需求就是分析火车的情况、另一个问题就是分析用户的某些情况,似乎一堆问题了。

那么如何解决分析这个大问题呢? 那就是把问题拆分。 需要分析用户的订阅用户主题,需要分析用户的,订阅用户主题,那么kafka 日志管理,就会将相应的日志推给各自的订阅者。

当然各自的订阅者分析问题,同样会产生事件状态,又可以产生另外一个主题,放在任何一个kafka日志管理器中,然后一些图表分析服务又可以订阅新的主题,产生了相应的表格,进行分析。

kafka的本质不是存储这些日志,而是用于管理的,把日志收集然后推送给相应的真正处理的系统,所以kafka 会有默认的清除时间,因为其本质就是来让你中转的,其也没有索引、查询这个概念。

正则的日志沉淀,可以使用其他工具,比如es。

现在了解了kafka 的诞生以及历史,那么下面就开始了解,kafka如何来做好这个日志管理器的吧。

下一节介绍一下kafka的设计。

kafka 第一次小整理(草稿篇)————整理一下自己的认知的更多相关文章

  1. kafka 第一次小整理(草稿篇)————演变[二]

    前言 简单整理一些kafka的设计. 正文 前文提及到log 的重要性,以及kafka在其中的作用,起着一个日志管理分发的作用,对于其他服务来说相当于新闻报社,订阅某种主题就会收到某类信息. 当人们意 ...

  2. kafka 第一次小整理(草稿篇)————分发的基本思路[三]

    前言 简单整理一下分发的基本思路. 正文 kafka 原本是做日志管理系统,主要是分发这块的. 那么如何做分发呢? 分发的是什么呢? 分发的其实是日志,日志是事件状态,kafka 内部就叫做Recor ...

  3. 微信小程序笔记整理--入门篇。

    7-2 微信小程序入门篇 准备篇 1.登录网址,https://mp.weixin.qq.com 注册一个微信小程序. 2.获取微信小程序appid,登录自己的小程序后台,在开发者设置中获得appid ...

  4. Webx小应用的实现整理与分析

    Webx小应用的实现整理与分析 初次在园子里与大家分享自己的所学,欢迎各种指点~ By 仰城 2013-08-07 学习一段时间webx.ibatis.spring以及maven的基本知识之后,应用它 ...

  5. Unite 2017 干货整理 优化篇

    Unite 2017 干货整理 优化篇 2017年05月16日 将Unite 2017的一些演讲做了整理.  本篇有内存,CPU.GC.UI.渲染性能指标.Tips几个小节.  内容持续整理中. 内存 ...

  6. Unite 2017 干货整理 同步篇

    http://www.kisence.com/2017/05/17/unite-2017-gan-huo-zheng-li-tong-bu-pian/ Unite 2017 干货整理 同步篇 2017 ...

  7. Java工程师笔试题整理[校招篇]

    Java工程师笔试题整理[校招篇]     隔着两个月即将开始校招了.你是不是也想借着这个机会崭露头角,拿到某些大厂的offer,赢取白富美.走上人生巅峰?当然如果你还没能打下Java基础,一定要先打 ...

  8. 微信小程序实战篇:商品属性联动选择(案例)

    本期的微信小程序实战篇来做一个电商网站经常用到的-商品属性联动选择的效果,素材参考了一点点奶茶. 效果演示:   商品属性联动.gif 代码示例 1.commodity.xml <!-- < ...

  9. 我的微信小程序第二篇

    在上一篇<我的微信小程序第一篇(入门)>中,很多人问我什么是微信小程序,在这里我要说一下这个是我的失误啦,我默认大家都知道微信小程序,其实可能行内人士都知道小程序,好多非行内朋友可能平时不 ...

随机推荐

  1. Copy as Markdown - 将页面链接按照 Markdown 格式copy

    将页面文字和链接组成 Markdown 格式的网址 直接对页面链接右键使用时,无法获取链接标题,只能显示 No Title 所以需要: 选中「想作为标题的部分文字」, 然后去对「页面链接」右键-> ...

  2. IOS开发之----常用函数和常数--秀清

    介绍一下Objective-c常用的函数,常数变量 算术函数 [算术函数] 函数名 说明 int rand() 随机数生成.(例)srand(time(nil)); //随机数初期化int val = ...

  3. 清理缓存的方法 #DF

    移动应用在处理网络资源时,一般都会做离线缓存处理,其中以图片缓存最为典型,其中很流行的离线缓存框架为SDWebImage. 但是,离线缓存会占用手机存储空间,所以缓存清理功能基本成为资讯.购物.阅读类 ...

  4. ◆JAVA加密解密-DES

    DES算法提供CBC, OFB, CFB, ECB四种模式,MAC是基于ECB实现的. 一.数据补位 DES数据加解密就是将数据按照8个字节一段进行DES加密或解密得到一段8个字节的密文或者明文,最后 ...

  5. VUE项目部署到线上生产环境,Loading chunk xxx failed

    项目部署到生产环境,路由点击无效,报错 Loading chunk chunk-xxxxx failed.(missing xxxx) 加载失败,错误的路径. 话不多说,直接贴代码: vue.conf ...

  6. 简单的springboot + vue

    安装vue 脚手架 npm install -g @vue/cli 查看vue 版本 vue -V 创建vue项目 vue create vue_project Vue CLI v4.5.13? Pl ...

  7. 主机磁盘使用率超过85%导致es索引变为只读模式

    [ type=cluster_block_exception, reason=index [ index_name ] FORBIDDEN/12/index read-only / allow del ...

  8. 『无为则无心』Python面向对象 — 52、私有成员方法(类中行为的封装)

    Python对于类的成员没有严格的访问控制限制,这与其他面向对象的编程语言是有所区别的. 关于私有方法其实和私有属性差不多,有如下要点: 1.通常我们约定,两个下划线开头的方法是私有方法. 2.类内部 ...

  9. Wireshark教程之界面介绍

    实验目的 1.工具介绍 2.主要应用 实验原理 1.网络管理员用来解决网络问题 2.网络安全工程师用来检测安全隐患 3.开发人员用来测试执行情况 4.学习网络协议 实验内容 1.菜单栏选项介绍 2.快 ...

  10. 解决overlay2存储驱动的磁盘配额问题

    为啥要用overlay2 docker centos(内核3.10)上默认存储驱动是devicemapper 的loop-lvm模式,这种模式是用文件模拟块设备,不推荐生产使用direct lvm又不 ...