需求描述:lag(滞后)是kafka消费队列性能监控的重要指标,lag的值越大,表示kafka的堆积越严重.本篇文章将使用python脚本+influxdb+grafana的方式对kafka的offset.logsiz和lag这三个参数进行监控,并以图形化的方式进行展现. 架构描述:使用python收集kafka的相关信息并存储到influxdb里:配置grafana,将influxdb里的数据以图形化的方式展现出来. 一,准备工作 1,kafka,influxdb,grafana的安装(在此不

一.Spark-StructuredStreaming checkpointLocation 介绍 Structured Streaming 在 Spark 2.0 版本于 2016 年引入, 是基于 Spark SQL 引擎构建的可扩展且容错的流处理引擎,对比传统的 Spark Streaming,由于复用了 Spark SQL 引擎,代码的写法和批处理 API (基于 Dataframe 和 Dataset API)一样,而且这些 API 非常的简单. Structured Streamin

上一篇(http://qindongliang.iteye.com/blog/2354381 )写了收集sparkstreaming的日志进入kafka便于后续收集到es中快速统计分析,今天就再写一篇如何在普通应用程序实时收集日志,上一篇写的毕竟是分布式环境下的操作,有一定的特殊性,如MapReduce,Spark运行的日志和普通项目的日志是不太一样的. 所谓的普通程序就是web项目的或者非web项目的的程序,大部分都是单机版本的. 大多数时候,我们的log都会输出到本地的磁盘上,排查问题也是使

前言 Kafka 是一款分布式消息发布和订阅系统,具有高性能.高吞吐量的特点而被广泛应用与大数据传输场景.它是由 LinkedIn 公司开发,使用 Scala 语言编写,之后成为 Apache 基金会的一个顶级项目.kafka 提供了类似 JMS 的特性,但是在设计和实现上是完全不同的,而且他也不是 JMS 规范的实现. Kafka简介 kafka产生背景 kafka 作为一个消息系统,早起设计的目的是用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipe

Kafka 官方对于自身的 LAG 监控并没有太好的方法,虽然Kafka broker 自带有 kafka-topic.sh, kafka-consumer-groups.sh, kafka-console-consumer.sh 等脚本,但是对于大规模的生产集群上,使用脚本采集是非常不可靠的. Burrow 简介 LinkedIn 公司的数据基础设施Streaming SRE团队正在积极开发Burrow,该软件由Go语言编写,在Apache许可证下发布,并托管在 GitHub Burrow上.

Kafka.RabbitMQ.RocketMQ等消息中间件的对比 —— 消息发送性能和优势 引言 分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦.现在开源的消息中间件有很多,前段时间我们自家的产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注. 原文:http://jm.taobao.org/2016/04/01/kafka-vs-rabbitmq-vs-rocketmq-message-send-performance/?utm_source=tu

简介: Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据.Kafka如下特性,受到诸多公司的青睐. 1.高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息(核心目标之一). 2.支持通过Kafka服务器和消费机集群来分区消息 ………… 场景: Kafka的作用我就不在这BB了,大家可以瞅瞅http://blog.jobbole.com/75328/,总结的非常好. Kafka监控的几个指标 1.lag:多少消息没有消费 2.logsi

项目01-flume.kafka与hdfs日志流转 1.启动kafka集群 $>xkafka.sh start 3.创建kafka主题 kafka-topics.sh --zookeeper s102:2181 --create --topic topic-umeng-raw-logs2 --replication-factor 3 --partitions 4 注意:kafka主题不要使用"_",可以使用"-". 4.配置flume,收集日志到kafka 在

一.Kafka监控的几个指标 1.lag:多少消息没有消费 lag=logsize-offset 2.logsize:Kafka存的消息总数 3.offset:已经消费的消息 Kafka管理工具 介绍:  https://www.iteblog.com/archives/1605.html   二.查看zookeeper配置 cat /home/app/zookeeper/zookeeper/conf/zoo.cfg | egrep -v "^$|^#" clientPort=2181

1.概述 Kafka Eagle是一款开源的Kafka集群监控系统,源代码托管在Github.目前Kafka Eagle已更新到V1.3.4版本,域名已经统一更新为http://www.kafka-eagle.org/,之前的下载地址和官网使用手册地址均已替换,例如http://download.smartloli.org/替换为http://download.kafka-eagle.org/,而使用手册地址http://ke.smartloli.org/替换为https://docs.kafk

文章目录 1.前言 2.概念 2.1.MQ简介 2.2.MQ特点 2.2.1.先进先出 2.2.2.发布订阅 2.2.3.持久化 2.2.4.分布式 3.消息中间件性能究竟哪家强? 3.1.Kafka 3.2.RabbitMQ 3.3.RocketMQ 4.测试 4.1.测试目的 4.2.测试场景 4.2.1.Kafka 4.2.2.RocketMQ 4.2.3.RabbitMQ 4.3.测试结论 5.消息队列优点对比 5.1.各个消息队列 5.1.1.RabbitMQ 5.1.2.Redis

前言在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦.现在开源的消息中间件有很多,前段时间产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注. 概念MQ简介MQ,Message queue,消息队列,就是指保存消息的一个容器.具体的定义这里就不类似于数据库.缓存等,用来保存数据的.当然,与数据库.缓存等产品比较,也有自己一些特点,具体的特点后文会做详细的介绍.现在常用的MQ组件有ActiveMQ.RabbitMQ.RocketMQ.ZeroMQ.Me

本博客强烈推荐: Java电子书高清PDF集合免费下载 https://www.cnblogs.com/yuxiang1/p/12099324.html 前言 在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦.现在开源的消息中间件有很多,前段时间产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注. 概念 MQ简介MQ,Message queue,消息队列,就是指保存消息的一个容器.具体的定义这里就不类似于数据库.缓存等,用来保存数据的.当然,与数据库

消息队列简介 什么是消息队列? 首先,我们来看看什么是消息队列,维基百科里的解释翻译过来如下: 队列提供了一种异步通信协议,这意味着消息的发送者和接受者不需要同时与消息保持联系,发送者发送的消息会存储在队列中,直到接受者拿到他. 一般我们把消息的发送者称为生产者,消息的接收者称为消费者:注意定义中的哪两个字'异步' 通常生产者的生产速度和消费者的消费速度是不相等的; 如果两个程序始终保持同步沟通,那势必有一方存在空等时间; 如果两个程序持续运行的话,消费者的平均速一定要大于生产者,不然队列堆积越

[filebeat --> kafka --> logstash-->MongoDB|磁盘]架构进行日志收集 但是当logstash写入MongoDB有延迟,然后正常之后,会导致logstash循环收集kafka中的数据? 请各位大虾指点,是什么原因会导致这种情况,谢谢! [PS] 我发现一个解决办法,重新更换logstash的group_id会使得日志收集正常,惑中...

转自:http://blog.163.com/guaiguai_family/blog/static/20078414520138911393767/ http://sites.computer.org/debull/A12june/pipeline.pdf这一套可以成为互联网公司的标准基础架构了,摘要如下: 把数据的 source of truth 放在数据总线里,而非 Hadoop 和数据仓库里.这是个很违反直觉的做法,但得益与 Kafka 巧妙的数据持久性以及分区.备份的设计,数据总线成了

  filebeat是一个轻量的日志收集工具,全套使用go语言开发.   我目前遇到的问题是,在收集的时候需要对数据进行采样,采样比和采样形式要灵活,因为可能在多个项目会使用到这个日志收集功能.刚开始我仔细研究filebeat的配置,我感觉他自身应该带有采集需求,然而并没有.于是我想着去修改他的源码,这样也很方便.然而这个方案不可行,因为这是一个开源项目,后期如果版本更新,那还得继续修改,这个不灵活.于是我想着用插件的方式,看了下filebeat是支持插件的,但是网上很难找到资料.   我最终在

前言:还记得那是2018年的一个夏天,天气特别热,我一边擦汗一边听领导大刀阔斧的讲述自己未来的改革蓝图.会议开完了,核心思想就是:我们要搞一个数据大池子,要把公司能灌的数据都灌入这个大池子,然后让别人用 各种姿势 来捞这些数据.系统从开始打造到上线差不多花了半年多不到一年的时间,线上稳定运行也有一年多的时间.今天想简单做个总结. 一.背景介绍 公司成立差不多十五六年了,老公司了.也正是因为资格老,业务迭代太多了,各个业务线错综复杂,接口调用也密密麻麻.有时候A向B要数据,有时候B向C要接口,有时

Hadoop是分布式系统基础架构,通常指Hadoop生态圈 主要解决 1.海量数据的存储 2.海量数据的分析计算 优势 高可靠性:Hadoop底层维护多个数据副本,即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失 高扩展性:在集群间分配任务数据,方便动态(原来的继续运行)增加删除节点 高效性:在MapReduce的思想下,Hadoop是并行工作的,加快处理速度 高容错性:能够自动将失败的任务重新分配 Hadoop组成 版本区别 资源调度:内存.CPU分配等 解耦+模块化 Hado

原文:https://www.cnblogs.com/daochong/p/6425762.html 一.Kafka数据收集机制 Kafka集群中由producer负责数据的产生,并发送到对应的Topic:Producer通过push的方式将数据发送到对应Topic的分区 Producer发送到Topic的数据是有key/value键值对组成的,Kafka根据key的不同的值决定数据发送到不同的Partition,默认采用Hash的机制发送数据到对应Topic的不同Partition中,配置参数