一.Kafka简介 Kafka是一种高吞吐量的分布式发布订阅消息系统,用户通过Kafka系统可以发布大量的消息,同时也能实时订阅消费消息.Kafka可以同时满足在线实时处理和批量离线处理. 在公司的大数据生态系统中,可以把Kafka作为数据交换枢纽,不同类型的分布式系统(关系数据库.NoSQL数据库.流处理系统.批处理系统等),可以统一接入到Kafka,实现和Hadoop各个组件之间的不同类型数据的实时高效交换. Broker:Kafka集群包含一个或多个服务器,这种服务器被称为broker.…

问题现象: storm代码依赖4个源数据topic,2018.5.12上午8点左右开始收到告警短信,源头的4个topic数据严重堆积. 排查: 1.查看stormUI, storm拓扑结构如下: 看现象: a.storm代码2月份上线,已经平稳运行3个月,没有任何代码改动: b.四个spout发出消息的complete latency 延时较高,高的可达30s,failed数量较多: c.Topology Visualization中最后一个bolt:ContentOutPutBolt变为红色.…

在学习spark streaming时,建议先学习和掌握RDD.spark streaming无非是针对流式数据处理这个场景,在RDD基础上做了一层封装,简化流式数据处理过程. spark streaming 引入一些新的概念和方法,本文将介绍这方面的知识.主要包括以下几点: 初始化流上下文 Discretized Streams离散数据流 Input DStreams and Receivers Transformations on DStreams Output Operations on…

1.开始 1.1 简介 什么是事件流? 事件流相当于人体的中枢神经系统的数字化.它是 "永远在线 "世界的技术基础,在这个世界里,业务越来越多地被软件定义和自动化,软件的用户更是软件. 从技术上讲,事件流是指以事件流的形式从数据库.传感器.移动设备.云服务和软件应用等事件源中实时捕获数据:将这些事件流持久地存储起来,以便日后检索:对事件流进行实时以及回顾性的操作.处理和反应:并根据需要将事件流路由到不同的目的技术.因此,事件流确保了数据的连续流动和解释,从而使正确的信息在正确的时间和地…

概述 背景 Apache Kafka 是最大.最成功的开源项目之一,可以说是无人不知无人不晓,在前面的文章<Apache Kafka分布式流处理平台及大厂面试宝典>我们也充分认识了Kafka,Apache Kafka 是LinkedIn 开发并开源的,LinkedIn 核心理念之一数据驱动主要有两点领悟,其一是强调动态数据有效性要远远大于静态数据,何为动态数据和静态数据,可以简单理解静态数据则为我们目前基于各种各样的数据库或文件系统等存储系统,而动态数据是基于事件驱动的理念如现在主流Apach…

在基于Hadoop平台的很多应用场景中,我们需要对数据进行离线和实时分析,离线分析可以很容易地借助于Hive来实现统计分析,但是对于实时的需求Hive就不合适了.实时应用场景可以使用Storm,它是一个实时处理系统,它为实时处理类应用提供了一个计算模型,可以很容易地进行编程处理.为了统一离线和实时计算,一般情况下,我们都希望将离线和实时计算的数据源的集合统一起来作为输入,然后将数据的流向分别经由实时系统和离线分析系统,分别进行分析处理,这时我们可以考虑将数据源(如使用Flume收集日志)直接连接…

1.  Apache Kafka是一个分布式流平台 1.1  流平台有三个关键功能: 发布和订阅流记录,类似于一个消息队列或企业消息系统 以一种容错的持久方式存储记录流 在流记录生成的时候就处理它们 1.2  Kafka通常用于两大类应用: 构建实时流数据管道,在系统或应用程序之间可靠地获取数据 构建对数据流进行转换或输出的实时流媒体应用程序 1.3  有几个特别重要的概念: Kafka is run as a cluster on one or more servers that can sp…

从16年4月5号开始学习kafka,后来由于项目需要又涉及到了storm. 经过几天的扫盲,到今天16年4月13日,磕磕碰碰的总算是写了一个kafka+storm的HelloWorld的例子. 为了达到前人栽树后人乘凉的知识共享的目的,我尝试着梳理一下过程. ====实例需求 由kafka消息队列源源不断生产数据,然后由storm进行实时消费. 大家可以设想这些数据源是不同商品的用户行为操作行为,我们是不是就可以实时观测到用户关注商品的热点呢? ====环境准备 (1)Linux: 公司暂时没有…

前一篇Kafka框架设计来自英文原文(Kafka Architecture Design)的翻译及整理文章,非常有借鉴性,本文是从一个企业使用Kafka框架的角度来记录及整理的Kafka框架的技术资料,也非常有借鉴价值,为了便于阅读与分享,我将其整理一篇Blog. 本文内容文件夹摘要例如以下: 1)apache kafka消息服务 2)kafka在zookeeper中存储结构 3)kafka log4j配置 4)kafka replication设计机制 5)apache kafka监控系列-监…

Apache Kafka是一个分布式流式平台. 流平台有三个关键的能力: 发布和订阅记录流,类似于消息队列或企业消息传递系统. 使用容错耐用的方式存储记录流. 记录产生时处理数据. Kafka主要是用在两类应用中: 在收数端和实时计算或批处理计算框架之间做数据通道 作为处理流式数据的应用 ####为了解kafka怎么处理这些事情,需要先了解一下概念: Kafka是运行在一台或者多台服务器的集群上的,并且可以扩展到多个数据中心: Kafka集群以叫做topics的类别存储流记录: 每个记录都由ke…