哪些场景适合使用Kafka线上系统会实时产生数以万计的日志信息,服务器运行状态,用户行为记录,业务消息 等信息,这些信息需要用于多个不同的目的,比如审计.安全.数据挖掘等,因此需要以分类的方式将这些信息发送到某个地方,以方便后台处理service实时的去获取数据.MQ用于解决数据生成速率与数据消费速率不一致的场景,业务接口解耦,数据缓存冗余,海量数据处理弹性,异步通信. Kafka是LinkedIn开源出来的分布式消息发布-订阅系统,主要特点是基于Pull模式来处理消息,O(1)常数时间级别的消…

作为消息队列来说,企业中选择mq的还是多数,因为像Rabbit,Rocket等mq中间件都属于很成熟的产品,性能一般但可靠性较强, 而kafka原本设计的初衷是日志统计分析,现在基于大数据的背景下也可以做运营数据的分析统计,而redis的主要场景是内存数据库,作为消息队列来说可靠性太差,而且速度太依赖网络IO,在服务器本机上的速度较快,且容易出现数据堆积的问题,在比较轻量的场合下能够适用. RabbitMQ,遵循AMQP协议,由内在高并发的erlanng语言开发,用在实时的对可靠性要求比较高的消…

目前市面上比较常用的 MQ(Message Queue,消息队列)中间件有 RabbitMQ.Kafka.RocketMQ,如果是轻量级的消息队列可以使用 Redis 提供的消息队列,其中 Redis 属于轻量级的消息队列,而 RabbitMQ.Kafka 属于比较成熟且比较稳定和高效的 MQ 中间件. Redis 轻量级的消息中间件 Redis 是一个高效的内存性数据库中间件,但使用 Redis 也可以实现消息队列的功能. 早期的 Redis(Redis 5.0 之前)是不支持消息确认的,那时…

感谢作者: http://www.wo81.com/tec/mid/mq/2014-04-14/94.html  MQ中间件死信队列深度不断增加问题解决案例 ❞ ☜ ☞ 作者:彭新 日期:2014-04-14 分类:MQ 点击: 来源:www.wo81.com 转载声明:本站文章若无特别说明,皆为原创,转载请注明来源,谢谢 ! 背景:工行某分行发现小额MQ死信队列深度已超过1W,而且还一直在增加,但报文发送.接收均正常. 问题排查过程 1.检查应用日志.mq发送日志,均未发现异常. 2.查看mq…

初试kafka消息队列中间件一 今天闲来有点无聊,然后就看了一下关于消息中间件的资料, 简单一点的理解哈,网上都说的太高大上档次了,字面意思都想半天: 也就是用作消息通知,比如你想告诉某某你喜欢他,或者要开会了,通知给哪些人: 可以分不同的主题,不同的接受方式. 我这也是第一次动手哈,以前都只是看理论知识: 理论大家www.baidu.com一番都了解的七七八八了哈 ,我就直接上动手的过程了. 需要先进行下载: 这里是下载地址http://kafka.apache.org/downloads:…

初试kafka消息队列中间件二(采用java代码收发消息) 上一篇 初试kafka消息队列中间件一 今天的案例主要是将采用命令行收发信息改成使用java代码实现,根据上一篇的接着写: 先启动Zookeeper,然后启动Kafka,再创建消息主题: 以上三步我就不重复了,不会的看上一篇即可 maven依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients<…

0. 前言 消息队列MQ,这个在一般的系统上都是会用到的一个中间件,我选择Kafka作为练手的一个中间件,Kafka依赖Zookeeper.Zookeeper安装上一篇博客已经介绍过了. 1. Kafka Image构建 Dockerfile FROM openjdk:8-jdk-alpine RUN apk add --no-cache bash && rm -rf /var/cache/apk/* && /bin/bash RUN wget http://mirrors…

redis 消息推送(基于分布式 pub/sub)多用于实时性较高的消息推送,并不保证可靠.其他的mq和kafka保证可靠但有一些延迟(非实时系统没有保证延迟).redis-pub/sub断电就清空,而使用redis-list作为消息推送虽然有持久化,但是又太弱智,也并非完全可靠不会丢. 另外一点,redis 发布订阅除了表示不同的 topic 外,并不支持分组,比如kafka中发布一个东西,多个订阅者可以分组,同一个组里只有一个订阅者会收到该消息,这样可以用作负载均衡. 比如,kafka 中发…

我在一台工作站上面部署了MQ服务器,在MQ服务器中我建立了队列管理器MQ_TEST,在该队列管理器中我建立了一个本地队列MQ_Q以及一个服务器连接通道MQ_C,MQ_C中的MCA用户标识默认为空.同时我在该系统中新建了一个MYTEST系统账号,并把该系统账号加入到mqm组中.客户端代码我是用C#开发的应用程序,部署在另外一台笔记本上,部分代码如下:MQEnvironment.Hostname = "192.168.0.8";MQEnvironment.Channel ="MQ…

如果Java项目,数据量不大,用ActiveMQ,相对简单.支持JMS. 如果对性能.可靠性有一定要求,用RabbitMQ. 如果对性能有很高要求,甚至可牺牲一些可靠性,选kakfa. 在当前大数据时代,kafka是关注多最多的.…