kafka的演进历史

首先如果我开始做一个消息队列,最开始的时候可能就是一台单机上的一个单一的log日志,不断地向这个日志中追加消息即可. 后来,可能由于一个log日志支撑不了太多的读写请求,于是就对这个log日志进行了拆分.于是就出现了一个topic有多个log日志的情况. 一条消息来了,可以保存到任意的log文件中,当然也可以自己指定算法来使得某个生产者产生的消息都保存到一个固定的log文件中. 这样好像性能上来了,但是这样每个log都是没有副本机制的,也就是说如果一个log日志如果坏掉的话,这个topic的一部…

Hadoop YARN学习之Hadoop框架演进历史简述

Hadoop YARN学习之Hadoop框架演进历史简述(1) 1. Hadoop在其发展的过程中经历了多个阶段: 阶段0:Ad Hoc集群时代标志着Hadoop的起源,集群以Ad Hoc.单用户方式建立阶段1:Hadoop on Demand(HOD) 是进化过程中的下一个阶段,以一种通用系统的形式,在商用硬件组成的共享集群上提供和管理私有Hadoop MapReduce和HDFS实例. 阶段2:共享计算集群的黎明始于大量Hadoop安装转向与共享HDFS实例一起的共享MapReduce…

JVM系列.JDK演进历史

Java程序员为什么要了解虚拟机相关的知识 Java程序在设计之初就号称"一次编译,到处运行".Java之所以能做到"一次编译,处处运行"是因为Java虚拟机隐藏了底层技术的复杂性以及机器和操作系统的差异性. 运行程序的物理机千差万别,而Java虚拟机则在千差万别的物理机上面建立了统一的运行平台,实现了在任意一台Java虚拟机上编译的程序,都能在任何其他Java虚拟机上正常运行. 这一极大的优势使得Java应用的开发比传统C/C++应用的开发更高效快捷,程序员可以把…

达达O2O后台架构演进实践：从0到4000高并发请求背后的努力

1.引言达达创立于2014年5月,业务覆盖全国37个城市,拥有130万注册众包配送员,日均配送百万单,是全国领先的最后三公里物流配送平台. 达达的业务模式与滴滴以及Uber很相似,以众包的方式利用社会闲散人力资源,解决O2O最后三公里即时性配送难题(2016年4月,达达已经与京东到家合并). 达达的业务组成简单直接——商家下单.配送员接单和配送,也正因为理解起来简单,使得达达的业务量在短时间能实现爆发式增长.而支撑业务快速增长的背后,正是达达技术团队持续不断的快速技术迭代的结果,本文正好借…

从游击队到正规军(二)：马蜂窝旅游网的IM客户端架构演进和实践总结

一.引言移动互联网技术改变了旅游的世界,这个领域过去沉重的信息分销成本被大大降低.用户与服务供应商之间.用户与用户之间的沟通路径逐渐打通,沟通的场景也在不断扩展.这促使所有的移动应用开发者都要从用户视角出发,更好地满足用户需求. 论坛时代的马蜂窝,用户之间的沟通形式比较单一,主要为单纯的回帖回复等.为了以较小的成本快速满足用户需求,当时采用的是非实时性消息的方案来实现用户之间的消息传递. 随着行业和公司的发展,马蜂窝确立了「内容+交易」的独特商业模式.在用户规模不断增长及业务形态发生变化的背景…

从游击队到正规军：马蜂窝旅游网的IM系统架构演进之路

本文引用自马蜂窝公众号,由马蜂窝技术团队原创分享. 一.引言今天,越来越多的用户被马蜂窝持续积累的笔记.攻略.嗡嗡等优质的分享内容所吸引,在这里激发了去旅行的热情,同时也拉动了马蜂窝交易的增长.在帮助用户做出旅行决策.完成交易的过程中,IM 系统起到了重要的作用. IM 系统为用户与商家建立了直接沟通的渠道,帮助用户解答购买旅行产品中的问题,既促成了订单交易,也帮用户打消了疑虑,促成用户旅行愿望的实现.伴随着业务的快速发展,几年间,马蜂窝 IM 系统也经历了几次比较重要的架构演化和转型. 本文…

《吃透MQ系列》之扒开Kafka的神秘面纱

大家好,这是<吃透 MQ 系列>的第二弹,有些珊珊来迟,后台被好几个读者催更了,实属抱歉! 这篇文章拖更了好几周,起初的想法是:围绕每一个具体的消息中间件,不仅要写透,而且要控制好篇幅,写下来发现实在太难了,两者很难兼得. 最后决定还是分成多篇写吧.一方面,能加快下输出频率:另一方面,大家也更容易消化. 废话不多说了,第二弹开始发车. 01 为什么从 Kafka 开始? <吃透 MQ >的开篇围绕 MQ 「一发一存一消费」的本质展开,讲解了 MQ 的通用知识,同时系统性地回答了:…

Java I/O演进与Linux网络I/O模型

参考文章: 简书-浅谈Linux五种IO:http://www.jianshu.com/p/486b0965c296 一.linux基础概念 1.1 内存空间 linux系统中的使用的是虚拟存储器,即操作系统(kernel)可以使用的内存空间不是物理空间,而是线性空间,内存是以页的方式进行管理.kernel是一个特殊的程序,如果从内核的角度去看操作系统,一些比如系统调用这样比较核心的功能只有kernel才有权限去使用,用户程序想要调用比如先通过kernel(内核),比如说用户程序想要和硬件进行交…

（基础篇走进javaNIO）第一章-java的i/o演进之路

Java 是由 SUN公司在 1995 年首先发布的编程语言和计算平台.这基础技术支持最新的程序 ,包括实用程序 .游戏和业务应用程序 .J ava 在世界各地的 8.5 亿多台个人计算机和数十亿套设备上运行着 ,其l扫包括移动设备和电视设备 . Java 之所以能够得到如此广泛的应用 ,除了摆脱硬件平台的依赖具有 “ 一次编写 .到处运行 ” 的平台无关性特性之外 ,另一个重要原因是 :其丰富而强大的类库以及众多第三方开源类库使得基于 Ja…

Spark Streaming和Kafka集成深入浅出

写在前面本文主要介绍Spark Streaming基本概念.kafka集成.Offset管理本文主要介绍Spark Streaming基本概念.kafka集成.Offset管理一.概述 Spark Streaming顾名思义是spark的流式处理框架,是面向海量数据实现高吞吐量.高可用的分布式实时计算.关于spark的安装可以参考Spark入门.Spark Streaming并非像Storm那样是真正的流式计算,两者的处理模型在根本上有很大不同:Storm每次处理一条消息,更多详细信息可…

git log 查看版本演变历史

1.查看git操作历史 $ git log #git 查看git操作历史 $ git log --oneline #git 简洁的查看git变更记录 $ git log -n4 --oneline #git 简洁的查看git变更记录,n4最近4次的提交记录,4可以随便修改 $ git branch -v #查看本地有多少分支 $ git log --all #查看所有分支的变更记录 $ git log --graph #git查看变更记录,带图形演示,方便观察整个版本的演进历史 $ g…

Kafka needs no Keeper（关于KIP-500的讨论）

写在前面的最近看了Kafka Summit上的这个分享,觉得名字很霸气,标题直接沿用了.这个分享源于社区的KIP-500,大体的意思今后Apache Kafka不再需要ZooKeeper.整个分享大约40几分钟.完整看下来感觉干货很多,这里特意总结出来.如果你把这个分享看做是<三国志>的话,那么姑且就把我的这篇看做是裴松之注吧:) 客户端演进首先,社区committer给出了Kafka Java客户端移除ZooKeeper依赖的演进过程.下面两张图总结了0.8.x版本和0.11.x版本(是…

大数据之kafka-05.讲聊聊Kafka的版本号

今天聊聊kafka版本号的问题,这个问题实在是太重要了,我觉得甚至是日后能否用好kafka的关键.上一节我们介绍了kafka的几种发行版,其实不论是哪种kafka,本质上都内嵌了最核心的Apache kafka,也就是社区版kafka,那今天我们就说说Apache kafka版本号的问题.在开始之前,先强调一下,后面出现的所有"版本"这个词都表示kafka具体的版本号,而非上一节中介绍kafka种类,这一点要切记. 那么现在可能会有这样的疑问,我为什么要关心版本号的问题呢?直接使用最新…

6个步骤，全方位掌握 Kafka

毋庸置疑,目前 Apache Kafka 是整个消息引擎领域的执牛耳者,也是大数据生态圈中颇为重量级的一员. 从最早诞生于 LinkedIn 的"分布式消息系统",到现在集成了分发.存储和计算的"流式数据平台",Kafka 广泛应用于国内外大厂,比如 BAT.字节跳动.美团.Netflix.Airbnb.Twitter 等等. 说到这里,送大家一张 Kafka 学习框架,出自 Kafka 资深专家胡夕之手.我想你应该听过他的书<Apache Kafka实战&g…

Kafka Eagle安装详情及问题解答

1.概述最近有很多同学给笔者留言,说在安装Kafka Eagle的时候,会遇到一些问题,请教如何解决?今天笔者就在这里总结一下安装步骤,和一些安装的注意事项,以及解决方式. 2.内容在安装Kafka Eagle之前,可能新接触的同学对Kafka Eagle不太了解,那我们现在简要介绍一下Kafka Eagle. 源代码地址:https://github.com/smartloli/kafka-eagle (感兴趣的同学可以关注一波) 2.1 Kafka Eagle是什么? Kafka Eag…

Kafka Eagle 管理平台

Kafka-Eagle简介源代码地址:https://github.com/smartloli/kafka-eagle Kafka Eagle是什么 Kafka Eagle是一款用于监控和管理Apache Kafka的完全开源系统,目前托管在Github,由笔者和一些开源爱好者共同维护.它提供了完善的管理页面,很方面的去管理和可视化Kafka集群的一些信息,例如Broker详情.性能指标趋势.Topic集合.消费者信息等. 同时,兼容若干Kafka版本,例如0.8,0.9,...,以及截止到2…

kafka（一）入门

一.消息引擎系统这类系统引以为豪的消息传递属性,像引擎一样,具备某种能量转换传输的能力消息引擎系统是一组规范,企业利用这组规范在不同系统之间传递语义准确的消息,实现松耦合的异步式数据传递.通俗地讲就是系统A发送消息给消息引擎系统,系统B从消息引擎系统读取系统A的消息既然消息引擎系统是用于不同系统之间传输消息的,如何设计待传输消息的格式,提供可重用性及通用性.kafka使用的是二进制的字节序列,当然消息还是结构化的,只是在使用之前都要将其转换成二进制的字节序列. 消息引擎系统还要设定具体的传…

kafka学习笔记（一）消息队列和kafka入门

概述学习和使用kafka不知不觉已经将近5年了,觉得应该总结整理一下之前的知识更好,所以决定写一系列kafka学习笔记,在总结的基础上希望自己的知识更上一层楼.写的不对的地方请大家不吝指正,感激万分.第一篇介绍消息队列概况和kafka的入门知识. 消息队列系统首先说一下消息队列的含义,"消息系统"这个词是从英文翻译过来的,英文的名字是"Messaging System",稍微学习过英语基础的都知道要翻译成消息队列,但是也有一些大家觉得并不正确,因为它片面强调了消…

『现学现忘』Git基础 — 24、Git中查看历史版本记录

目录 1.查看详细的历史版本记录 2.简化显示历史版本记录 3.历史版本记录常用操作 (1)指定查看最近几次提交的内容 (2)以简单图形的方式查看分支版本历史 (3)翻页与退出 4.查看分支相关的版本历史记录 (1)查看指定分支版本历史 (2)查看所有分支历史版本 5.总结 6.拓展:git blame命令通过git log命令可以查看详细的历史版本信息. git log命令非常强大而好用,在复杂系统的版本管理系统中扮演着重要的角色,这也说明git log命令在日常工作当中还是非常有用的. 例…

优秀后端架构师必会知识：史上最全MySQL大表优化方案总结

本文原作者“ manong”,原创发表于segmentfault,原文链接:segmentfault.com/a/1190000006158186 1.引言 MySQL作为开源技术的代表作之一,是互联网得以广泛流行的重要基础技术之一. 国外 GitHub.Airbnb.Yelp.Coursera 均在使用 MySQL 数据库,国内阿里巴巴.去哪儿网.腾讯.魅族.京东等等的部分关键业务同样使用了 MySQL 数据库.同时,MySQL 也是众多数据库排行榜单的第一名,丛多国内一线互联网企业都在用…

阿里技术分享：阿里自研金融级数据库OceanBase的艰辛成长之路

本文原始内容由作者“阳振坤”整理发布于OceanBase技术公众号. 1.引言 OceanBase 是蚂蚁金服自研的分布式数据库,在其 9 年的发展历程里,从艰难上线到找不到业务场景濒临解散,最后在双十一的流量考验下浴火重生,成为蚂蚁金服全部核心系统的承载数据库.这一路走来的艰辛和故事,蚂蚁金服高级研究员.OceanBase 团队负责人阳振坤将为你娓娓道来. 什么是OceanBase数据库? 是阿里巴巴集团自主研发的分布式关系型数据库,融合传统关系型数据库强大功能与分布式系统的特点,具备持续…

一套高可用、易伸缩、高并发的IM群聊架构方案设计实践

本文原题为“一套高可用群聊消息系统实现”,由作者“于雨氏”授权整理和发布,内容有些许改动,作者博客地址:alexstocks.github.io.应作者要求,如需转载,请联系作者获得授权. 一.引言要实现一整套能用于大用户量.高并发场景下的IM群聊,技术难度远超IM系统中的其它功能,原因在于:IM群聊消息的实时写扩散特性带来了一系列技术难题. 举个例子:如一个2000人群里,一条普通消息的发出问题,将瞬间写扩散为2000条消息的接收问题,如何保证这些消息的及时.有序.高效地送达,涉及到的技术问…

即时通讯新手入门：一文读懂什么是Nginx？它能否实现IM的负载均衡？

本文引用了“蔷薇Nina”的“Nginx 相关介绍(Nginx是什么?能干嘛?)”一文部分内容,感谢作者的无私分享. 1.引言 Nginx(及其衍生产品)是目前被大量使用的服务端反向代理和负载均衡方案,从某种意义上来讲,Nginx几乎是低成本.高负载Web服务端代名词. 如此深入人心的Nginx,很多人也想当然的认为,在IM或消息推送等场景下是否也能使用Nginx来解决负载均衡问题? 另外,即时通讯网的论坛和QQ群里也经常有人问起,Nginx是否能支持TCP.UDP.WebSocket的负载…

IM开发基础知识补课(七)：主流移动端账号登录方式的原理及设计思路

1.引言在即时通讯网经常能看到各种高大上的高并发.分布式.高性能架构设计方面的文章,平时大家参加的众多开发者大会,主题也都是各种高大上的话题——什么5G啦.AI人工智能啦.什么阿里双11分分钟多少万QPS高并发等等. 但实际上,对于普通的开发者(包括IM开发人员)来说,多数公司.多数团队也都是干着默默无闻.平淡无奇的产品开发,并没有那么多高并发.高大上的事情可以做. 就拿一个IM系统来说,无论你的架构设计考虑了多少分布式.高吞吐.高可用,所有这些事情只要落地,那编码的第一件事情就是要实现几乎所…

瓜子IM智能客服系统的数据架构设计（整理自现场演讲）

本文由ITPub根据封宇在[第十届中国系统架构师大会(SACC2018)]现场演讲内容整理而成. 1.引言瓜子业务重线下,用户网上看车.预约到店.成交等许多环节都发生在线下.瓜子IM智能客服系统的目的是要把这些线下的活动搬到线上,对线下行为进行追溯,积累相关数据.系统连接用户.客服.电销.销售.AI机器人.业务后台等多个角色及应用,覆盖网上咨询.浏览.预约看车.到店体验.后服.投诉等众多环节,各个角色间通过可直接操作的卡片传递业务. 例如,用户有买车意向时,电销或AI机器人会及时给用户推送预约…

12306抢票带来的启示：看我如何用Go实现百万QPS的秒杀系统

本文为开源实验性工程:“github.com/GuoZhaoran/spikeSystem”的配套文章,原作者:“绘你一世倾城”,现为:猎豹移动php开发工程师,感谢原作者的技术分享. 1.引言 Go语言的出现,让开发高性能.高稳定性服务端系统变的容易,与高贵冷艳的Erlang语言不同的是,Go语言简单易学,在高性能服务端架构中的应用越来越广泛. 对于即时通讯(IM系统.消息推送系统等高性能实时通信等)等场景下,Go语言已经被越来越多的用于核心通信模块中.本文内容虽是从秒杀系统谈起,并未直接涉及…