先说说遇到的坑 回顾下kafka topic:生产组:P0\P1----P14 一个消费组:c0 c1 c2 依据Consumer的负载均衡分配 消费顺序"c0:p0-p4 c1:p5-p9 c2:p10-p14 问题:突然发现读offset 堆积太多 增加消费者也没用 原因: C2节点物理故障,会把数据分给C0和C1,然后C2恢复(生产上会用类似superviser从新启动挂掉的进程),再重新分配数据,这样来来回回浪费了很多时间 每次挪回都重新洗牌,新版本已经修复此问题,所以不应该随便恢复进程…

=========================================================================虽然反编译很简单,也没下面说的那么复杂,不过还是转了过来. Android混淆.反编译以及反破解的简单回顾          搜索下,发现文章相关文档好多好多.就简单点,不赘述了==   一.Android混淆 1)概述          新建Android工程,根目录下会有个proguard.cfg.简单的混淆,你只需要在project.proper…

Apache Kafka 是什么? Kafka 是一个开源的分布式流处理平台,其简化了不同数据系统的集成.流指的是一个数据管道,应用能够通过流不断地接收数据.Kafka 作为流处理系统主要有两个用处: 数据集成: Kafka 捕捉事件流或数据变化流,并将这些数据送给其它数据系统,如关系型数据库,键值对数据库或者数据仓库. 流处理:Kafka接收事件流并保存在一个只能追加的队列里,该队列称为日志(log).日志里的信息是不可变的,因此支持连续实时的数据处理和流转换,并使结果在系统级别可访问. 相比…

storm笔记:Storm+Kafka简单应用 这几天工作须要使用storm+kafka,基本场景是应用出现错误,发送日志到kafka的某个topic.storm订阅该topic.然后进行兴许处理.场景很easy,可是在学习过程中.遇到一个奇怪的异常情况:使用KafkaSpout读取topic数据时,没有向ZK写offset数据,致使每次都从头開始读取. 纠结了两天,最终碰巧找到原因:应该使用BaseBasicBolt作为bolt的父类.而不是BaseRichBolt. 通过本文记录一下这样的情…

昨天早晨发布了第一天的开发者大会回顾文章后,就匆匆忙忙赶去会场继续享受高科技的盛宴,接下来简单回顾一下第二天的大会参与情况. 昨天早晨下着小雨,并带着微风,在外面还是挺冷的,这里不得不给工作人员点个赞,那么冷依然坚守岗位为我们指引路线,偷拍了一位帅哥. 然后到会场后开始欣赏,会场周围彩旗飘飘,第一天都没来得及顾及这些. 然后直达三楼主会场,等待今天的主题分享,特别是第一场<让您的应用兼容 Android Oreo>,这场是学习的重点,结束后还得总结提炼精华,并请教谷歌工程师一些兼容性相关的问题…

昨天有幸参加了中国2017 Google 开发者大会,在这第一天就收获满满,昨天太忙了,今天早晨来一起简单回顾一下,可以让没有参加的童鞋们感受一下现场的温度. 早早就来到了会议现场,外面看不出什么特别的地方,入口快速安检进入室内. 进入一楼大厅就是一个三维标识,一开始还没看出来,走到两侧面才发现是GOOGLE GDD 2017. 虽然去得很早,签到处还是排着长队,非常顺利的拿到了嘉宾证和官方出品的“冬日暖心”大礼包. 打开大礼包,里面有一台DIY音响和贴纸,并告知填写反馈表后可以领取一个定制电脑…

kafka官方中文文档  http://kafka.apachecn.org/ java Kafka 简单应用实例  下面是Linux下的单机模式:https://blog.csdn.net/fct2001140269/article/details/83246770 Kafka在Windows安装运行及入门实例(JAVA)https://blog.csdn.net/shiyuezhong/article/details/79897719 ZooKeeper下载安装(Windows版本)http…

之前公众号推文一上手就分享如何测接口, 其实忽略了一些概念性的东西, 今天来给大家拾遗补缺, 做个回顾吧. 一. JMeter介绍 jmeter能做什么,来自官网的解释: Ability to load and performance test many different applications/server/protocol types: Web - HTTP, HTTPS (Java, NodeJS, PHP, ASP.NET …) SOAP / REST Webservices FTP…

前言 这几天在写 shell 脚本,学到不少,但是没啥心得之类的,有空可以写个总结(但是大概率不会发表) 现在不算很忙,想再学一点 消息队列相关知识 目前比较出名的也就 RabbitMQ 和 Kafka 网上说 Kafka I/O更快,但是会丢数据 RabbitMQ更可靠一点 但性能我觉得还是比较重要的,可靠性可以通过别的方式来加强.性能可不是硬件多就能简单堆起来的 变更记录 # 19.4.29  起笔 正文 pass…

最近刚刚做完了毕业设计,在开发时用的是spring框架,做的时候踩了好多坑,又把当初的笔记给翻了翻,做一次简单的回顾 # 1.Spring是什么? 是一个开源的.用于简化企业级应用开发的应用开发框架. a.简化开发:         Spring框架对很多常用的api做了简化,比如,使用Spring jdbc         (Spring jdbc是Spring框架中的一个模块)访问数据库,不再需要         考虑如何获取连接.关闭连接.处理异常等等. b.提高了系统的维护性:     …