hermes kafka 转http rest api 的broker 工具

【hermes kafka 转http rest api 的broker 工具】的更多相关文章

hermes kafka 转http rest api 的broker 工具

hermes 与nakadi 是类似的工具,但是设计模型有很大的差异,hermes 使用的是webhook的模式(push) nakadi 使用的是pull(event stream),各有自己解决的问题,但是从设计上nakadi更灵活参考架构图比较 nakadi: hermes: 参考资料 https://hermes-pubsub.readthedocs.io/en/latest/overview/architecture/ https://nakadi.io/manual.html#d…

kafka生产者和消费者api的简单使用

kafka生产者和消费者api的简单使用一.背景二.需要实现的功能 1.生产者实现功能 1.KafkaProducer线程安全的,可以在多线程中使用. 2.消息发送的key和value的序列化 3.自定义分区的使用 4.自定义拦截器的使用 5.消息发送完成后的回调使用 2.消费者实现功能 1.消息接收的key和value的序列化 2.指定消费者组 3.自动提交 offset (生产环境可以使用手动提交offset) 4.重置消费者的偏移量,此配置生效的条件 5.自定义消息消费拦截器 6.每次…

Kafka集群优化篇-调整broker的堆内存(heap)案例实操

Kafka集群优化篇-调整broker的堆内存(heap)案例实操作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查看kafka集群的broker的堆内存使用情况 1>.使用jstat查看gc的信息([root@kafka116 ~]# jstat -gc 12698 1s 30) 参数说明:S0C:第一个幸存区的大小 S1C:第二个幸存区的大小 S0U:第一个幸存区的使用大小 S1U:第二个幸存区的使用大小 EC:伊甸园区的大小 EU:伊甸园区的使用大小 OC:老年代大…

Kafka设计解析（十七）Kafka 0.11客户端集群管理工具AdminClient

转载自 huxihx,原文链接 Kafka 0.11客户端集群管理工具AdminClient 很多用户都有直接使用程序API操作Kafka集群的需求.在0.11版本之前,kafka的服务器端代码(即添加kafka_2.**依赖)提供了AdminClient和AdminUtils可以提供部分的集群管理操作,但社区官网主页并没有给出这两个类的使用文档.用户只能自行查看源代码和测试用例才能了解具体的使用方法.倘若使用客户端API的话(即添加kafka_clients依赖),用户必须构造特定的请求并自行…

API文档工具-Swagger的集成

最近安装了API文档工具swagger,因为Github上已有详细安装教程,且安装过程中没有碰到大的阻碍,所以此文仅对这次安装做一份大致记录相关网站 Swagger 官方地址: http://swagger.wordnik.com Github安装详解[springmvc集成swagger]: https://github.com/rlogiacco/swagger-springmvc 网上安装教程[可配合Github安装教程使用]: http://www.jianshu.com/p/5cfb…

开源的API文档工具框架——Swagger简介

初次接触Swagger是在2017年5月,当时公司正好要对整套系统架构进行重新设计,有同事推荐用这个技术框架来规范后台接口的API文档.当时因为架构重构,涉及改造的技术点太多,一时也就没太多精力,把Swagger暂时放下了.对于API文档我们就自己定义了一个模板,统一要求开发人员把文档写在tower上了. 现在回头来看,存在这么几个问题: 1. 文档编写及修改的及时性不够,由于API在开发及测试过程中经常会有调整,相应的文档不能及时得到修改. 2. 文档的规范性需要人为的检查来约束,增大了项目管…