1.Kafka简介 kafka-分布式发布-订阅消息系统,开发语言-Scala,协议-仿AMQP,不支持事务,支持集群,支持负载均衡,支持zk动态扩容 2.Kafka的架构组件 1.话题(Topic):是特定类型的消息流.消息是字节的有效负载(Payload),话题是消息的分类名或种子(Feed)名: 2.生产者(Producer):是能够发布消息到话题的任何对象: 3.服务代理(Broker):已发布的消息保存在一组服务器中,它们被称为代理(Broker)或Kafka集群,broker的作用类…

最近因为工作原因,需要将Nignx的POST请求数据实时采集到Kafka中.最容易的想到的方案就是通过"tail -f" Nginx的log日志到Kafka的Broker集群中,但是这种方案效率.吞吐量都很低,完全无法满足业务上的需要.所以如果能直接在Nginx中获取到POST请求数据,并调用Kafka的API接口将数据直接写入到Kafka集群中,是最完美的解决方法了.但是此种方案存在一个难点啊,就是要写一个Nginx模块,由于刚开始接触Nginx,这块不是很熟.只能借助万能Googl…

简述 本文记录logstash的output配置为kafka的过程.这里是简单的例子,输入为stdin,本文主要目的是为了记录在这次配置过程中遇到的问题和解决的过程及总结. 关于kafka集群的搭建可以参考:https://www.cnblogs.com/ldsggv/p/11010497.html 一.logstash的conf文件配置 input{ stdin {} } output{ stdout { codec => rubydebug } kafka { bootstrap_serve…

spark streaming 对接kafka 有两种方式: 参考: http://group.jobbole.com/15559/ http://blog.csdn.net/kwu_ganymede/article/details/50314901 Approach 1: Receiver-based Approach 基于receiver的方案: 这种方式使用Receiver来获取数据.Receiver是使用Kafka的高层次Consumer API来实现的.receiver从Kafka中获…

1.kafka-topics  主题 如:kafka-topics --create --zookeeper 10.0.4.142:2181/kafka --replication-factor 1 --partitions 1 --topic test   ---创建一个主题 #查看kafka主题帮助命令 kafka-topics --help --alter 改变分区的数量.副本分配./.主题的配置 --config <String: name=value> 重写配置 配置: cleanu…

…

sudo ./zoo /zoo /bin/zkServer.sh start sudo ./kafkacluster/kafka1/bin/kafka-server-start.sh ./kafkacluster/kafka1/config/server.properties & sudo ./kafkacluster/kafka1/bin/kafka-topics.sh --list --zookeeper localhost:3003 kafka-topics.bat --create --…

欢迎大家前往云加社区,获取更多腾讯海量技术实践干货哦~ 译者:人工智能资讯小编 本译文自Jean-Paul Azar 在 https://dzone.com 发表的 Kafka Detailed Design and Ecosystem ,文中版权,图像代码的数据均归作者所有.为了本土化,翻译内容略作修改. Kafka生态系统 - Kafka核心,Kafka流,Kafka连接,Kafka REST代理和模式注册 Kafka的核心是经纪人,主题,日志,分区和集群.核心也包括像MirrorMaker…

之前写过两篇关于重置offset的博文,后来使用过程中都有问题. 经过各种尝试,终于找到了解决方案. 直接上代码: # coding=utf8 from confluent_kafka import Consumer, KafkaError, TopicPartition def reset(topic, group, partition, new_offset): broker_list = "xx.xx.xx.xx:9092,xx.xx.xx.xx:9092" new_offset…

1.zookeeper搭建 Kafka集群依赖zookeeper,需要提前搭建好zookeeper 单机模式(7步)(集群模式进阶请移步:http://blog.51cto.com/nileader/795230) Step1: cd /usr/local/software jdk-8u161-linux-x64.rpm链接:https://pan.baidu.com/s/1i6iHIDJ 密码:bgcc rpm -ivh jdk-8u161-linux-x64.rpm vi /etc/prof…