1.python-kafka:

api送上:https://kafka-python.readthedocs.io/en/latest/apidoc/KafkaConsumer.html

2.实现一个broker、topic可配置的生产者与消费者:

#coding=utf-8

import time
import logging
import sys
import json
import etc.config as conf
sys.path.append('***********/kafka-python-1.3.3')
from kafka import KafkaProducer
from kafka import KafkaConsumer
from kafka.errors import KafkaError
from kafka import TopicPartition def log_name():
base_name = conf.kafka_logDir
date = time.strftime('%Y%m%d',time.localtime(time.time())) + '.log'
return base_name + date logging.basicConfig(level=logging.DEBUG,
format='%(asctime)-15s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
datefmt='%Y-%m-%d %H:%M:%S',
filename=log_name(),
filemode='a'
)
console = logging.StreamHandler()
console.setLevel(logging.INFO)
logging.getLogger('').addHandler(console) class kfkProducer(object): # producer = None def __init__(self, broker, kafkaPort, kafkaTopic=''):
self._broker = broker
self._kafkaPort = kafkaPort
self._kafkaTopic = kafkaTopic def __str__(self):
logging.info("--------------------------------")
logging.info("kafka-producer params ...")
logging.info("[KAFKA-BROKER]:%s" %self._broker)
logging.info("[KAFKA-PORT]:%s" %self._kafkaPort)
logging.info("[KAFKA-TOPIC]:%s" %self._kafkaTopic)
logging.info("--------------------------------") def registerKfkProducer(self):
try:
producer = KafkaProducer(bootstrap_servers = '{kafka_host}:{kafka_port}'.format(
kafka_host=self._broker,
kafka_port=self._kafkaPort
))
except KafkaError as e:
logging.info(e)
return producer def produceMsg(self, topic, msg, partition=0):
# 自动将输入字符串转化为json格式,产出消息
if(topic in ('', None)):
logging.error("topic is None, plz check!")
else:
try:
# parmas_message = json.dumps(msg)#转化为json格式
producer = self.registerKfkProducer()
producer.send(topic, value=msg, partition=partition)
producer.flush()
# time.sleep(1)
except KafkaError as e:
logging.info(e) class kfkConsumer(object): # consumer = None def __init__(self, broker, kafkaPort, kafkaTopic=''):
self._broker = broker
self._kafkaPort = kafkaPort
self._kafkaTopic = kafkaTopic def __str__(self):
logging.info("--------------------------------")
logging.info("kafka-consumer params ...")
logging.info("[KAFKA-BROKER]:%s" %self._broker)
logging.info("[KAFKA-PORT]:%s" %self._kafkaPort)
logging.info("[KAFKA-TOPIC]:%s" %self._kafkaTopic)
logging.info("--------------------------------") def registerConsumer(self):
try:
consumer = KafkaConsumer(
bootstrap_servers=[self._broker+':'+self._kafkaPort],
auto_offset_reset='earliest')
except KafkaError as e:
logging.info(e)
return consumer def consumerMsg(self, topic, partition=0):
if(topic in ('', None)):
logging.error("topic is None, plz check!")
else:
try:
v_consumer = self.registerConsumer()
v_consumer.assign([TopicPartition(topic,partition)])
# self.registerConsumer.subscribe([self._kafkaTopic])
for message in v_consumer:
# message value and key are raw bytes -- decode if necessary!
# e.g., for unicode: `message.value.decode('utf-8')
logging.info("%s:%d:%d: msg=%s" % (message.topic, message.partition,
message.offset, message.value.decode('utf-8')))
except KafkaError as e:
logging.info(e)

3.实现命令行输入topic和partition,即可生产消息:

#coding=utf-8

import os
import sys
import json
import etc.config as conf
from PykafkaMgr import kfkProducer #从json文件获取消息
def getMsgFromJsonfile(filePath):
if(not os.path.isfile(filePath)):
print(u"[%s] 输入的json文件路径有误,请检查..." %filePath)
else:
with open(filePath) as json_file:
return json.load(json_file) def except4v():
if(len(sys.argv) <= 1):
print(u"未输入topic和partition!\n你可以--help查看具体使用方法...")
elif(sys.argv[1].startswith("--")):
option = sys.argv[1][2:]
# print(option)
if(option in ("version", "Version")):
print("Version 1.0 \nPython 2.7.3 (default, Nov 6 2015, 14:11:14) \
\n[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2")
elif(option == "help"):
print(u"produceMsg.py 接收两个参数, 第一个是topic, 第二个是partition \neg:python produceMsg.py test 0 \n向topic名为test第0分区生产消息") def calcMsg(jsonMsg):
sumMsg, sumAcct = 0, 0
msgNum = len(jsonMsg)
print("------------------------------------------")
for i in range(msgNum):
acct_num = len(jsonMsg[i]["MSGBODY"])
print(u"第[%d]条消息,包含ACCT_ID账户数:[%d]个"%(i+1, acct_num))
sumMsg = i+1
sumAcct += acct_num
acct_num = 0
print(u"本次生产消息总共[%d]条, 总共账户数:[%d]个"%(sumMsg, sumAcct))
print("------------------------------------------") if __name__ == '__main__': except4v() if(len(sys.argv) == 3):
topic = sys.argv[1]
partition = int(sys.argv[2])
produce = kfkProducer(conf.kafka_mgr["broker"], conf.kafka_mgr["port"], topic)
produce.__str__()
jsonMsg = getMsgFromJsonfile(conf.kafka_produce)
for i in range(len(jsonMsg)):
produce.produceMsg(topic, ('%s'%jsonMsg[i]).encode('utf-8'), partition)
calcMsg(jsonMsg)

4.设置两个配置文件:

第一个是config.py

#coding=utf-8

#broker配置还有一种方式是:kafka_mgr={"broker":'ip1:port,ip2:port,...,ipn:port'},就是改为kafka集群,不过代码要稍微作调整(参数列表改下就行了)。当然配置两种,通过一个开关去控制也可以。自选
kafka_mgr = {
"broker" : '10.***.***.***',
"port" : 6667,
} kafka_logDir = r"/*******/log/****" #生产者输入json文件
kafka_produce = r"/**********/data/input/produceMsg.json"
生产者输入json文件:
produceMsg.json
json文件附上说明,具体可以按照说明配置

hi, welcome here~

produceMsg.json
=================================
输入json格式数据,作为生产者消息的输入。
1.支持多条json数据输入。格式如下:
[
json1,
json2,
...,
jsonN
]
总体结构是:[ , ] 2.此json文件不能加注释,因为会破坏json文件格式,导致无法解析
3.输入只要是json格式,不需要关注是不是一行或多行,多换行、空格等都不影响解析

消费者也是利用以上两个配置文件去实现即可。此处代码略

python-kafka实现produce与consumer的更多相关文章

  1. Python Kafka Client 性能测试

    一.前言 由于工作原因使用到了 Kafka,而现有的代码并不能满足性能需求,所以需要开发高效读写 Kafka 的工具,本文是一个 Python Kafka Client 的性能测试记录,通过本次测试, ...

  2. python kafka client--confluent-kafka-python

    项目中需要使用python 向Kafka生产和消费数据,最初使用pykafka .后来发现pykafka不支持client.id. 最后,终于找到confluent-kafka. python kaf ...

  3. .net Kafka.Client多个Consumer Group对Topic消费不能完全覆盖研究总结(二)

    依据Partition和Consumer的Rebalance策略,找到Kafka.Client Rebalance代码块,还原本地环境,跟踪调试,发现自定义Consumer Group 的Consum ...

  4. Kafka客户端Producer与Consumer

    Kafka客户端Producer与Consumer 一.pom.xml 二.相关配置文件 producer.properties log4j.properties base.properties 三. ...

  5. ReferenceError: weakly-referenced object no longer exists Python kafka

    Python存入kafka报错,ReferenceError: weakly-referenced object no longer exists. Exception in thread 14: p ...

  6. SpringBoot整合kafka(实现producer和consumer)

    本文代码使用的是Spring Boot 2.1.8.RELEASE 版本 <parent> <groupId>org.springframework.boot</grou ...

  7. Kafka的Producer和Consumer源码学习

    先解释下两个概念: high watermark (HW) 它表示已经被commited的最后一个message offset(所谓commited, 应该是ISR中所有replica都已写入),HW ...

  8. Kafka的Producer以及Consumer远程调用问题

    公司需要分布式的JMS,所以研究了Kafka,之前在本地都没有出现问题,但是在服务器上布Kafka的时候发现了消费者无法消费的问题. kafka布到一台服务器上面,由于业务原因,producer和ka ...

  9. 设计Kafka的High Level Consumer

    原文:https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example 为什么使用High Level Consumer ...

随机推荐

  1. 浅谈扩展欧几里得算法(exgcd)

    在讲解扩展欧几里得之前我们先回顾下辗转相除法: \(gcd(a,b)=gcd(b,a\%b)\)当a%b==0的时候b即为所求最大公约数 好了切入正题: 简单地来说exgcd函数求解的是\(ax+by ...

  2. mac 上格式化磁盘出现MediaKit报告设备上的空间不足以执行请求的解决办法

    1.问题描述: 我使用是一个2T移动硬盘,分了5个区 2.分析原因:因为mac OSX的日志式格式需要有EFI分区进行引导,而我的移动硬盘是没有EFI分区的,这样的话就会出现问题: 3.解决办法: 1 ...

  3. 基于JDK1.8的LinkedList剖析

    之前写了一篇ArrayList,那么今天就写一篇他的姊妹篇,LinkedList. 众所周知,ArrayList底层数据是数组,可以在O(1)的时间内get到数据,但删除和插入就要O(n)时间复杂度. ...

  4. C#标识符

  5. uva140

    全排列回溯剪枝. 题目数据很水.记录当前最小带宽,边回溯边计算当前序列最大的距离(也就是带宽),如果当前带宽超过了当前的最小带宽就剪枝. 注意下,数据读入时的字符串处理. AC代码 #include& ...

  6. Minikube之Win10单机部署

    Kubernetes(k8s)是自动化容器操作的开源平台,基于这个平台,你可以进行容器部署,资源调度和集群扩容等操作.如果你曾经用过Docker部署容器,那么可以将Docker看成Kubernetes ...

  7. Windows 窗体中的事件顺序(WinForm)

    引用MSDN,以便以后查看 引用:https://msdn.microsoft.com/zh-cn/library/86faxx0d.aspx 应用程序启动和关闭事件  Form 和 Control  ...

  8. java:list排序

    第一种方法:就是list中对象(bean文件)实现Comparable接口,代码如下: package com.mapred.entity; public class Bar implements C ...

  9. GET与POST请求的区别

    Http定义了与服务器交互的不同方法,最基本的方法有4种,分别是GET,POST,PUT,DELETE.URL全称是资源描述符,我们可以这样认为:一个URL地址,它用于描述一个网络上的资源,而HTTP ...

  10. Effective Java 第三版——35. 使用实例属性替代序数

    Tips <Effective Java, Third Edition>一书英文版已经出版,这本书的第二版想必很多人都读过,号称Java四大名著之一,不过第二版2009年出版,到现在已经将 ...