1.python-kafka:

api送上:https://kafka-python.readthedocs.io/en/latest/apidoc/KafkaConsumer.html

2.实现一个broker、topic可配置的生产者与消费者:

#coding=utf-8

import time
import logging
import sys
import json
import etc.config as conf
sys.path.append('***********/kafka-python-1.3.3')
from kafka import KafkaProducer
from kafka import KafkaConsumer
from kafka.errors import KafkaError
from kafka import TopicPartition def log_name():
base_name = conf.kafka_logDir
date = time.strftime('%Y%m%d',time.localtime(time.time())) + '.log'
return base_name + date logging.basicConfig(level=logging.DEBUG,
format='%(asctime)-15s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
datefmt='%Y-%m-%d %H:%M:%S',
filename=log_name(),
filemode='a'
)
console = logging.StreamHandler()
console.setLevel(logging.INFO)
logging.getLogger('').addHandler(console) class kfkProducer(object): # producer = None def __init__(self, broker, kafkaPort, kafkaTopic=''):
self._broker = broker
self._kafkaPort = kafkaPort
self._kafkaTopic = kafkaTopic def __str__(self):
logging.info("--------------------------------")
logging.info("kafka-producer params ...")
logging.info("[KAFKA-BROKER]:%s" %self._broker)
logging.info("[KAFKA-PORT]:%s" %self._kafkaPort)
logging.info("[KAFKA-TOPIC]:%s" %self._kafkaTopic)
logging.info("--------------------------------") def registerKfkProducer(self):
try:
producer = KafkaProducer(bootstrap_servers = '{kafka_host}:{kafka_port}'.format(
kafka_host=self._broker,
kafka_port=self._kafkaPort
))
except KafkaError as e:
logging.info(e)
return producer def produceMsg(self, topic, msg, partition=0):
# 自动将输入字符串转化为json格式,产出消息
if(topic in ('', None)):
logging.error("topic is None, plz check!")
else:
try:
# parmas_message = json.dumps(msg)#转化为json格式
producer = self.registerKfkProducer()
producer.send(topic, value=msg, partition=partition)
producer.flush()
# time.sleep(1)
except KafkaError as e:
logging.info(e) class kfkConsumer(object): # consumer = None def __init__(self, broker, kafkaPort, kafkaTopic=''):
self._broker = broker
self._kafkaPort = kafkaPort
self._kafkaTopic = kafkaTopic def __str__(self):
logging.info("--------------------------------")
logging.info("kafka-consumer params ...")
logging.info("[KAFKA-BROKER]:%s" %self._broker)
logging.info("[KAFKA-PORT]:%s" %self._kafkaPort)
logging.info("[KAFKA-TOPIC]:%s" %self._kafkaTopic)
logging.info("--------------------------------") def registerConsumer(self):
try:
consumer = KafkaConsumer(
bootstrap_servers=[self._broker+':'+self._kafkaPort],
auto_offset_reset='earliest')
except KafkaError as e:
logging.info(e)
return consumer def consumerMsg(self, topic, partition=0):
if(topic in ('', None)):
logging.error("topic is None, plz check!")
else:
try:
v_consumer = self.registerConsumer()
v_consumer.assign([TopicPartition(topic,partition)])
# self.registerConsumer.subscribe([self._kafkaTopic])
for message in v_consumer:
# message value and key are raw bytes -- decode if necessary!
# e.g., for unicode: `message.value.decode('utf-8')
logging.info("%s:%d:%d: msg=%s" % (message.topic, message.partition,
message.offset, message.value.decode('utf-8')))
except KafkaError as e:
logging.info(e)

3.实现命令行输入topic和partition,即可生产消息:

#coding=utf-8

import os
import sys
import json
import etc.config as conf
from PykafkaMgr import kfkProducer #从json文件获取消息
def getMsgFromJsonfile(filePath):
if(not os.path.isfile(filePath)):
print(u"[%s] 输入的json文件路径有误,请检查..." %filePath)
else:
with open(filePath) as json_file:
return json.load(json_file) def except4v():
if(len(sys.argv) <= 1):
print(u"未输入topic和partition!\n你可以--help查看具体使用方法...")
elif(sys.argv[1].startswith("--")):
option = sys.argv[1][2:]
# print(option)
if(option in ("version", "Version")):
print("Version 1.0 \nPython 2.7.3 (default, Nov 6 2015, 14:11:14) \
\n[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2")
elif(option == "help"):
print(u"produceMsg.py 接收两个参数, 第一个是topic, 第二个是partition \neg:python produceMsg.py test 0 \n向topic名为test第0分区生产消息") def calcMsg(jsonMsg):
sumMsg, sumAcct = 0, 0
msgNum = len(jsonMsg)
print("------------------------------------------")
for i in range(msgNum):
acct_num = len(jsonMsg[i]["MSGBODY"])
print(u"第[%d]条消息,包含ACCT_ID账户数:[%d]个"%(i+1, acct_num))
sumMsg = i+1
sumAcct += acct_num
acct_num = 0
print(u"本次生产消息总共[%d]条, 总共账户数:[%d]个"%(sumMsg, sumAcct))
print("------------------------------------------") if __name__ == '__main__': except4v() if(len(sys.argv) == 3):
topic = sys.argv[1]
partition = int(sys.argv[2])
produce = kfkProducer(conf.kafka_mgr["broker"], conf.kafka_mgr["port"], topic)
produce.__str__()
jsonMsg = getMsgFromJsonfile(conf.kafka_produce)
for i in range(len(jsonMsg)):
produce.produceMsg(topic, ('%s'%jsonMsg[i]).encode('utf-8'), partition)
calcMsg(jsonMsg)

4.设置两个配置文件:

第一个是config.py

#coding=utf-8

#broker配置还有一种方式是:kafka_mgr={"broker":'ip1:port,ip2:port,...,ipn:port'},就是改为kafka集群,不过代码要稍微作调整(参数列表改下就行了)。当然配置两种,通过一个开关去控制也可以。自选
kafka_mgr = {
"broker" : '10.***.***.***',
"port" : 6667,
} kafka_logDir = r"/*******/log/****" #生产者输入json文件
kafka_produce = r"/**********/data/input/produceMsg.json"
生产者输入json文件:
produceMsg.json
json文件附上说明,具体可以按照说明配置

hi, welcome here~

produceMsg.json
=================================
输入json格式数据,作为生产者消息的输入。
1.支持多条json数据输入。格式如下:
[
json1,
json2,
...,
jsonN
]
总体结构是:[ , ] 2.此json文件不能加注释,因为会破坏json文件格式,导致无法解析
3.输入只要是json格式,不需要关注是不是一行或多行,多换行、空格等都不影响解析

消费者也是利用以上两个配置文件去实现即可。此处代码略

python-kafka实现produce与consumer的更多相关文章

  1. Python Kafka Client 性能测试

    一.前言 由于工作原因使用到了 Kafka,而现有的代码并不能满足性能需求,所以需要开发高效读写 Kafka 的工具,本文是一个 Python Kafka Client 的性能测试记录,通过本次测试, ...

  2. python kafka client--confluent-kafka-python

    项目中需要使用python 向Kafka生产和消费数据,最初使用pykafka .后来发现pykafka不支持client.id. 最后,终于找到confluent-kafka. python kaf ...

  3. .net Kafka.Client多个Consumer Group对Topic消费不能完全覆盖研究总结(二)

    依据Partition和Consumer的Rebalance策略,找到Kafka.Client Rebalance代码块,还原本地环境,跟踪调试,发现自定义Consumer Group 的Consum ...

  4. Kafka客户端Producer与Consumer

    Kafka客户端Producer与Consumer 一.pom.xml 二.相关配置文件 producer.properties log4j.properties base.properties 三. ...

  5. ReferenceError: weakly-referenced object no longer exists Python kafka

    Python存入kafka报错,ReferenceError: weakly-referenced object no longer exists. Exception in thread 14: p ...

  6. SpringBoot整合kafka(实现producer和consumer)

    本文代码使用的是Spring Boot 2.1.8.RELEASE 版本 <parent> <groupId>org.springframework.boot</grou ...

  7. Kafka的Producer和Consumer源码学习

    先解释下两个概念: high watermark (HW) 它表示已经被commited的最后一个message offset(所谓commited, 应该是ISR中所有replica都已写入),HW ...

  8. Kafka的Producer以及Consumer远程调用问题

    公司需要分布式的JMS,所以研究了Kafka,之前在本地都没有出现问题,但是在服务器上布Kafka的时候发现了消费者无法消费的问题. kafka布到一台服务器上面,由于业务原因,producer和ka ...

  9. 设计Kafka的High Level Consumer

    原文:https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example 为什么使用High Level Consumer ...

随机推荐

  1. Python自动化--语言基础8--接口请求及封装

    基于http协议,最常用的是GET和POST两种方法. 接口文档需要包含哪些信息: 接口名称接口功能接口地址支持格式 json/xml请求方式请求示例请求参数(是否必填.数据类型.传递参数格式)返回参 ...

  2. 用yii2给app写接口(下)

    上一节里我们讲了如何用Yii2搭建一个能够给App提供数据的API后台应用程序.那么今天我们就来探讨下授权认证和通过API接口向服务器提交数据以及如何控制API接口返回那些数据,不能返回那些数据. 授 ...

  3. Ceph神坑系列

    1. 在使用librbd的过程中,发现一个如果ceph集群异常librbd函数不返回的问题,对librbd的源码进行跟踪,发现了rados接口中的rados_mon_op_timeout(how ma ...

  4. UESTC - 1057 秋实大哥与花 线段树

    题意 秋实大哥是一个儒雅之人,昼听笙歌夜醉眠,若非月下即花前. 所以秋实大哥精心照料了很多花朵.现在所有的花朵排成了一行,每朵花有一个愉悦值. 秋实大哥每天要对着某一段连续的花朵歌唱,然后这些花朵的愉 ...

  5. POJ - 3414 bfs [kuangbin带你飞]专题一

    状态搜索,每种状态下面共有六种选择,将搜索到的状态保存即可. d[i][j]表示状态A杯中水i升,B杯中水j升,总状态数量不会超过A杯的容量 * B杯的容量. AC代码 #include<cst ...

  6. postman 中调试接口的小记录

    1.form-data:  就是http请求中的multipart/form-data,它会将表单的数据处理为一条消息,以标签为单元,用分隔符分开.既可以上传键值对,也可以上传文件.当上传的字段是文件 ...

  7. 20170109| javascript记录

    1.时间戳的使用: 在php中的时间戳是以秒为单位的,在js中转换过来的时间戳是以毫秒为单位的.当我们使用js和php同时开发的时候,就需要保证它们都是处于同一时间单位下才好进行相关的计算. 首先说一 ...

  8. 笔记︱决策树族——梯度提升树(GBDT)

    每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 本笔记来源于CDA DSC,L2-R语言课程所 ...

  9. FusionCharts封装-Value

    Data.java: /** * @Title:Data.java * @Package:com.fusionchart.model * @Description:FusionCharts 封装dat ...

  10. Java之split方法

    Java之split方法 1.间隔号"." (1)str.split(".") String str = "10.156.35.87"; S ...