1. #!/usr/bin/python
  2. # -*- coding:utf-8 -*-
  3.  
  4. from confluent_kafka import Producer
  5. import json
  6. import time
  7. import sys
  8.  
  9. def delivery_report(err, msg):
  10. """ Called once for each message produced to indicate delivery result.
  11. Triggered by poll() or flush(). """
  12. if err is not None:
  13. print('Message delivery failed: {}'.format(err))
  14. else:
  15. print('Message delivered to {} [{}]'.format(msg.topic(), msg.partition()))
  16.  
  17. def c_kafka(topic, payloads, sleep_time=0, **conf):
  18. gu = []
  19. p = Producer(**conf)
  20. for i in payloads:
  21. gu.insert(0, "ping%s" % int(round(int(time.time() * 1000))))
  22. p.poll(0)
  23. p.produce(topic, json.dumps(i).encode('utf-8'), callback=delivery_report)
  24. if sleep_time > 0:
  25. p.flush()
  26. time.sleep(int(sleep_time))
  27. if sleep_time == 0:
  28. p.flush
  29. return gu
  30.  
  31. if __name__ == "__main__":
  32. args = sys.argv
  33. ip = args[1]
  34. rate_value = args[2]
  35. ranges = args[3]
  36. sleep_time = args[4]
  37. payloads = []
  38. conf = {
  39. 'bootstrap.servers': 'authtest.jdq.jd.local:9888',
  40. 'client.id': '23a49894'
  41. }
  42. topic = 'WDMEtlTest'
  43. for i in range(int(ranges)):
  44. payloads.append({
  45. "timestamp": int(time.time()) + ((i + 1) * 60),
  46. "timestampISO": "2018-09-12T06:22:40.000Z",
  47. "topic": "devEtl03",
  48. "ip": args[1],
  49. "if_name": "Ethernet6/4",
  50. "service_status":"在线",
  51. "data_level": "debug",
  52. "globalunique": '%s%s' % ('dci', int(time.time())),
  53. }
  54. )
  55. print c_kafka(topic, payloads, sleep_time, **conf)

python操作kafka(confluent_kafka 生产)的更多相关文章

  1. python操作kafka

    python操作kafka 一.什么是kafka kafka特性: (1) 通过磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能. (2) 高吞吐量 :即使是 ...

  2. kfka学习笔记一:使用Python操作Kafka

    1.准备工作 使用python操作kafka目前比较常用的库是kafka-python库,但是在安装这个库的时候需要依赖setuptools库和six库,下面就要分别来下载这几个库 https://p ...

  3. 使用python操作kafka

    使用python操作kafka目前比较常用的库是kafka-python库 安装kafka-python pip3 install kafka-python 生产者 producer_test.py ...

  4. kafka实战教程(python操作kafka),kafka配置文件详解

    kafka实战教程(python操作kafka),kafka配置文件详解 应用往Kafka写数据的原因有很多:用户行为分析.日志存储.异步通信等.多样化的使用场景带来了多样化的需求:消息是否能丢失?是 ...

  5. python操作kafka实践

    1.先看最简单的场景,生产者生产消息,消费者接收消息,下面是生产者的简单代码. ------------------------------------------------------------ ...

  6. kafka--通过python操作topic

    修改 topic 的分区数 shiyanlou:bin/ $ ./kafka-topics.sh --zookeeper localhost:2181 --alter --topic mySendTo ...

  7. Python 【第六章】:Python操作 RabbitMQ、Redis、Memcache、SQLAlchemy

    Memcached Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态.数据库驱动网站的速度 ...

  8. Python操作Redis、Memcache、RabbitMQ、SQLAlchemy

    Python操作 Redis.Memcache.RabbitMQ.SQLAlchemy redis介绍:redis是一个开源的,先进的KEY-VALUE存储,它通常被称为数据结构服务器,因为键可以包含 ...

  9. Python之路【第十篇】Python操作Memcache、Redis、RabbitMQ、SQLAlchemy、

    Memcached Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态.数据库驱动网站的速度 ...

随机推荐

  1. I/O模型系列之一:Linux I/O模型基本概念

    1. IO模型矩阵 基本 Linux I/O 模型的简单矩阵: 同步与异步:描述的是用户线程与内核的交互方式. 同步IO和异步IO的区别就在于:数据拷贝的时候进程是否阻塞! 同步是指用户线程发起IO请 ...

  2. Java反射-修改字段值, 反射修改static final修饰的字段

    反射修改字段 咱们从最简单的例子到难, 一步一步深入. 使用反射修改一个private修饰符的变量name 咱们回到主题, 先用反射来实现一个最基础的功能吧. 其中待获取的name如下: public ...

  3. idea使用记录

    1.在工具栏添加工具

  4. [Reinforcement Learning] Value Function Approximation

    为什么需要值函数近似? 之前我们提到过各种计算值函数的方法,比如对于 MDP 已知的问题可以使用 Bellman 期望方程求得值函数:对于 MDP 未知的情况,可以通过 MC 以及 TD 方法来获得值 ...

  5. 五十四、linux 编程——TCP 编程模型

    54.1 编程模型介绍 54.1.1 TCP 客户端服务器编程模型 客户端调用序列 调用 socket 函数创建套接字 调用 connect 连接服务器端 调用 I/O 函数(read/write) ...

  6. c#自定义Attribute获取接口实现

    一般的接口实现多态 定义接口 interface Ipeople { void say(); } 定义实现的类 public class man : Ipeople { public void say ...

  7. web前端效率提升之禁用缓存-遁地龙卷风

    1.使用场景 我用的是Chrome,Ctrl+F5并不是在任何时候都能清楚缓存,这样很影响效率,下面的方式可以在开发者工具打开的使用禁止浏览器缓存任何资源, 还是出现不及时更新的情况,就要考虑服务器是 ...

  8. [经验交流] 试用基于 influxdb+kapacitor 的监控系统

    2017年10月16日: 使用中发现kapacitor的ui过于简单,不能满足实际工作需要,现已切换到grafana --------- 两个月前试用了基于 elasticsearch + xpack ...

  9. JavaWeb之html

    html :Hyper Text Markup Language 超文本标记语言 超文本:比文本功能更加强大 标记语言:通过一组标签对内容进行描述的一门语言 html书写规则: 文件的后缀名:.htm ...

  10. Mock.js简易教程,脱离后端独立开发,实现增删改查功能(转)

    在我们的生产实际中,后端的接口往往是较晚才会出来,并且还要写接口文档,于是我们的前端的许多开发都要等到接口给我们才能进行,这样对于我们前端来说显得十分的被动,于是有没有可以制造假数据来模拟后端接口呢, ...