今天小编就为大家分享一篇对python操作kafka写入json数据的简单demo,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下所示:

安装kafka支持库pip install kafka-python
from kafka import KafkaProducer
import json
 
'''
 生产者demo
 向test_lyl2主题中循环写入10条json数据
 注意事项:要写入json数据需加上value_serializer参数,如下代码
'''
producer = KafkaProducer(
       value_serializer=lambda v: json.dumps(v).encode('utf-8'),
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667']
       )
for i in range(10):
 data={
  "name":"李四",
  "age":23,
  "gender":"男",
  "id":i
 }
 producer.send('test_lyl2', data)
producer.close()
from kafka import KafkaConsumer
import json
 
'''
 消费者demo
 消费test_lyl2主题中的数据
 注意事项:如需以json格式读取数据需加上value_deserializer参数
'''
 
 
consumer = KafkaConsumer('test_lyl2',group_id="lyl-gid1",
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667'],
       auto_offset_reset='earliest',value_deserializer=json.loads
       )
for message in consumer:
 print(message.value)

以上这篇对python操作kafka写入json数据的简单demo分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
拉卡拉成A股首家第三方支付公司 首日市值达191亿

拉卡拉成A股首家第三

A股市场迎来第一家第三方支付公司。
10平米肉搏战:华为、荣耀、Ov、小米的线下江湖

10平米肉搏战:华为、荣

华为系线下版图不断扩大,深深触及Ov红线。各家都清楚:手
自动续费扣钱没商量 电商法之下消费"黑洞"为何仍在?

自动续费扣钱没商量

今年1月1日起正式实施的电子商务法规定,电子商务经营者
港媒:马云仍然希望阿里巴巴能够在香港上市

港媒:马云仍然希望阿里

阿里巴巴可能还在考虑香港上市。
TCL:彩电在北美销量首次第一,超越三星

TCL:彩电在北美销量首

作为一家来自广东的家电制造商,曾在全球化遭短暂折戟的
诺基亚一季度运营亏损5900万欧元 预估盈利2.8亿欧元

诺基亚一季度运营亏损

诺基亚一季度经调整后运营亏损5900万欧元,预估为盈利2.
最新文章
Python图像处理之图像的缩放、旋转与翻转实现方法示例

Python图像处理之图像

这篇文章主要介绍了Python图像处理之图像的缩放、旋转
详解Appium+Python之生成html测试报告

详解Appium+Python之

这篇文章主要介绍了详解Appium+Python之生成html测试
Python面向对象程序设计OOP入门教程【类,实例,继承,重载等】

Python面向对象程序设

这篇文章主要介绍了Python面向对象程序设计OOP入门教
在python中使用with打开多个文件的方法

在python中使用with打

今天小编就为大家分享一篇在python中使用with打开多个
对Python+opencv将图片生成视频的实例详解

对Python+opencv将图

今天小编就为大家分享一篇对Python+opencv将图片生成
python 同时运行多个程序的实例

python 同时运行多个

今天小编就为大家分享一篇python 同时运行多个程序的