今天小编就为大家分享一篇对python操作kafka写入json数据的简单demo,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下所示:

安装kafka支持库pip install kafka-python
from kafka import KafkaProducer
import json
 
'''
 生产者demo
 向test_lyl2主题中循环写入10条json数据
 注意事项:要写入json数据需加上value_serializer参数,如下代码
'''
producer = KafkaProducer(
       value_serializer=lambda v: json.dumps(v).encode('utf-8'),
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667']
       )
for i in range(10):
 data={
  "name":"李四",
  "age":23,
  "gender":"男",
  "id":i
 }
 producer.send('test_lyl2', data)
producer.close()
from kafka import KafkaConsumer
import json
 
'''
 消费者demo
 消费test_lyl2主题中的数据
 注意事项:如需以json格式读取数据需加上value_deserializer参数
'''
 
 
consumer = KafkaConsumer('test_lyl2',group_id="lyl-gid1",
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667'],
       auto_offset_reset='earliest',value_deserializer=json.loads
       )
for message in consumer:
 print(message.value)

以上这篇对python操作kafka写入json数据的简单demo分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
收入一度九成来自苹果产业链 华兴源创胜算几何

收入一度九成来自苹果

华兴源创对苹果的依赖度其实还是比较高的。2016至2018
无App有百万社群 这样的电商能高速增长十年吗?

无App有百万社群 这样

中国电商发达程度超过其他国度,但细分数据说明市场分化
AIOT时代  跨国企业为工业互联“扩列”中国朋友圈

AIOT时代 跨国企业为

万物互联,模糊了传统行业和互联网行业的边界。AI(人工智
2019年美国最佳CEO榜单出炉:库克和小扎连续7年登榜

2019年美国最佳CEO榜

今年有27位科技公司的首席执行官登场,其中库克从第96位
两家中国自动驾驶公司获加州许可:小马智行和AutoX

两家中国自动驾驶公司

小马智行(Pony.ai)和AutoX(Auto.ai)在同一天获得由美国加
H连锁酒店夏青宁:四个月签约近千家酒店 超5万间客房

H连锁酒店夏青宁:四个

H连锁酒店创始人兼CEO夏青宁今日在朋友圈分享了一组最
最新文章
Python图像处理之图像的缩放、旋转与翻转实现方法示例

Python图像处理之图像

这篇文章主要介绍了Python图像处理之图像的缩放、旋转
详解Appium+Python之生成html测试报告

详解Appium+Python之

这篇文章主要介绍了详解Appium+Python之生成html测试
Python面向对象程序设计OOP入门教程【类,实例,继承,重载等】

Python面向对象程序设

这篇文章主要介绍了Python面向对象程序设计OOP入门教
在python中使用with打开多个文件的方法

在python中使用with打

今天小编就为大家分享一篇在python中使用with打开多个
对Python+opencv将图片生成视频的实例详解

对Python+opencv将图

今天小编就为大家分享一篇对Python+opencv将图片生成
python 同时运行多个程序的实例

python 同时运行多个

今天小编就为大家分享一篇python 同时运行多个程序的