今天小编就为大家分享一篇对python操作kafka写入json数据的简单demo,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下所示:

安装kafka支持库pip install kafka-python
from kafka import KafkaProducer
import json
 
'''
 生产者demo
 向test_lyl2主题中循环写入10条json数据
 注意事项:要写入json数据需加上value_serializer参数,如下代码
'''
producer = KafkaProducer(
       value_serializer=lambda v: json.dumps(v).encode('utf-8'),
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667']
       )
for i in range(10):
 data={
  "name":"李四",
  "age":23,
  "gender":"男",
  "id":i
 }
 producer.send('test_lyl2', data)
producer.close()
from kafka import KafkaConsumer
import json
 
'''
 消费者demo
 消费test_lyl2主题中的数据
 注意事项:如需以json格式读取数据需加上value_deserializer参数
'''
 
 
consumer = KafkaConsumer('test_lyl2',group_id="lyl-gid1",
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667'],
       auto_offset_reset='earliest',value_deserializer=json.loads
       )
for message in consumer:
 print(message.value)

以上这篇对python操作kafka写入json数据的简单demo分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
快手上市在即 “短视频第一股”能否靠电商和直播再创辉煌?

快手上市在即 “短视

快手在1月18日通过了港交所的聆讯。作为目前为数不多
一体机价格下探 VR市场已到爆发前夜?

一体机价格下探 VR市

经历2015~2016年创业和投资热潮后,VR行业在2017~2018年
在线教育行业能否“烧”出一个未来

在线教育行业能否“烧

2020年,教育行业共融资233起,少于2019年的389起,但融资金
悦刻电子烟上市首日 股价暴涨145%市值达458亿美元

悦刻电子烟上市首日

悦刻股价暴涨145.92%,报29.54美元,市值达458亿美元。
LED专利战

LED专利战

在市场加速集中的过程中,研发能力逐渐成为头部公司提升
社交+带货 美版“闲鱼”Poshmark大热上市

社交+带货 美版“闲鱼

1月15日,素有美国版“闲鱼”之称的Poshmark Inc。在美
最新文章
在pycharm中为项目导入anacodna环境的操作方法

在pycharm中为项目导

这篇文章主要介绍了在pycharm中为项目导入anacodna环
tensorflow的ckpt及pb模型持久化方式及转化详解

tensorflow的ckpt及pb

今天小编就为大家分享一篇tensorflow的ckpt及pb模型持
PyTorch笔记之scatter()函数的使用

PyTorch笔记之scatter

这篇文章主要介绍了PyTorch笔记之scatter()函数的使用
python3实现网页版raspberry pi(树莓派)小车控制

python3实现网页版ras

这篇文章主要为大家详细介绍了python3实现网页版raspb
完美解决pycharm导入自己写的py文件爆红问题

完美解决pycharm导入

今天小编就为大家分享一篇完美解决pycharm导入自己写
pycharm内无法import已安装的模块问题解决

pycharm内无法import

今天小编就为大家分享一篇pycharm内无法import已安装