今天小编就为大家分享一篇kafka-python批量发送数据的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下所示:

from kafka import KafkaClient
from kafka.producer import SimpleProducer
def send_data_2_kafka(datas):
  '''
    向kafka解析队列发送数据
  '''
  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
  producer = SimpleProducer(client, async=False)
 
  curcount = len(datas)/PARTNUM
  for i in range(0, PARTNUM):
    start = i*curcount
    if i != PARTNUM - 1:
      end = (i+1)*curcount
      curdata = datas[start:end]
      producer.send_messages(TOPICNAME, *curdata)
    else:
      curdata = datas[start:]
      producer.send_messages(TOPICNAME, *curdata)
    
  producer.stop()
  client.close()

其中PARTNUM为topic的partition的数目,这样保证批量发送的数据均匀的落在kafka的partition中。

以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
奇迹降临?一片安眠药,唤醒了“沉睡”8年的病人

奇迹降临?一片安眠药,唤

造就短暂“奇迹”的一片安眠药。
机构:iPhone 12有望下半年成为全球最畅销5G手机

机构:iPhone 12有望下

按收益来说,三星Galaxy S20 + 5G是2020年上半年全球最
晚期肝癌突破!T+A免疫联合治疗方案,在中国正式获批

晚期肝癌突破!T+A免疫

PD-L1抑制剂阿替利珠单抗,与抗血管生成药物贝伐珠单抗
华为王成录:手机HarmonyOS开发者Beta版将如约而至

华为王成录:手机Harmon

华为王成录表示,手机HarmonyOS开发者Beta版将如约而至
卫星互联网加速6G时代到来 专家表示2025年有望商用

卫星互联网加速6G时代

业界专家认为,下一代6G通讯将在5G基础上集成卫星网络的
为何食物过敏变得越来越普遍?

为何食物过敏变得越来

食物过敏的人数的确在不断增加。但问题是,这种现象要作
最新文章
在pycharm中为项目导入anacodna环境的操作方法

在pycharm中为项目导

这篇文章主要介绍了在pycharm中为项目导入anacodna环
tensorflow的ckpt及pb模型持久化方式及转化详解

tensorflow的ckpt及pb

今天小编就为大家分享一篇tensorflow的ckpt及pb模型持
PyTorch笔记之scatter()函数的使用

PyTorch笔记之scatter

这篇文章主要介绍了PyTorch笔记之scatter()函数的使用
python3实现网页版raspberry pi(树莓派)小车控制

python3实现网页版ras

这篇文章主要为大家详细介绍了python3实现网页版raspb
完美解决pycharm导入自己写的py文件爆红问题

完美解决pycharm导入

今天小编就为大家分享一篇完美解决pycharm导入自己写
pycharm内无法import已安装的模块问题解决

pycharm内无法import

今天小编就为大家分享一篇pycharm内无法import已安装