国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

kafka-python批量發送數據的實例

2020-02-16 00:21:11
字體:
來源:轉載
供稿:網友

如下所示:

from kafka import KafkaClientfrom kafka.producer import SimpleProducer
def send_data_2_kafka(datas):  '''    向kafka解析隊列發送數據  '''  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)  producer = SimpleProducer(client, async=False)   curcount = len(datas)/PARTNUM  for i in range(0, PARTNUM):    start = i*curcount    if i != PARTNUM - 1:      end = (i+1)*curcount      curdata = datas[start:end]      producer.send_messages(TOPICNAME, *curdata)    else:      curdata = datas[start:]      producer.send_messages(TOPICNAME, *curdata)      producer.stop()  client.close()

其中PARTNUM為topic的partition的數目,這樣保證批量發送的數據均勻的落在kafka的partition中。

以上這篇kafka-python批量發送數據的實例就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持武林站長站。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 平武县| 南华县| 怀宁县| 赫章县| 耒阳市| 邻水| 曲周县| 南澳县| 利津县| 阿荣旗| 鄂伦春自治旗| 秀山| 太仓市| 上栗县| 韶山市| 金乡县| 文山县| 乐昌市| 泰州市| 佛学| 内江市| 正镶白旗| 龙游县| 宣恩县| 观塘区| 铁力市| 康定县| 湖南省| 花莲县| 田阳县| 榆社县| 朝阳县| 宁津县| 邵武市| 明溪县| 松溪县| 常德市| 卓资县| 华安县| 永嘉县| 乌兰察布市|