日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學無先后,達者為師

網站首頁 編程語言 正文

Kafka3.0 消費者事務與數據積壓

作者:Alienware^ 更新時間: 2022-07-21 編程語言

文章目錄

  • 漏消費和重復消費
  • 消費者事務
  • 數據積壓(消費者如何提高吞吐量)

漏消費和重復消費

重復消費:已經消費了數據,但是 offset 沒提交。
漏消費:先提交 offset 后消費,有可能會造成數據的漏消費。

在這里插入圖片描述

消費者事務

如果想完成Consumer端的精準一次性消費,那么需要Kafka消費端將消費過程和提交offset過程做原子綁定。此時我們需要將Kafka的offset保存到支持事務的自定義介質(比 如MySQL)。

在這里插入圖片描述

數據積壓(消費者如何提高吞吐量)

1)如果是Kafka消費能力不足,則可以考慮增加Topic的分區數,并且同時提升消費組的消費者數量,消費者數 = 分區數。(兩者缺一不可)

在這里插入圖片描述

2)如果是下游的數據處理不及時:提高每批次拉取的數量。批次拉取數據過少(拉取數據/處理時間 < 生產速度),使處理的數據小于生產的數據,也會造成數據積壓。

在這里插入圖片描述

參數名稱 描述
fetch.max.bytes 默認 Default: 52428800(50 m)。消費者獲取服務器端一批消息最大的字節數。如果服務器端一批次的數據大于該值(50m)仍然可以拉取回來這批數據,因此,這不是一個絕對最大值。一批次的大小受 message.max.bytes (broker config)or max.message.bytes (topic config)影響。
max.poll.records 一次 poll 拉取數據返回消息的最大條數,默認是 500 條

原文鏈接:https://blog.csdn.net/weixin_45417821/article/details/125128896

欄目分類
最近更新