網站首頁 編程語言 正文
文章目錄
- 漏消費和重復消費
- 消費者事務
- 數據積壓(消費者如何提高吞吐量)
漏消費和重復消費
重復消費:已經消費了數據,但是 offset 沒提交。
漏消費:先提交 offset 后消費,有可能會造成數據的漏消費。
消費者事務
如果想完成Consumer端的精準一次性消費,那么需要Kafka消費端將消費過程和提交offset過程做原子綁定。此時我們需要將Kafka的offset保存到支持事務的自定義介質(比 如MySQL)。
數據積壓(消費者如何提高吞吐量)
1)如果是Kafka消費能力不足,則可以考慮增加Topic的分區數,并且同時提升消費組的消費者數量,消費者數 = 分區數。(兩者缺一不可)
2)如果是下游的數據處理不及時:提高每批次拉取的數量。批次拉取數據過少(拉取數據/處理時間 < 生產速度),使處理的數據小于生產的數據,也會造成數據積壓。
參數名稱 | 描述 |
---|---|
fetch.max.bytes | 默認 Default: 52428800(50 m)。消費者獲取服務器端一批消息最大的字節數。如果服務器端一批次的數據大于該值(50m)仍然可以拉取回來這批數據,因此,這不是一個絕對最大值。一批次的大小受 message.max.bytes (broker config)or max.message.bytes (topic config)影響。 |
max.poll.records | 一次 poll 拉取數據返回消息的最大條數,默認是 500 條 |
原文鏈接:https://blog.csdn.net/weixin_45417821/article/details/125128896
相關推薦
- 2022-09-21 Golang運行報錯找不到包:package?xxx?is?not?in?GOROOT的解決過程_G
- 2022-06-30 C++?select模型簡單聊天室的實現示例_C 語言
- 2022-03-30 C語言中static和auto用法詳解_C 語言
- 2023-03-28 Python代碼庫之Tuple如何append添加元素問題_python
- 2022-10-12 Go?Excelize?API源碼解析GetSheetFormatPr使用示例_Golang
- 2022-03-07 android?studio?項目?:UI設計高精度實現簡單計算器_Android
- 2022-07-26 css媒體查詢
- 2023-01-27 goroutine?泄漏和避免泄漏實戰示例_Golang
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支