網站首頁 編程語言 正文
1. topic狀態詳解
① topic名稱
② topic分區總數
③ topic副本總數
④ topic配置,包含老化時間、老化大小、分段大小配置。topic分區是以分段文件大小去老化,一段文件的消息時間滿足老化時間或老化的大小,則該該段文件老化。
⑤ topic分區,分區以0開始
⑥ topic 分區的leader id,leader id從isr中選取,leader為none時表示,topic分區無leader,topic不可用。
⑦ topic分區的副本列表,數量等于副本總數
⑧ topic分區的isr 列表,isr為leader的候選列表,數量小于等于副本列表數量,isr代表副本已經完成從leader到其他副本間的數據同步,可以作為leader的候選列表。
2. 消費組狀態詳解
① 消費組名稱
② 訂閱的topic名稱
③ PARTITION 表示topic 分區id
④ CURRENT-OFFSET 代表消費者已消費該topic-分區的進度。消費者poll消息,并commit才會刷新該值。
⑤ LOG-END-OFFSET 代表該topic-分區消息的高水位。表示該topic-分區已有的消息數量。
⑥ LAG 消費擠壓。表示消費者對該topic-分區的消費積壓情況,還剩多少條未消費。LAG = LOG-END-OFFSET - CURRENT-OFFSET, LAG為0,表示該topic-分區無積壓。
⑦ CONSUMER-ID。消費者id,唯一id對應一個消費者,一般對應業務的一個消費線程。通常情況下,業務的消費線程不斷的循環poll消息,消費者id也一直在組里。
⑧ CONSUMER-ID 為 “-”。CONSUMER-ID 為 “-” 為異常場景,可理解為消費者已經離開消費組。一般情況下,為業務消費線程已不再消費,此時業務應該排查自己的消費線程是否不再拉取消息,甚至是否線程已跑飛。
3.生產的消息狀態詳解
? 業務經常會有消息有沒有生產成功的疑問,從業務日志上看,業務充分捕獲異常消息,生產消息未發生異常,消息一般生產成功。如還有疑問可以進行如下步驟進行確認。
3.1 查看topic-分區的文件信息
① log文件為testtopic1的分區2的數據文件。
? 業務可根據log文件的最后修改時間判斷是否生產成功,與業務生產消息時間一致,即生產成功。
② kafka topic數據的目錄
3.2 利用腳本解析數據文件,查看具體消息體內容。解析topic文件,查看解析內容。
① 解析消息命令
② offset: 具體某條生產成功的消息的offset
③ CreateTime:該條消息的落盤時間
④ compressType:壓縮算法
⑤ headerKeys:消息頭
⑥ payload :生產的消息內容。業務直接關心的消息內容
原文鏈接:https://blog.csdn.net/wht_0217/article/details/125718187
相關推薦
- 2022-08-01 Flask-Sqlalchemy的基本使用詳解_python
- 2022-10-24 C語言控制進程之進程等待詳解_C 語言
- 2024-01-15 maven常用打包命令
- 2022-11-22 Android?RecyclerView使用入門介紹_Android
- 2022-02-25 DevTools failed to load SourceMap 警告處理方法
- 2022-10-07 C++結構體中變長數組的使用問題分解刨析_C 語言
- 2023-01-10 Flutter圖片緩存管理ImageCache原理分析_Android
- 2022-01-17 EF關于報錯Self referencing loop detected with type的原因以
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支