網站首頁 編程語言 正文
kafka go庫
kafka go客戶端官方目前沒有提供,但在github有2個非常流行的庫
星星較多,網上案例也多 https://github.com/Shopify/sarama
confluent官網提供的庫 https://github.com/confluentinc/confluent-kafka-go
這里使用sarama,因為星星多,案例多,方便快速上手
注意
如果kafka版本在2.2以下,需要在go.mod里面將sarama版本改為github.com/Shopify/sarama v1.24.1
這是因為sarama只提供最新2個版本+2個月的兼容保證,所以使用低版本kafka是需要避坑
使用非集群集群生產者時,需要自行去創建topic,如果使用集群生產者,集群會自動創建
例子
package main import ( "fmt" "github.com/Shopify/sarama" cluster "github.com/bsm/sarama-cluster" "time" ) var ( Consumer *cluster.Consumer producer sarama.SyncProducer brokers = []string{"ip1:9092","ip2:9092","ip3:9092"} topic = "testGo" groupId = "testGo_test1" ) func initProducer() { var err error config := sarama.NewConfig() config.Producer.RequiredAcks = sarama.WaitForLocal config.Producer.Retry.Max = 3 config.Producer.Return.Successes = true brokers := brokers producer, err = sarama.NewSyncProducer(brokers,config) if err != nil { fmt.Printf("生產者初始化失敗 -> %v \n", err) panic(err) } fmt.Println("生產者初始化成功。") } func initConsumer() { var err error config := cluster.NewConfig() config.Consumer.Group.Rebalance.Strategy = sarama.BalanceStrategyRange config.Consumer.Offsets.Initial = sarama.OffsetNewest Consumer, err = cluster.NewConsumer(brokers,groupId,[]string{topic},config) if err != nil { fmt.Printf("消費者初始化失敗 -> %v \n", err) panic(err.Error()) } if Consumer == nil { panic(fmt.Sprintf("消費者為空. kafka info -> {brokers:%v, topic: %v, group: %v}", brokers, topic, groupId)) } fmt.Printf("消費者初始化成功, consumer -> %v, topic -> %v, ", Consumer, topic) } func main() { initProducer() initConsumer() //生產消息 for i := 1;i < 100; i ++ { pid, offset, err := producer.SendMessage(&sarama.ProducerMessage{ Topic: topic, Key: sarama.StringEncoder(i), Value: sarama.ByteEncoder("this is test message."), }) if err != nil { fmt.Println("發送消息失敗, err:", err) return } fmt.Printf("offset: %v\n", offset) } time.Sleep(2 * time.Second) //消費消息 for { select { case msg, ok := <-Consumer.Messages(): if ok { fmt.Printf("kafka msg: %s \n", msg.Value) } } } }
運行結果如下
該demo流程如下
- 引入單機sarama庫和集群sarama庫
- 定義連接變量
- 使用單sarama庫實例化一個生產者
- 使用集群sarama庫實例化一個消費者
- 循環100次發送100條消息
- 使用sarama自帶的生產消息構造器設置消息內容
- 使用for讓進程一直監聽來自kafka的消息
原文鏈接:https://juejin.cn/post/7033565443084255263
相關推薦
- 2022-09-12 Python?argparse庫的基本使用步驟_python
- 2022-04-07 React中代碼分割的4種實現方式_React
- 2022-07-22 C/C++冒泡排序
- 2022-08-31 python中函數的參數詳解_python
- 2022-02-13 C語言-操作符(詳細)和表達式求值
- 2022-04-15 C語言各種操作符透徹理解下篇_C 語言
- 2022-06-28 python神經網絡Keras構建CNN網絡訓練_python
- 2022-12-08 Python中的pandas庫簡介及其使用教程_python
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支