網(wǎng)站首頁(yè) 編程語(yǔ)言 正文
前言
kylin是一個(gè)開源的OLAP分析引擎,具有亞秒級(jí)查詢大表的能力
通過(guò)kylin提供的cube預(yù)構(gòu)建功能,省去了不斷寫sql查詢hive的麻煩,強(qiáng)化了任務(wù)統(tǒng)一管理和結(jié)果快速呈現(xiàn)的效果
kylin官網(wǎng): https://kylin.apache.org/cn/
任務(wù)
當(dāng)kylin集群比較大,和有多個(gè)kylin集群時(shí),說(shuō)明cube也越來(lái)越多,幾百上千個(gè)cube便是常用便飯了
這些任務(wù)的運(yùn)行就成了難題,人工去界面上點(diǎn)點(diǎn)點(diǎn)完全不實(shí)現(xiàn)了。此時(shí)就需要做成自動(dòng)化周期性的任務(wù)
因?yàn)楣俜經(jīng)]有提供Go的客戶端,只提供了http的api請(qǐng)求。下列例子使用Go中的http包來(lái)實(shí)現(xiàn)自動(dòng)化任務(wù)
自動(dòng)化實(shí)現(xiàn)
初始化
使用第三方http包(HttpRequest)來(lái)做http相關(guān)的請(qǐng)求,該包支持GET,POST,DELETE,PUT等四種請(qǐng)求方法,正好完全滿足請(qǐng)求kylin的要求
var ( url = "http://ip:7070/kylin/" username = "ADMIN" password = "Password" req *HttpRequest.Request ) func init() { req = HttpRequest.NewRequest().Debug(false).SetTimeout(time.Second*5). SetHeaders(map[string]string{ "Content-Type": "application/json;charset=utf-8", }).SetBasicAuth(username, password) }
cube提交build
該方法接收三個(gè)參數(shù),需要構(gòu)建的cube名稱,以及開始時(shí)間戳和結(jié)束時(shí)間戳
調(diào)用示例:
cubeBuild("dwd_jd_order","1637193600000","1637280000000")
時(shí)間戳獲取方法,在第6小節(jié)
func cubeBuild(cube,startTime,endTime string) { m := map[string]string{ "startTime": startTime, "endTime": endTime, "buildType": "BUILD", } resp, err := req.JSON().Put(url+"api/cubes/"+cube+"/build", m) if err != nil { fmt.Println("cube構(gòu)建請(qǐng)求錯(cuò)誤: ", err) } if resp.StatusCode() != 200 { fmt.Println("cube構(gòu)建狀態(tài)碼不符期望: ",resp.StatusCode()) } }
cube運(yùn)行結(jié)果檢查
檢查cube運(yùn)行結(jié)果,是成功還是失敗了,還提供一個(gè)重新構(gòu)建開關(guān),如果cube失敗,調(diào)用重構(gòu)
kylin job檢查接口屬性說(shuō)明
jobSearchMode
搜索模式(檢查點(diǎn)和cubeing兩種) ALL所有模式的數(shù)據(jù)
limit
限制返回條數(shù)
offset
位置(0是從第一條開始)
status
狀態(tài)類型(8是錯(cuò)誤類型,0是new,1是pending,2是running,32是stopped,4是finished,16是discarded)
timeFilter
時(shí)間范圍過(guò)濾(1是一天,2是一周,3是一月,4是一年,5是全部)
調(diào)用示例: jobCheck(false)
為什么要在檢查里面調(diào)重構(gòu)方法,是因?yàn)橹貥?gòu)cube需要拿到uuid,但uuid只能在這個(gè)接口中獲取到,且uuid不是固定的,需要運(yùn)cube運(yùn)行后才可得到
func jobCheck(resumeSwitch bool) { resp, err := req.Get(url+"api/jobs?jobSearchMode=ALL&limit=15&offset=0&status=8&timeFilter=1") if err != nil { fmt.Println("job檢查請(qǐng)求錯(cuò)誤: ", err) } if resp.StatusCode() != 200 { fmt.Println("job檢查狀態(tài)碼不符期望: ",resp.StatusCode()) } body, _ := resp.Body() var i interface{} json.Unmarshal(body,&i) uuid, err := jmespath.Search("[0].uuid", i) if err != nil { fmt.Println("search err: ",err) } fmt.Println(uuid) if resumeSwitch { cubeResume("uuid") } }
重構(gòu)cube
重構(gòu)cube在job失敗后,自動(dòng)構(gòu)建非常有用,避免人工頻繁介入到這些工作中,是自動(dòng)化中關(guān)鍵一步
調(diào)用示例: cubeResume("uuid")
func cubeResume(uuid string) { resp, err := req.Put(url+"api/jobs/"+uuid+"/resume") if err != nil { fmt.Println("cube重新build請(qǐng)求錯(cuò)誤: ", err) } if resp.StatusCode() != 200 { fmt.Println("cube重新build狀態(tài)碼不符期望: ",resp.StatusCode()) } }
歷史job清理
kylin在運(yùn)行一段時(shí)間后,就會(huì)產(chǎn)生很多冗余,且時(shí)需要周期性的清理這些歷史job
調(diào)用示例: jobHistoryDelete("uuid")
需要先檢查job,獲取uuid,然后再刪除歷史job
func jobHistoryDelete(uuid string) { resp, err := req.Delete(url+"api/jobs/"+uuid+"/drop") if err != nil { fmt.Println("歷史job清理請(qǐng)求錯(cuò)誤: ", err) } if resp.StatusCode() != 200 { fmt.Println("歷史job清理狀態(tài)碼不符期望: ",resp.StatusCode()) } }
時(shí)間戳
kylin要求的時(shí)間毫秒,這里使用納秒時(shí)間戳方法除一下就得到了毫秒
func timestamp() { year := time.Now().Year() month := time.Now().Month() day := time.Now().Day() //今天的時(shí)間戳 today := time.Date(year, month, day, 8, 0, 0, 0, time.Local).UnixNano() / 1e6 fmt.Println(today) //昨天的時(shí)間戳 iDay := time.Now().AddDate(0, 0, -1).Day() yesterday := time.Date(year, month, iDay, 8, 0, 0, 0, time.Local).UnixNano() / 1e6 fmt.Println(yesterday) }
小結(jié)
以上方法配合定時(shí)任務(wù),就可以實(shí)現(xiàn)kylin自動(dòng)化運(yùn)維工作了,當(dāng)然kylin官網(wǎng)還提供了更多接口,有需求的同學(xué)可以看看
傳送門: https://kylin.apache.org/cn/docs31/howto/howto_use_restapi.html
原文鏈接:https://juejin.cn/post/7035129079816781861
相關(guān)推薦
- 2022-04-03 深入了解Python如何操作MongoDB_python
- 2022-12-24 Kubernetes?scheduler啟動(dòng)監(jiān)控資源變化解析_云和虛擬化
- 2022-04-10 微信小程序canvas drawImage 圖片展示的方法
- 2022-04-09 C++實(shí)現(xiàn)加減乘除計(jì)算器_C 語(yǔ)言
- 2022-06-02 C語(yǔ)言?隊(duì)列的實(shí)現(xiàn)全解析_C 語(yǔ)言
- 2023-04-24 一文帶你深入了解C++中音頻PCM數(shù)據(jù)_C 語(yǔ)言
- 2022-12-10 OpenMP?共享內(nèi)存的并行編程框架入門詳解_C 語(yǔ)言
- 2023-10-15 MVCC和BufferPool緩存機(jī)制
- 最近更新
-
- window11 系統(tǒng)安裝 yarn
- 超詳細(xì)win安裝深度學(xué)習(xí)環(huán)境2025年最新版(
- Linux 中運(yùn)行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲(chǔ)小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎(chǔ)操作-- 運(yùn)算符,流程控制 Flo
- 1. Int 和Integer 的區(qū)別,Jav
- spring @retryable不生效的一種
- Spring Security之認(rèn)證信息的處理
- Spring Security之認(rèn)證過(guò)濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權(quán)
- redisson分布式鎖中waittime的設(shè)
- maven:解決release錯(cuò)誤:Artif
- restTemplate使用總結(jié)
- Spring Security之安全異常處理
- MybatisPlus優(yōu)雅實(shí)現(xiàn)加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務(wù)發(fā)現(xiàn)-Nac
- Spring Security之基于HttpR
- Redis 底層數(shù)據(jù)結(jié)構(gòu)-簡(jiǎn)單動(dòng)態(tài)字符串(SD
- arthas操作spring被代理目標(biāo)對(duì)象命令
- Spring中的單例模式應(yīng)用詳解
- 聊聊消息隊(duì)列,發(fā)送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠(yuǎn)程分支