日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學無先后，達者為師

網站首頁 編程語言 正文

利用Python上傳日志并監控告警的方法詳解_python

作者：Ckend ? 更新時間： 2022-07-09 編程語言

在我們的日常生活工作中，經常會遇到需要上傳日志的場景，比如多臺機器運行同一個程序，并且需要記錄每臺機器程序產生的日志，根據相關關鍵詞告警，或者進行無數據告警，如果自己搭建這套系統需要耗費不少時間，因此如果能使用市面上現成的系統會很方便。

本文將教你如何通過阿里云日志服務搭建一套通過Python上傳日志、配置日志告警的監控服務。

1.準備

開始之前，你要確保Python和pip已經成功安裝在電腦上,如果沒有，可以訪問這篇文章：超詳細Python安裝指南?進行安裝。

(可選1)?如果你用Python的目的是數據分析，可以直接安裝Anaconda，它內置了Python和pip.

(可選2)?此外，推薦大家用VSCode編輯器，它有許多的優點

請選擇以下任一種方式輸入命令安裝依賴：

1. Windows 環境 打開 Cmd (開始-運行-CMD)。

2. MacOS 環境 打開 Terminal (command+空格輸入Terminal)。

3. 如果你用的是 VSCode編輯器 或 Pycharm，可以直接使用界面下方的Terminal.

pip install aliyun-log-python-sdk

接下來，登陸阿里云控制臺，進入日志應用，通過下面的步驟創建日志Project和Logstore:

點擊Python - SDK 寫入，再根據你的需要創建Project和Logstore：

隨后會進入這個頁面，直接點擊確定即可：

2.使用阿里云SDK上傳Python日志

為了使用阿里云SDK上傳日志，我們需要先獲取Access Token, 將鼠標移動到右上角頭像上點擊AccessKey管理：

然后點擊創建AccessKey，輸入相關驗證信息就能獲取 accessKeyId 和 accessKey：

編寫Python代碼，配置AccessKey和你在第一步驟創建的Project及logstore名稱：

from?aliyun.log?import?LogClient, PutLogsRequest, LogItem, GetLogsRequest, IndexConfig
import?time

# 配置AccessKey、服務入口、Project名稱、Logstore名稱等相關信息。
# 阿里云訪問密鑰AccessKey。更多信息，請參見訪問密鑰。
# 阿里云賬號AccessKey擁有所有API的訪問權限，風險很高。強烈建議您創建并使用RAM用戶進行API訪問或日常運維。
accessKeyId =?"你的AccessKey ID"
accessKey =?"你的AccessKey"
# 日志服務的域名。更多信息，請參見服務入口。此處以廣州為例，其它地域請根據實際情況填寫。
endpoint =?"cn-guangzhou.log.aliyuncs.com"

# 創建日志服務Client。
client = LogClient(endpoint, accessKeyId, accessKey)

# Project名稱。
project_name =?"aliyun-test-project"
#Logstore名稱
logstore_name =?"aliyun-test-logstore"
# 查詢語句。
query =?"*| select dev,id from "?+ logstore_name
# from_time和to_time表示查詢日志的時間范圍，Unix時間戳格式。
from_time = int(time.time()) -?3600
to_time = time.time() +?3600

然后我們就可以編寫Python代碼創建索引（日志的索引可以理解為MySQL中的數據庫）和插入日志了：

# 向Logstore寫入數據。
def?put_logs():
????print("ready to put logs for %s"?% logstore_name)
????log_group = []
????for?i?in?range(0,?100):
????????log_item = LogItem()
????????contents = [
????????????('dev',?'test_put'),
????????????('id', str(i))
????????]
????????log_item.set_contents(contents)
????????log_group.append(log_item)
????request = PutLogsRequest(project_name, logstore_name,?"",?"", log_group, compress=False)
????client.put_logs(request)
????print("put logs for %s success "?% logstore_name)
????time.sleep(5)

if?__name__ ==?'__main__':
????# 向Logstore寫入數據。
????put_logs()

運行程序后出現對應的提示，說明日志上傳成功：

python test.py
# ready to put logs for tradingview
# put logs for tradingview success

進入控制臺對應的Project，你會看到剛剛上傳的日志已經顯示在上面：

3.配置日志告警

日志告警的配置也非常簡單，輸入你的查詢條件，獲得輸出后點擊上方另存為告警：

在查詢統計中添加你需要監控并觸發告警的條件，比如我設置出現一次該日志的時候觸發告警：

效果如下，我這里文本配置得太簡單了，你也可以在標注中配置復雜一點的文本：

用起來挺方便的，如果你有類似的多機器日志監控服務，比如分布式模型訓練監控、交易服務監控等等，可以考慮使用這個日志服務。

原文鏈接：https://mp.weixin.qq.com/s/D8rmXDnICgLK48kNic29TQ

欄目分類
最近更新