網站首頁 編程語言 正文
下面這個截圖,就是使用 schedule 定時執行 Notebook 的例子
import schedule
import time
import papermill as pmdef job():
pm.execute_notebook(
'input.ipynb',
'logs/oo.ipynb'
)
schedule.every(10).seconds.do(job)
while True:
schedule.run_pending()
time.sleep(1)
所需要的包就這么幾個(ipywidgets 是為了顯示進度條,就不多做介紹了),
pip install schedule papermill ipywidgets
下面分別介紹下各個包的用途。
schedule
從官方提供的例子可以看出,只要會基本的英語就能明白如何方便定時了
import schedule
import time
# 要執行的任務
def job():
print("I'm working...")
#每隔10s執行job
schedule.every(10).seconds.do(job)
#每隔10分鐘執行job
schedule.every(10).minutes.do(job)
#每小時執行job
schedule.every().hour.do(job)
#在每天10:30分執行job
schedule.every().day.at("10:30").do(job)
#每5到10分鐘(隨機數)執行job
schedule.every(5).to(10).minutes.do(job)
#每星期一執行job
schedule.every().monday.do(job)
#每星期三13:15執行job
schedule.every().wednesday.at("13:15").do(job)
#每天歐洲阿姆斯特丹時區的12:42執行job
schedule.every().day.at("12:42", "Europe/Amsterdam").do(job)
#在每分鐘的第17秒開始執行job
schedule.every().minute.at(":17").do(job)
def job_with_argument(name):
print(f"I am {name}")
#每10秒鐘執行一次job_with_argument(帶參數)
schedule.every(10).seconds.do(job_with_argument, name="Peter")
while True:
schedule.run_pending()
time.sleep(1)
更多應用可以看官方文檔[1]。
如果你只是在 Python 代碼里定時一個或者多個工作,你并不需要 papermill,使用 papermill,是為了可以方便地定時執行你的 Notebook。
papermill
papermill[2]是一個用于參數化、執行和分析 Jupyter Notebooks 的工具。
也許您有一份財務報告,您希望在一個月的第一天或最后一天或一年的開始或結束時使用不同的值運行,使用參數可以使這項任務更容易。你想運行一個 Notebook 并根據它的結果,選擇一個特定的 Notebook 來運行嗎?您現在可以以編程方式 執行工作流程,而無需手動從筆記本復制和粘貼到筆記本。
我們即可以像上面的例子那樣以 API 的方式使用,也可以以命令行的方式來運行,例如, 運行本地input.ipynb,參數分別為alpha和l1_ratio把結果保存到 AWS 的 s3 上,
papermill local/input.ipynb s3://bkt/output.ipynb -p alpha 0.6 -p l1_ratio 0.1
使用下面這段代碼,我們可以把 notebook 中 print 輸出轉移輸出到日志里,
from datetime import datetime
from datetime import timedelta
import logging, sys,re
#日志的名字以時間命名,方便查找
_date_start = (datetime.now() +timedelta(hours=0)).strftime('%Y-%m-%d %H:%M:%S')
xxx = re.sub(r'[-\ \:]','',_date_start)
filename=f'logs/{xxx}.log'
#日志的基本設置
logging.basicConfig(filename=filename, level=logging.DEBUG
, format="%(asctime)s - %(name)s - %(levelname)s - %(message)s")
logger = logging.getLogger()
# 將print轉移輸出到日志中
sys.stderr.write = logger.error
sys.stdout.write = logger.info
參考資料
[1]官方文檔: https://schedule.readthedocs.io/
[2]papermill: https://github.com/nteract/papermill
原文鏈接:https://blog.csdn.net/qq_34160248/article/details/127480781
相關推薦
- 2024-03-13 Linux 安裝RabbitMQ
- 2022-05-21 云原生技術kubernetes之volumes容器的使用_云其它
- 2023-07-14 css 實現塊標簽上下左右居中
- 2023-02-12 Docker創建MongoDB容器并添加root密碼驗證與更多用戶詳細步驟_docker
- 2022-09-15 Python移動測試開發subprocess模塊項目實戰_python
- 2023-05-29 docker部署xxl-job-admin出現數據庫拒絕問題及解決方法_docker
- 2022-06-07 Docker的四種網絡模式_docker
- 2022-07-03 DatePicker動態設置picker-options 中的disabledDate屬性操作;
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支