網站首頁 編程語言 正文
前言;
python由于它動態解釋性語言的特性,跑起代碼來相比java、c++要慢很多,尤其在做科學計算的時候,十億百億級別的運算,讓python的這種劣勢更加凸顯。
辦法永遠比困難多,numba就是解決python慢的一大利器,可以讓python的運行速度提升上百倍!
一、什么是numba?
numba是一款可以將python函數編譯為機器代碼的JIT編譯器,經過numba編譯的python代碼(僅限數組運算),其運行速度可以接近C或FORTRAN語言。
python之所以慢,是因為它是靠CPython編譯的,numba的作用是給python換一種編譯器。
python、c、numba三種編譯器速度對比:
使用numba非常簡單,只需要將numba裝飾器應用到python函數中,無需改動原本的python代碼,numba會自動完成剩余的工作。
import numpy as np import numba from numba import jit @jit(nopython=True) # jit,numba裝飾器中的一種 def go_fast(a): # 首次調用時,函數被編譯為機器代碼 ? ? trace = 0 ? ? # 假設輸入變量是numpy數組 ? ? for i in range(a.shape[0]): ? # Numba 擅長處理循環 ? ? ? ? trace += np.tanh(a[i, i])? ? ? return a + trace
以上代碼是一個python函數,用以計算numpy
數組各個數值的雙曲正切值,我們使用了numba裝飾器,它將這個python函數編譯為等效的機器代碼,可以大大減少運行時間。
二、numba適合科學計算
numpy是為面向numpy數組的計算任務而設計的。
在面向數組的計算任務中,數據并行性對于像GPU這樣的加速器是很自然的。Numba了解NumPy數組類型,并使用它們生成高效的編譯代碼,用于在GPU或多核CPU上執行。特殊裝飾器還可以創建函數,像numpy函數那樣在numpy數組上廣播。
什么情況下使用numba呢?
- 使用numpy數組做大量科學計算時
- 使用for循環時
三、學習使用numba
第一步:導入numpy、numba及其編譯器
import numpy as np import numba? from numba import jit
第二步:傳入numba裝飾器jit,編寫函數
# 傳入jit,numba裝飾器中的一種 @jit(nopython=True)? def go_fast(a): # 首次調用時,函數被編譯為機器代碼 ? ? trace = 0 ? ? # 假設輸入變量是numpy數組 ? ? for i in range(a.shape[0]): ? # Numba 擅長處理循環 ? ? ? ? trace += np.tanh(a[i, i]) ?# numba喜歡numpy函數 ? ? return a + trace # numba喜歡numpy廣播
nopython = True選項要求完全編譯該函數(以便完全刪除Python解釋器調用),否則會引發異常。這些異常通常表示函數中需要修改的位置,以實現優于Python的性能。強烈建議您始終使用nopython = True。
第三步:給函數傳遞實參
# 因為函數要求傳入的參數是nunpy數組 x = np.arange(100).reshape(10, 10)? # 執行函數 go_fast(x)
第四步:經numba加速的函數執行時間
% timeit go_fast(x)
輸出:
3.63 μs ± 156 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
第五步:不經numba加速的函數執行時間
def go_fast(a): # 首次調用時,函數被編譯為機器代碼 ? ? trace = 0 ? ? # 假設輸入變量是numpy數組 ? ? for i in range(a.shape[0]): ? # Numba 擅長處理循環 ? ? ? ? trace += np.tanh(a[i, i]) ?# numba喜歡numpy函數 ? ? return a + trace # numba喜歡numpy廣播 x = np.arange(100).reshape(10, 10)? %timeit go_fast(x)
輸出:
136 μs ± 1.09 μs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
結論:
在numba加速下,代碼執行時間為3.63微秒/循環。不經過numba加速,代碼執行時間為136微秒/循環,兩者相比,前者快了40倍。
四、numba讓python飛起來
前面已經對比了numba
使用前后,python代碼速度提升了40倍,但這還不是最快的。
這次,我們不使用numpy數組,僅用for循環,看看nunba對for循環到底有多鐘愛!
# 不使用numba的情況 def t(): ? ? x = 0 ? ? for i in np.arange(5000): ? ? ? ? x += i ? ? return x %timeit(t())
輸出:
408 μs ± 9.73 μs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
# 使用numba的情況 @jit(nopython=True)? def t(): ? ? x = 0 ? ? for i in np.arange(5000): ? ? ? ? x += i ? ? return x %timeit(t())?
輸出:
1.57 μs ± 53.8 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
使用numba前后分別是408微秒/循環、1.57微秒/循環,速度整整提升了200多倍!
結語:
numba對python代碼運行速度有巨大的提升,這極大的促進了大數據時代的python數據分析能力,對數據科學工作者來說,這真是一個lucky tool !
當然numba不會對numpy和for循環以外的python代碼有很大幫助,你不要指望numba可以幫你加快從數據庫取數,這點它真的做不到哈。
原文鏈接:https://zhuanlan.zhihu.com/p/78882641
相關推薦
- 2022-07-06 C語言超詳細講解字符串函數和內存函數_C 語言
- 2022-03-29 PostgreSQL13基于流復制搭建后備服務器的方法_PostgreSQL
- 2022-07-27 Python中的數據可視化matplotlib與繪圖庫模塊_python
- 2022-04-16 C語言自定義類型全解析_C 語言
- 2022-04-08 swift表格控件使用方法詳解(UITableview)_Swift
- 2022-08-23 Python利用VideoCapture讀取視頻或攝像頭并進行保存_python
- 2023-01-14 解決ubuntu安裝軟件時,status-code=409報錯的問題_Linux
- 2023-12-20 Nacos2.2.3版本運行startup.cmd出現閃退,無錯誤信息解決方法
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支