前言;

python由于它動(dòng)態(tài)解釋性語言的特性，跑起代碼來相比java、c++要慢很多，尤其在做科學(xué)計(jì)算的時(shí)候，十億百億級(jí)別的運(yùn)算，讓python的這種劣勢更加凸顯。

辦法永遠(yuǎn)比困難多，numba就是解決python慢的一大利器，可以讓python的運(yùn)行速度提升上百倍！

一、什么是numba？

numba是一款可以將python函數(shù)編譯為機(jī)器代碼的JIT編譯器，經(jīng)過numba編譯的python代碼（僅限數(shù)組運(yùn)算），其運(yùn)行速度可以接近C或FORTRAN語言。

python之所以慢，是因?yàn)樗强緾Python編譯的，numba的作用是給python換一種編譯器。

python、c、numba三種編譯器速度對(duì)比：

使用numba非常簡單，只需要將numba裝飾器應(yīng)用到python函數(shù)中，無需改動(dòng)原本的python代碼，numba會(huì)自動(dòng)完成剩余的工作。

import numpy as np
import numba
from numba import jit

@jit(nopython=True) # jit，numba裝飾器中的一種
def go_fast(a): # 首次調(diào)用時(shí)，函數(shù)被編譯為機(jī)器代碼
? ? trace = 0
? ? # 假設(shè)輸入變量是numpy數(shù)組
? ? for i in range(a.shape[0]): ? # Numba 擅長處理循環(huán)
? ? ? ? trace += np.tanh(a[i, i])?
? ? return a + trace

以上代碼是一個(gè)python函數(shù)，用以計(jì)算numpy數(shù)組各個(gè)數(shù)值的雙曲正切值，我們使用了numba裝飾器，它將這個(gè)python函數(shù)編譯為等效的機(jī)器代碼，可以大大減少運(yùn)行時(shí)間。

二、numba適合科學(xué)計(jì)算

numpy是為面向numpy數(shù)組的計(jì)算任務(wù)而設(shè)計(jì)的。

在面向數(shù)組的計(jì)算任務(wù)中，數(shù)據(jù)并行性對(duì)于像GPU這樣的加速器是很自然的。Numba了解NumPy數(shù)組類型，并使用它們生成高效的編譯代碼，用于在GPU或多核CPU上執(zhí)行。特殊裝飾器還可以創(chuàng)建函數(shù)，像numpy函數(shù)那樣在numpy數(shù)組上廣播。

什么情況下使用numba呢？

• 使用numpy數(shù)組做大量科學(xué)計(jì)算時(shí)
• 使用for循環(huán)時(shí)

三、學(xué)習(xí)使用numba

第一步：導(dǎo)入numpy、numba及其編譯器

import numpy as np
import numba?
from numba import jit

第二步：傳入numba裝飾器jit，編寫函數(shù)

# 傳入jit，numba裝飾器中的一種
@jit(nopython=True)?
def go_fast(a): # 首次調(diào)用時(shí)，函數(shù)被編譯為機(jī)器代碼
? ? trace = 0
? ? # 假設(shè)輸入變量是numpy數(shù)組
? ? for i in range(a.shape[0]): ? # Numba 擅長處理循環(huán)
? ? ? ? trace += np.tanh(a[i, i]) ?# numba喜歡numpy函數(shù)
? ? return a + trace # numba喜歡numpy廣播

nopython = True選項(xiàng)要求完全編譯該函數(shù)（以便完全刪除Python解釋器調(diào)用），否則會(huì)引發(fā)異常。這些異常通常表示函數(shù)中需要修改的位置，以實(shí)現(xiàn)優(yōu)于Python的性能。強(qiáng)烈建議您始終使用nopython = True。

第三步：給函數(shù)傳遞實(shí)參

# 因?yàn)楹瘮?shù)要求傳入的參數(shù)是nunpy數(shù)組
x = np.arange(100).reshape(10, 10)?
# 執(zhí)行函數(shù)
go_fast(x)

第四步：經(jīng)numba加速的函數(shù)執(zhí)行時(shí)間

% timeit go_fast(x)

輸出：

3.63 μs ± 156 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

第五步：不經(jīng)numba加速的函數(shù)執(zhí)行時(shí)間

def go_fast(a): # 首次調(diào)用時(shí)，函數(shù)被編譯為機(jī)器代碼
? ? trace = 0
? ? # 假設(shè)輸入變量是numpy數(shù)組
? ? for i in range(a.shape[0]): ? # Numba 擅長處理循環(huán)
? ? ? ? trace += np.tanh(a[i, i]) ?# numba喜歡numpy函數(shù)
? ? return a + trace # numba喜歡numpy廣播

x = np.arange(100).reshape(10, 10)?
%timeit go_fast(x)

輸出：

136 μs ± 1.09 μs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

結(jié)論：

在numba加速下，代碼執(zhí)行時(shí)間為3.63微秒/循環(huán)。不經(jīng)過numba加速，代碼執(zhí)行時(shí)間為136微秒/循環(huán)，兩者相比，前者快了40倍。

四、numba讓python飛起來

前面已經(jīng)對(duì)比了numba使用前后，python代碼速度提升了40倍，但這還不是最快的。

這次，我們不使用numpy數(shù)組，僅用for循環(huán)，看看nunba對(duì)for循環(huán)到底有多鐘愛！

# 不使用numba的情況
def t():
? ? x = 0
? ? for i in np.arange(5000):
? ? ? ? x += i
? ? return x
%timeit(t())

輸出：

408 μs ± 9.73 μs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

# 使用numba的情況
@jit(nopython=True)?
def t():
? ? x = 0
? ? for i in np.arange(5000):
? ? ? ? x += i
? ? return x
%timeit(t())?

輸出：

1.57 μs ± 53.8 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

使用numba前后分別是408微秒/循環(huán)、1.57微秒/循環(huán)，速度整整提升了200多倍！

結(jié)語：

numba對(duì)python代碼運(yùn)行速度有巨大的提升，這極大的促進(jìn)了大數(shù)據(jù)時(shí)代的python數(shù)據(jù)分析能力，對(duì)數(shù)據(jù)科學(xué)工作者來說，這真是一個(gè)lucky tool ！

當(dāng)然numba不會(huì)對(duì)numpy和for循環(huán)以外的python代碼有很大幫助，你不要指望numba可以幫你加快從數(shù)據(jù)庫取數(shù)，這點(diǎn)它真的做不到哈。