BN原理、作用

函數參數講解

BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

• 1.num_features：一般輸入參數的shape為batch_size*num_features*height*width，即為其中特征的數量，即為輸入BN層的通道數；
• 2.eps：分母中添加的一個值，目的是為了計算的穩定性，默認為：1e-5,避免分母為0；
• 3.momentum：一個用于運行過程中均值和方差的一個估計參數（我的理解是一個穩定系數，類似于SGD中的momentum的系數）；
• 4.affine：當設為true時，會給定可以學習的系數矩陣gamma和beta

一般來說pytorch中的模型都是繼承nn.Module類的，都有一個屬性trainning指定是否是訓練狀態，訓練狀態與否將會影響到某些層的參數是否是固定的，比如BN層或者Dropout層。

通常用model.train()指定當前模型model為訓練狀態,model.eval()指定當前模型為測試狀態。

同時，BN的API中有幾個參數需要比較關心的，一個是affine指定是否需要仿射，還有個是track_running_stats指定是否跟蹤當前batch的統計特性。

容易出現問題也正好是這三個參數：trainning，affine，track_running_stats。

其中的affine指定是否需要仿射，也就是是否需要上面算式的第四個，如果affine=False則γ=1,β=0，并且不能學習被更新。一般都會設置成affine=True。

trainning和track_running_stats，track_running_stats=True表示跟蹤整個訓練過程中的batch的統計特性，得到方差和均值，而不只是僅僅依賴與當前輸入的batch的統計特性。

相反的，如果track_running_stats=False那么就只是計算當前輸入的batch的統計特性中的均值和方差了。

當在推理階段的時候，如果track_running_stats=False，此時如果batch_size比較小，那么其統計特性就會和全局統計特性有著較大偏差，可能導致糟糕的效果。

如果BatchNorm2d的參數track_running_stats設置False,那么加載預訓練后每次模型測試測試集的結果時都不一樣；track_running_stats設置為True時，每次得到的結果都一樣。

running_mean和running_var參數是根據輸入的batch的統計特性計算的，嚴格來說不算是“學習”到的參數，不過對于整個計算是很重要的。

BN層中的running_mean和running_var的更新是在forward操作中進行的，而不是在optimizer.step()中進行的，因此如果處于訓練中泰，就算不進行手動step()，BN的統計特性也會變化。

model.train() #處于訓練狀態
for data , label in self.dataloader:
    pred =model(data)  #在這里會更新model中的BN統計特性參數，running_mean,running_var
    loss=self.loss(pred,label)
    #就算不進行下列三行，BN的統計特性參數也會變化
    opt.zero_grad()
    loss.backward()
    opt.step()

這個時候，要用model.eval()轉到測試階段，才能固定住running_mean和running_var，有時候如果是先預訓練模型然后加載模型，重新跑測試數據的時候，結果不同，有一點性能上的損失，這個時候基本上是training和track_running_stats設置的不對。

如果使用兩個模型進行聯合訓練，為了收斂更容易控制，先預訓練好模型model_A，并且model_A內還有若干BN層，后續需要將model_A作為一個inference推理模型和model_B聯合訓練，此時希望model_A中的BN的統計特性量running_mean和running_var不會亂變化，因此就需要將model_A.eval()設置到測試模型，否則在trainning模式下，就算是不去更新模型的參數，其BN都會變化，這將導致和預期不同的結果。

總結