前言

激活函數在機器學習中常常用在神經網絡隱含層節點與神經網絡的輸出層節點上，激活函數的作用是賦予神經網絡更多的非線性因素，如果不用激勵函數，輸出都是輸入的線性組合，這種情況與最原始的感知機相當，網絡的逼近能力相當有限。如果能夠引入恰當的非線性函數作為激活函數，這樣神經網絡逼近能力就能夠更加強大。

哦豁，激活函數那么厲害，那常見的激活函數有什么呢？感覺還挺多的。

常見的激活函數種類及其圖像

1 sigmoid(logsig)函數

特點：sigmoid函數函數在不同的地方表達方式不同，常用的名稱就是sigmoid和logsig，它能夠把輸入的連續實值變換為0和1之間的輸出，如果輸入是特別大的負數，則輸出為0，如果輸入是特別大的正數，則輸出為1。

缺點：

• 在深度神經網絡中，容易導致梯度爆炸和梯度消失；
• 冪函數運算較慢；
• 不是0均值。

其計算公式為：

其圖像如下所示。

2 tanh函數

特點：它能夠把輸入的連續實值變換為-1和1之間的輸出，如果輸入是特別大的負數，則輸出為-1，如果輸入是特別大的正數，則輸出為1；

解決了Sigmoid函數的不是0均值的問題。

缺點：梯度消失的問題和冪運算的問題仍然存在。

其計算公式為：

其圖像如下所示。

3 relu函數

特點：解決了梯度消失的問題；計算速度非常快，只需要判斷輸入是否大于0；

收斂速度遠快于sigmoid和tanh兩個函數。

缺點：不是0均值。

其計算公式為：

其圖像如下所示

4 softplus函數

特點：softplus函數相當于平滑版的relu函數。

缺點：不是0均值。

其計算公式為：

其圖像如下所示（與relu函數對比）。

tensorflow中損失函數的表達

1 sigmoid(logsig)函數

tf.nn.sigmoid(x, name=None)

2 tanh函數

tf.nn.tanh(x, name=None)

3 relu函數

tf.nn.relu(features, name=None)
tf.nn.relu6(features, name=None)
#relu6相對于普通relu更容易學習到稀疏特征。

4 softplus函數

tf.nn.softplus(features, name=None)