前言

激活函數(shù)在機(jī)器學(xué)習(xí)中常常用在神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)與神經(jīng)網(wǎng)絡(luò)的輸出層節(jié)點(diǎn)上，激活函數(shù)的作用是賦予神經(jīng)網(wǎng)絡(luò)更多的非線性因素，如果不用激勵(lì)函數(shù)，輸出都是輸入的線性組合，這種情況與最原始的感知機(jī)相當(dāng)，網(wǎng)絡(luò)的逼近能力相當(dāng)有限。如果能夠引入恰當(dāng)?shù)姆蔷€性函數(shù)作為激活函數(shù)，這樣神經(jīng)網(wǎng)絡(luò)逼近能力就能夠更加強(qiáng)大。

哦豁，激活函數(shù)那么厲害，那常見的激活函數(shù)有什么呢？感覺還挺多的。

常見的激活函數(shù)種類及其圖像

1 sigmoid(logsig)函數(shù)

特點(diǎn)：sigmoid函數(shù)函數(shù)在不同的地方表達(dá)方式不同，常用的名稱就是sigmoid和logsig，它能夠把輸入的連續(xù)實(shí)值變換為0和1之間的輸出，如果輸入是特別大的負(fù)數(shù)，則輸出為0，如果輸入是特別大的正數(shù)，則輸出為1。

缺點(diǎn)：

• 在深度神經(jīng)網(wǎng)絡(luò)中，容易導(dǎo)致梯度爆炸和梯度消失；
• 冪函數(shù)運(yùn)算較慢；
• 不是0均值。

其計(jì)算公式為：

其圖像如下所示。

2 tanh函數(shù)

特點(diǎn)：它能夠把輸入的連續(xù)實(shí)值變換為-1和1之間的輸出，如果輸入是特別大的負(fù)數(shù)，則輸出為-1，如果輸入是特別大的正數(shù)，則輸出為1；

解決了Sigmoid函數(shù)的不是0均值的問題。

缺點(diǎn)：梯度消失的問題和冪運(yùn)算的問題仍然存在。

其計(jì)算公式為：

其圖像如下所示。

3 relu函數(shù)

特點(diǎn)：解決了梯度消失的問題；計(jì)算速度非常快，只需要判斷輸入是否大于0；

收斂速度遠(yuǎn)快于sigmoid和tanh兩個(gè)函數(shù)。

缺點(diǎn)：不是0均值。

其計(jì)算公式為：

其圖像如下所示

4 softplus函數(shù)

特點(diǎn)：softplus函數(shù)相當(dāng)于平滑版的relu函數(shù)。

缺點(diǎn)：不是0均值。

其計(jì)算公式為：

其圖像如下所示（與relu函數(shù)對(duì)比）。

tensorflow中損失函數(shù)的表達(dá)

1 sigmoid(logsig)函數(shù)

tf.nn.sigmoid(x, name=None)

2 tanh函數(shù)

tf.nn.tanh(x, name=None)

3 relu函數(shù)

tf.nn.relu(features, name=None)
tf.nn.relu6(features, name=None)
#relu6相對(duì)于普通relu更容易學(xué)習(xí)到稀疏特征。

4 softplus函數(shù)

tf.nn.softplus(features, name=None)