Soft-Clipping Mish激活函数
Soft-Clipping激活函数
论文：Soft Clipping Mish – A Novel Activation Function for Deep Learning
年份：2021
简介
该函数与Soft-Clipping Swish激活函数十分相似，同样都是在负区域硬规定为0，正区域为Mish激活函数。这样可以增加正区域的非线性，但同样负区域容易造成神经元死亡。
Mish(x)=x⋅tanh(softplus(x))Mish(x) = x\cdot tanh(softplus(x)) Mish(x)=x⋅tanh(softplus(x))
其中，Softplus激活函数为：
Softplus(x)=log(1+ex)Softplus(x) = log(1+e^x) Softplus(x)=log(1+ex)
由此可以获得SC_Mish的公式：
f(x)=max(0,x⋅tanh(softplus(αx)))f(x) = \max(0, x\cdot tanh(softplus(\alpha x))) f(x)=max(0,x⋅tanh(softplus(αx)))
参数α\alphaα是一个预定义参数，它被设置为1。SC_Mish是一种连续的，单调的功能，底部有边界，顶部无边无际。它接受范围内的值[0,+∞)\left[0, +\infty\right)[0,+∞)。
当α\alphaα为可学习参数时，该可学习参数在训练阶段初始化，初始值为0.25，在网络权值更新的情况下进行更新。
SC_Mish的导数为：
f′(x)=tanh(softplus(αx))+αeαxxsech2(softplus(1+eαx))1+eαxf^\prime(x) = tanh(softplus(\alpha x)) + \frac{\alpha e^{\alpha x}x sech^2(softplus(1+e^{\alpha x}))}{1+e^{\alpha x}} f′(x)=tanh(softplus(αx))+1+eαxαeαxxsech2(softplus(1+eαx))
SC_Mish的曲线如下图所示。
SC_Mish的导数如下图所示
总结
以上是生活随笔为你收集整理的Soft-Clipping Mish激活函数的全部内容，希望文章能够帮你解决所遇到的问题。
