Sigmoid Function

Sigmodi 函数是一种数学函数,函数图像具有“S”形状(也称Sigmoid curve)。一般,Sigmoid 函数指的是一种特殊的逻辑函数(logistic function):


logistic_func

函数图像如图 1所示。


Sigmoid_function
图 1 logistic curve

还有一些其他相似的函数,如今多种多样的sigmoid 函数被应用在人工神经网络中,作为激活函数(Activation Function)。

定义: Sigmoid函数是一种有界的可微实函数,函数曲线上的任一点对应的导数值均为正值。

A sigmoid function is a bounded differentiable real function that is defined for all real input values and has a positive derivative at each point.

使用数学语言可以如下描述:


sigmoid_math

其中R指的是实数集。该函数最重要的性质就是:


properties

从定义就可以看出,只要满足上诉的三条性质的函数,都可以成为Sigmiod函数,例如 arctangent, hyperbolic tangent, Gudermannian function, error function等。

图 2 是一张几种常见的Sigmoid函数图像,图中的函数都进行了归一化,在原点处的曲线斜率都为1.


sigmoid_figure
图 2 Some Sigmoid function compared