Sigmoid函数，即f(x)=1/(1+e-x)。神经元的非线性作用函数。（-x是幂数）
人工神经网络的学习算法-BP算法
神经网络的学习是基于一组样本进行的，它包括输入和输出（这里用期望输出表示），输入
和输出有多少个分量就有多少个输入和输出神经元与之对应。最初神经网络的权值（Weight）
和阈值（Threshold）是任意给定的，学习就是逐渐调整权值和阈值使得网络的实际输出和
期望输出一致。
我们假设样本有P个，输入层有N个神经元，隐含层有K个神经元，输出层有M个神经元。
Xj为输入层神经元j的输入，Hj为隐含层神经元j的输出，Fj为输出层神经元j的实际输出，
Rj为输出层神经元j的期望输出，前一层的输出即为后一层的输入。Whji是输入层神经元i
与隐含层神经元j之间的连接权值，Thj是隐含神经元j的阈值，Woji是隐含层神经元i与输
出层神经元j之间的连接权值，Toj是输出神经元j的阈值。神经元的非线性作用函数是
Sigmoid函数，即f(x)=1/(1+e-x)。
sigmoid激活函数公式
sigmoid激活函数公式为：$f(x) = \frac{1}{1+e^{-x}}$
其中，$x$是神经元输入的加权和，$e$是自然常数（约等于
2.71828），$f(x)$是神经元的输出。
sigmoid函数取值范围在0到1之间，常用于二分类问题和将连续的输入值映射为概率输出的场合。
它具有导数易于计算、单侧抑制和
平滑的特点。
但是，当输入值很大时，sigmoid函数的梯度会变得很小，导致梯度消失问题，这会影响网络的训练效果。
为了缓解这个问题，有时会使用改进的sigmoid函数，如tanh函数，它的公式为：$f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$，
其取值范围在-1到1之间，梯度值也更大。
同时，还有一些新的激活
函数被提出，如ReLU、LeakyReLU、ELU等，它们在一些场合下表现更好。
激活函数——Sigmoid、tanh、ReLU、LeakyReLU、ELU1、神经⽹络为什么引⼊激活函数？如果不引⼊激活函数，神经⽹络的每⼀层输出都是上层输⼊的线性函数，⽆论神经⽹络有多少层，输出都是输⼊的线性组合，与没有隐藏层的效果相当，这种情况就是最原始的感知机（Perceptron）。
因此，引⼊⾮线性函数作为激励函数，这样深层神经⽹络就有意义了（不再是输⼊的线性组合，可以逼近任意函数）。
激活函数的作⽤就是为了增加神经⽹络模型的⾮线性。
2、Sigmoid函数缺点：*容易出现gradient vanishing*函数输出并不是zero-centered*幂运算相对来讲⽐较耗时解释：Gradient Vanishing优化神经⽹络的⽅法是Back Propagation，即导数的后向传递：先计算输出层对应的loss，然后将loss以导数的形式不断向上⼀层⽹络传递，修正相应的参数，达到降低loss的⽬的。
Sigmoid函数在深度⽹络中常常会导致导数逐渐变为0，使得参数⽆法被更新，神经⽹络⽆法被优化。
原因在于两点：(1) 在上图中容易看出，当中较⼤或较⼩时，导数接近0，⽽后向传递的数学依据是微积分求导的链式法则，当前层的导数需要之前各层导数的乘积，⼏个⼩数的相乘，结果会很接近0 (2) Sigmoid导数的最⼤值是0.25，这意味着导数在每⼀层⾄少会被压缩为原来的1/4，通过两层后被变为1/16，…，通过10层后为1/1048576。
请注意这⾥是“⾄少”，导数达到最⼤值这种情况还是很少见的。
输出不是zero-centeredSigmoid函数的输出值恒⼤于0，这会导致模型训练的收敛速度变慢。
举例来讲，如果所有均为正数或负数，那么其导数总是正数或负数，这会导致如下图红⾊箭头所⽰的阶梯式更新，这显然并⾮⼀个好的优化路径。
深度学习往往需要⼤量时间来处理⼤量数据，模型的收敛速度是尤为重要的。
所以，训练深度学习⽹络尽量使⽤zero-centered数据 (可以经过数据预处理实现) 和zero-centered输出。
Logistic Sigmoid函数：从生物学到机器学习的应用概述Logistic Sigmoid函数是一种常用的非线性函数，其形式为f(x)=1/(1+e^(-x))。
在生物学中，这个函数被用来描述生物体的神经元如何响应刺激。
在机器学习中，这个函数被用来作为分类器的激活函数，以预测二元分类问题的概率。
生物学中的应用在生物学中，神经元被认为是大脑和神经系统的基本单位。
神经元接收来自其他神经元的信号，然后对这些信号进行加权和，最终输出一个信号。
Logistic Sigmoid函数被用来描述神经元如何响应刺激。
当神经元接收到足够的刺激时，它会被激活并输出一个信号。
当刺激不足时，神经元不会被激活。
Logistic Sigmoid函数可以将输入信号映射到一个介于0和1之间的输出信号，这与神经元的激活方式非常相似。
机器学习中的应用在机器学习中，Logistic Sigmoid函数被用作分类器的激活函数。
分类器的任务是将输入数据分为两个类别。
例如，我们可以使用分类器来预测一封电子邮件是否是垃圾邮件。
Logis tic Sigmoid函数将输入数据映射到一个介于0和1之间的值，这个值可以被解释为属于第一个类别的概率。
如果这个值大于0.5，我们就将输入数据分类为第一个类别，否则我们将其分类为第二个类别。
Logistic Sigmoid函数的优点Logistic Sigmoid函数具有以下几个优点：1. LogisticSigmoid函数的输出值介于0和1之间，这使得它非常适合用作分类器的激活函数。
2. LogisticSigmoid函数是可导的，这使得它可以被用于梯度下降算法中，以优化模型参数。
3. Logistic Sigmoid函数具有良好的数学性质，这使得它可以被用于理论分析和证明。
Logistic Sigmoid函数的缺点Logistic Sigmoid函数也有一些缺点：1. 当输入值非常大或非常小时，LogisticSigmoid函数的导数会趋近于0，这会导致梯度消失的问题。
三阶sigmoid函数
三阶sigmoid函数是一种常用的非线性函数，它可以将输入值映射到一个介于0和1之间的输出值。
三阶sigmoid函数的形式为：
f(x) = 1 / (1 + e^(-ax)) ^ 3
其中，a是一个正常数，x是输入值。
三阶sigmoid函数的图像呈现出S形曲线，它具有以下特点：
1. 非线性：三阶sigmoid函数不是线性函数，它可以处理非线性的输入数据。
2. 平滑：三阶sigmoid函数的曲线平滑，可以避免梯度消失的问题。
3. 可微：三阶sigmoid函数是可微的，可以使用反向传播算法进行优化。
三阶sigmoid函数在神经网络中被广泛应用，特别是在分类问题中。
它可以将输入数据映射到一个介于0和1之间的概率值，用于判断输入数据属于哪个类别。
三阶sigmoid函数还可以用于解决回归问题，它可以将输入数据映射到一个连续的输出值。
除了三阶sigmoid函数，还有其他的sigmoid函数，如二阶sigmoid 函数和四阶sigmoid函数。
它们的形式类似，但是具有不同的平滑程
度和非线性程度。
选择合适的sigmoid函数可以提高神经网络的性能。
总之，三阶sigmoid函数是一种常用的非线性函数，它具有平滑、可
微和非线性的特点，可以在神经网络中被广泛应用。
选择合适的sigmoid函数可以提高神经网络的性能，从而更好地解决各种问题。
