第5章 神经传感系统
图5-5-tanh(x)函数及其导函数
第5章 神经传感系统
• ReLU(x)函数 ReLU(x)也是一种比较常见的神经网络激活函数,其映射 方法如式(5-5)、式(5-6)所示。
第5章 神经传感系统
ReLU(x)函数及其导函数曲线图如图5-6所示,从图中可 以看出 ReLU(x)是部分线性的,并且不会出现过饱和现象,使 用 ReLU(x)得到的随机梯度下降法(SGD)的收敛速度比 sigmoid和tanh(x)的都要快。利用 ReLU(x)函数计算,只需要 一个阈值就可以得到激活值,而不需要像sigmoid和tanh(x)一 样执行复杂的指数运算,原理易于理解,计算更为简单。
第5章 神经传感系统
图5-8 逻辑回归模型与神经网络模型对比
第5章 神经传感系统
对于具有多层或多个输出神经元的神经网络,其每个隐 藏层神经元或输出层神经元的值(激活值),都是由上一层神经 元经过加权求和与非线性变换得到的,网络拓扑图如图5-9所 示。
第5章 神经传感系统
图5-8 逻辑回归模型与神经网络模型对比
第5章 神经传感系统
图5-6 ReLU(x)函数及其导函数
第5章 神经传感系统
5.2.2 人工神经网络信息处理 人脑的每个神经元都可以看作一个处理单元,这些处理
单元互相连接形成了生物神经网络,网络中信号传递的强弱 由神经元之间的连接强度决定,连接的强弱又可以根据外部 的刺激信号作出自适应性的变化。信号可以产生刺激或抑制 的作用,每个神经元会根据接收到的多个信号的综合作用呈 现兴奋或抑制状态。
第5章 神经传感系统
轴突除了分出侧枝外,在其末端还会形成树枝样的神经 末梢,末梢分布于某些组织器官或骨骼肌肉内,形成各种神经 末梢装置(感受器或运动终端),比较典型的神经元结构图如图 5-1所示。