人工神经网络1共74页文档
- 格式:ppt
- 大小:563.50 KB
- 文档页数:74
人工神经网络大脑是由约100亿个高度互联的神经元组成的,这些神经元构成一个协同处理的复杂网络结构,即神经网络,成为认知的物质与生理基础。
人工神经网络是模拟大脑构建的计算模型,由大量模拟神经元的处理单元——人工神经元构成,形成一个大规模的非线性自适应系统,拥有学习、记忆、计算以及智能处理能力,可以在一定程度上模拟人脑的信息储存、检索和处理能力。
6.1 感知机6.1.1 感知机模型1957年康奈尔大学的Rosenblatt提出了感知机的概念。
感知机模拟生物神经元,接收一个或者多个输入,处理后输出一个结果。
图6-1是感知机的示意图。
图6-1 感知机示意图感知机可以有一到多个输入,每个输入带有一个权重w,用来表示该输入的i和b构成了感知机的参数集合。
感知机重要程度,每个感知机有一个偏置b,wi计算输入的线性组合(或者叫作预激活)并将其交予激活函数f(a)得到输出y。
激活函数用于模拟生物神经元的激活与非激活状态,通常采用阶梯函数、sigmoid函数和分段线性函数及其变体。
图6-2给出了几种激活函数的定义和图形。
图6-2 几种激活函数6.1.2 感知机学习策略依据训练样本的数据确定wi 和b(不区分的时候统一记为θi)值的过程就是感知机的学习过程,其学习算法基于误差驱动。
首先,将未经学习的θi设置为0或者很小的随机值,然后对训练集中的每个样本进行分类预测,并根据预测结果更新参数值。
参数更新依据式(6-1)进行。
其中是样本j的实际类别;yj (t)是样本j的本次预测类别;xji是样本j的第i个特征;η是控制学习速率的超参数,叫作学习率。
显然,如果预测正确-yj(t)=0,则参数不需要更新,否则更新参数,这种更新规则类似于梯度下降算法。
学习遍历训练集中的每个样本称为一个训练周期(Epoch)。
如果在一个训练周期内对所有样本都分类正确,则模型达到收敛状态,停止训练;否则,进入下一周期,直至模型收敛,或者达到最大训练周期数。