神经网络考试重点全解

神经网络考试重点

1、熵和信息的关系、性质，什么叫熵，条件熵、联合熵、互信息之间的关系，K-L散度的定义（K-L极小等于极大似然估计）。第十章

答：熵H(X)：表示每一个消息所携带的信息的平均量。在H(X)中X不是H(X)的变量，而是一个随机变量的标记。

条件熵：给定Y时X的条件熵为H(X|Y)=H(X,Y)—H(Y)

具有性质：0<=H(X|Y)<=H(X)

条件熵H(X|Y)表示在观测到系统输出Y后，对X保留的不确定性度量。

H(X,Y)是X和Y的联合熵，由

XYy),(log),(-YH(X,xyxpyxp）

定义，其中，p(x,y)是离散随机变量X和Y的联合概率质量函数，而x和y表示它们各自的字母表。

互信息：I(X;Y)=H(X)—H(X|Y)=XYy)()(),(log),(xypxpyxpyxp

熵是互信息的一个特例。

熵H(X)表示在没有观测系统输出前我们对系统输入的不确定性，条件熵H(X|Y)表示在观测到系统输出后对系统的不确定性，差H(X)—H(X|Y)表示观察到系统输出之后我们对系统输入的不确定性的减少。

信息的属性：

（1）X和Y的互信息具有对称性：I(X;Y)=I(Y;X)

（2）X和Y的互信息总是非负的：0Y)I(X;

（3）X和Y的互信息也可以用Y的熵表示为：I(X;Y)=H(Y)—H(Y|X)

定义)(Xfx和)(Xgx的K-L散度为：

dxXgXfXfgDxxxxfx)()(log)(

I(X;Y)=YXff|DYX,f

总的来说，X和Y之间的互信息等于联合概率密度函数),(,yxfYX以及概率密度函数)(Xfx和)(Yfy的乘积的K-L散度。

2、ICA原理，推导过程、数学模型、降维。简述PCA原理（第一个成分如何得来，第一、二个成分关系），推导过程（方差最大）。ICA与PCA的差异。

答：ICA的原理：

无噪声信号模型为：

X=As，

其中，A为信号混合矩阵，x是N维观测信号向量，s是M (N>M) 维原始信号向量。

X=kA. s/k

信号S放大 k 倍与A的相应列缩小k倍的结果相同，从而决定了ICA得到的信号存在强

ICA和PCA的差异：个性和共性。

3、SVM的基本原理（PPT）、数学模型（线性可分、线性不可分的原理和模型）。

答：支持向量机（SVM）的主要思想是建立一个超平面作为决策曲面，使得正例和反例之间的隔离边缘被最大化。更精确说，支持向量机是结构风险最小化方法的近似实现。

4、什么是竞争，怎样体现竞争与合作的关系，以及竞争的原理及过程。

答：

自组织神经网络是神经网络最富有魅力的研究领域之一，它能够通过其输入样本学会检测其规律性和输入样本相互之间的关系，并且根据这些输入样本的信息自适应调整网络，使网络以后的响应与输入样本相适应。竞争型神经网络的神经元通过输入信息能够识别成组的相似输入向量；自组织映射神经网络通过学习同样能够识别成组的相似输入向量，使那些网络层中彼此靠得很近的神经元对相似的输入向量产生响应。与竞争型神经网络不同的是，自组织映射神经网络不但能学习输入向量的分布情况，还可以学习输入向量的拓扑结构，其单个神经元对模式分类不起决定性作用，而要靠多个神经元的协同作用才能完成模式分类。

5、RBF网络模型、原理，XOR问题，正则化网络（）

答：

1、RBF的定义：在神经网络的背景下，隐藏单元提供一个“函数”集，该函数集在输入模式（向量）扩展至隐藏空间时为其构建了一个任意的“基”；这个函数集中的函数就被称为径向基函数。

2、RBF网络的构成：包括三层，每一层都有着完全不同的作用。第一层为输入层，输入层由一些源点（感知单元）组成，将网络与外界环境连结起来；第二层为隐藏层，作用是从输入空间到隐藏空间之间进行非线性变换，在大多数情况下隐藏层具有较高的维数；第三层为输出层，是线性的，为作用与输入层的激活模式（信号）提供响应。

3、原理：当用RBF神经网络来解决一个复杂的模式分类任务时，问题的基本解决可以通过用非线性方式将其变换到一个高维空间。它的潜在合理性来自模式可分性的cover定理，基本描述如下：

将复杂的模式分类问题非线性地投射到高维空间将比投射到低维空间更肯呢过是线性可分的。

4、XOR问题：

5、正则化的基本思想：

通过某些含有解的先验知识的非负的辅助泛函来使解稳定。将正则化参数  视为一个指示器，用来指示所给的数据集作为确定解）（xF 的样本的充分性。特别是在极限情况下，当0时，表明改问题不受约束，问题解）（xF完全决定于所给的样本。另一方面，当时，表明仅由算子D所定义的先验光滑条件就足以得到问题的解）（xF，这也是所给样本完全不可信的另一种说法。在实际应用中，正则化参数 取值在上述两个极限值之间。

6、多层感知器（MLPs）的基本模型，BP算法的基本原理。（第四章）

答：

1、多层感知器（MLPs）的基本模型：

一组感知单元（源节点）组成输入层，一层或多层计算节点的隐藏层，还有一层计算节点的输出层。输入信号在层层递进基础上前向传播通过网络。这些神经网络通常称为多层感知器。

2、MLPs的特点：

1、网络中的每一个神经元模型包括一个非线性激活函数；

2、网络包括一层或者多层隐藏神经元；

3、网络展示出高度的连续性。

3、BP（反向传播）算法：

反向传播算法是基于误差修正学习规则的，由误差来决定是否更新权重，可以被看成是同样普遍使用的自适应滤波算法的推广。误差反向传播学习由两次经过网络不同层的通过组成：一次前向通过和一次反向通过。在前向通过中，一个活动模式（输入向量）作用于网络感知节点，它的影响经过网络一层接一层地传播。最后，产生一个输出作为网络的实际响应。在前向通过中，网络的突触权值全为固定的。另一方面，在反向通过中，突出权值全部根据误差修正规则来调整。特别是从目标响应减去网络的实际响应而产生误差信号。突触权值被调整使得网络的实际响应从统计意义上接近目标响应。

7、梯度算法（单层感知器），0-1问题（第三章）

答：

1、单层感知器：

感知器的突触权值记为w1,w2,...,wm,相应的，用于感知器的输入量记为x1,x2,...,xm，外部应用偏置记为b，可知硬限幅器输入或神经元的诱导局部域是：

miiibxw1v

感知器的目的是把外部应用刺激x1,x2,...,xm正确的分为两类。分类规则是：如果感知器输出y是+1就将x1,x2,...,xm表示的点归为一类，如果感知器输出y是-1则归为另一类。

2、0-1问题

8、有哪几种学习算法，它们的基本原理。

答：

学习是一个过程，通过这个过程神经网络的自由参数在其嵌入的环境的激励过程之下得到调节。

1、误差修正学习：

描述神经网络惟一输出的输出信号yk(n)与由dk(n)表示的期望响应或目标输出比较，由此产生由ek(n)表示的误差信号。误差信号ek(n)驱动控制机制，其目的是将修正调节序列作用于神经元k的突触权值，修正调节能够以一步步逼近的方式使输出信号yk(n)向期望输出dk(n)靠近，这一目标通过最小化代价函数或性能指标来实现。

2、基记忆的学习：

基于记忆的学习通过明确地记住训练数据来进行。在基于记忆的学习中，所有（或大部分）以往的经验被显式地存储到正确分类的输入-输出实例的大量记忆中。其包括；两个重要的组成部分：

用于定义测试向量Xtest的局部邻域的准则；

用于Xtest的和局部邻域中的训练实例的学习规则。

3、Hebb学习：

Hebb学习受了神经生物学上的考虑的启发。Hebb算法核心思想是，当两个神经元同时处于激发状态时两者间的连接权会被加强，否则被减弱。Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。比如，铃声响时一个神经元被激发，在同一时间食物的出现会激发附近的另一个神经元，那么这两个神经元间的联系就会强化，从而记住这两个事物之间存在着联系。相反，如果两个神经元总是不能同步激发，那么它们间的联系将会越来越弱。

4、竞争学习：

竞争学习受了神经生物学上的考虑的启发。在竞争学习中，神经网络中的输出神经元彼此通过竞争来成为活跃的点。对于竞争学习规则，有三个基本元素：

（1）、一个神经元集合，这些神经元处理一些随机分布的突触权值以外是完全相同的，且由于突出权值的不同而对一个给定的输入模式集合有不同的响应。

（2）对每一个神经元的强度加上的限制；

（3）允许神经元为响应一个给定输入子集的权利而竞争的机制，从而使得每次只有一个输出神经元或者魅族只有一个神经元是激活的。

5、Boltzman学习：

Boltzman学习是建立在从统计学力学借来的思想基础上的。Boltzman学习规则是一个植根于统计力学中的思想推倒得出的袭击学习算法。Boltzman机中，神经元构成递归结构，并以二值方式运作。Boltzman机由能量函数E所表征，能量函数的值由机器的个体神经元占据的特定状态所决定，表示成：

kkjkkjjxxwj21-E

9、其他：

1) 学习就是更新神经网络中的权重；

2) 梯度算法刚开始收敛速度很快，接近目标时速度很慢，与初值无关；牛顿算法则相反，且与初值有关；

3) 梯度算法有步长，牛顿算法无步长；

4) 简述感知器的基本模型（图形、三个公式）：P94

5) BP算法中的Delta规则：P119

6) 贝叶斯分类器：描述贝叶斯分类器的基本原理（最小化平均风险P99页）、P102的图3.12---几何定义

7) 简述正则化思想：P191-192，叙述正则化的神经网络：P198-199

8) 简述SVM的思想，描述SVM的建模过程（具体）：P230-234

9) 原规划到对偶规划的推导过程：P233

10) 非线性PCA（核函数）：

11) 委员会机器：P253

五个基本的学习算法：误差—修正学习；基于记忆的学习；Hebb学习；竞争学习和Boltzmann学习。误差修正学习植根于最优滤波。基于记忆的学习通过明确的记住训练数据来进行。Hebb学习和竞争学习都是受了神经生物学上的考虑的启发。Boltzmann学习是建立在统计学力学借来的思想基础上。

1、误差修正学习

神经元k的输出信号)(nyk表示，)(ndk表示的是期望响应或目标输出比较。由此产生)(nek表示的误差信号，有：)()()(nyndnekkk。这一目标通过最小化代价函数或性能指标)(n来实现。定义如下：)(21)(2nenk

也就是说)(n是误差能量的瞬时值。这种对神经元k的突触权值步步逼近的调节将持续下去，直到系统达到稳定状态。这时，学习过程停止。根据增量规则，在第n时间步作用于突触权值的调节量)(nwkj定义如