神经网络考试重点
1、熵和信息的关系、性质，什么叫熵，条件熵、联合熵、互信息之间的关系，K-L 散度的定义（K-L 极小等于极大似然估计）。第十章
答：熵H(X)：表示每一个消息所携带的信息的平均量。在H(X)中X 不是H(X)的变量，而是一个随机变量的标记。
条件熵：给定Y 时X 的条件熵为H(X|Y)=H(X,Y)—H(Y) 具有性质：0<=H(X|Y)<=H(X)
条件熵H(X|Y)表示在观测到系统输出Y 后，对X 保留的不确定性度量。 H(X,Y)是X 和Y 的联合熵，由
∑∑∈∈=X Y
y ),(log ),(-Y H(X,x y x p y x p ）
定义，其中，p(x,y)是离散随机变量X 和Y 的联合概率质量函数，而x 和y 表示它们各自的字母表。 互信息：I(X;Y)=H(X)—H(X|Y)=
∑∑∈∈⎪
⎪⎭
⎫ ⎝
⎛X Y
y )()(),(log ),(x y p x p y x p y x p 熵是互信息的一个特例。
熵H(X)表示在没有观测系统输出前我们对系统输入的不确定性，条件熵H(X|Y)表示在观测到系统输出后对系统的不确定性，差H(X)—H(X|Y)表示观察到系统输出之后我们对系统输入的不确定性的减少。 信息的属性：
（1）X 和Y 的互信息具有对称性：I(X;Y)=I(Y;X) （2）X 和Y 的互信息总是非负的：0Y)I(X;≥
（3）X 和Y 的互信息也可以用Y 的熵表示为：I(X;Y)=H(Y)—H(Y|X) 定义
)(X f x 和)(X g x 的K-L 散度为：
dx
X g X f X f g D x x x x f x ⎰
∞∞
-⎪⎪⎭
⎫ ⎝⎛=)()(log )(
I(X;Y)=Y X f f |D Y X,f
总的来说，X 和Y 之间的互信息等于联合概率密度函数
),(,y x f Y X 以及概率密度函数)(X f x 和
)(Y f y 的乘积的K-L 散度。
2、ICA 原理，推导过程、数学模型、降维。简述PCA 原理（第一个成分如何得来，第一、二个成分关系），推导过程（方差最大）。ICA 与PCA 的差异。 答：ICA 的原理：
无噪声信号模型为：
X=As ，
其中，A 为信号混合矩阵，x 是N 维观测信号向量，s 是M (N>M) 维原始信号向量。
X=kA. s/k
信号S 放大 k 倍与A 的相应列缩小k 倍的结果相同，从而决定了ICA 得到的信号存在强
ICA和PCA的差异：个性和共性。
3、SVM的基本原理（PPT）、数学模型（线性可分、线性不可分的原理和模型）。
答：支持向量机（SVM）的主要思想是建立一个超平面作为决策曲面，使得正例和反例之间的隔离边缘被最大化。更精确说，支持向量机是结构风险最小化方法的近似实现。
4、什么是竞争，怎样体现竞争与合作的关系，以及竞争的原理及过程。
答：
自组织神经网络是神经网络最富有魅力的研究领域之一，它能够通过其输入样本学会检测其规律性和输入样本相互之间的关系，并且根据这些输入样本的信息自适应调整网络，使网络以后的响应与输入样本相适应。竞争型神经网络的神经元通过输入信息能够识别成组的相似输入向量；自组织映射神经网络通过学习同样能够识别成组的相似输入向量，使那些网络层中彼此靠得很近的神经元对相似的输入向量产生响应。与竞争型神经网络不同的是，自组织映射神经网络不但能学习输入向量的分布情况，还可以学习输入向量的拓扑结构，其单个神经元对模式分类不起决定性作用，而要靠多个神经元的协同作用才能完成模式分类。
5、RBF 网络模型、原理，XOR 问题，正则化网络（λ） 答：
1、RBF 的定义：在神经网络的背景下，隐藏单元提供一个“函数”集，该函数集在输入模式（向量）扩展至隐藏空间时为其构建了一个任意的“基”；这个函数集中的函数就被称为径向基函数。
2、RBF 网络的构成：包括三层，每一层都有着完全不同的作用。第一层为输入层，输入层由一些源点（感知单元）组成，将网络与外界环境连结起来；第二层为隐藏层，作用是从输入空间到隐藏空间之间进行非线性变换，在大多数情况下隐藏层具有较高的维数；第三层为输出层，是线性的，为作用与输入层的激活模式（信号）提供响应。
3、原理：当用RBF 神经网络来解决一个复杂的模式分类任务时，问题的基本解决可以通过用非线性方式将其变换到一个高维空间。它的潜在合理性来自模式可分性的cover 定理，基本描述如下：
将复杂的模式分类问题非线性地投射到高维空间将比投射到低维空间更肯呢过是线性可分的。 4、XOR 问题：
5、正则化的基本思想：
通过某些含有解的先验知识的非负的辅助泛函来使解稳定。将正则化参数
λ 视为一个指示器，用来
指示所给的数据集作为确定解）
（x F λ 的样本的充分性。特别是在极限情况下，当0→λ时，表明改问题不受约束，问题解）
（x F λ完全决定于所给的样本。另一方面，当∞→λ时，表明仅由算子D 所定义的先验光滑条件就足以得到问题的解）
（x F λ，这也是所给样本完全不可信的另一种说法。在实际应用中，正则化参数 λ取值在上述两个极限值之间。
6、多层感知器（MLPs ）的基本模型，BP 算法的基本原理。（第四章）
答：
1、多层感知器（MLPs ）的基本模型：
一组感知单元（源节点）组成输入层，一层或多层计算节点的隐藏层，还有一层计算节点的输出层。输入信号在层层递进基础上前向传播通过网络。这些神经网络通常称为多层感知器。
