下载文档原格式
mixture density networks 计算概率
混合密度网络（MDN）是一种用于计算概率的神经网络模型。
MDN通过学习多个混合分布的参数来估计输出的概率分布。
MDN的输入通常是一组特征向量，输出是一个概率分布。
这
个分布可以是一维高斯分布的混合分布，也可以是其他概率分布的混合分布，如泊松分布、指数分布等。
MDN通过使用多个隐藏层来建模混合分布的参数。
每个隐藏
层都会计算混合分布的一个参数，如均值、方差、权重等。
通过训练网络，可以通过输入特征向量来预测这些参数，从而得到输出的概率分布。
在训练过程中，通常使用最大似然估计来优化MDN。
具体来说，对于每个训练样本，计算模型预测的概率分布与真实标签之间的差异，并将其最小化。
在推断阶段，可以使用模型预测的概率分布来计算给定输入特征向量的输出概率。
总之，混合密度网络是一种用于计算概率的神经网络模型，通过学习多个混合分布的参数来估计输出的概率分布。
概率神经网络的分类预测——基于PNN的变压器故障诊断摘要：电力变压器故障诊断对变压器、电力系统的安全运行有着十分重要的意义，本文介绍了基于概率故障神经网络（PNN）在变压器故障诊断中的应用。
针对概率神经网络（PNN）模型强大的非线性分类能力，PNN能够很好地对变压器故障进行分类；文章通过对PNN神经网络的结构和原理的分析，应用PNN概率神经网络方法对变压器故障进行诊断。
关键词：变压器；概率神经网络；故障诊断0 引言变压器是电力系统中的一个重要设备，由于它对电能的经济传输、灵活分配和安全使用具有重要意义，因而它的维护检修就显得极为重要，特别是通过对其进行故障诊断为其正常运行提供可靠的依据。
故障诊断技术是借助于现代测试、监控和计算机分析等手段，研究设备在运行中或相对静止条件下的状态信息，分析设备的技术状态，诊断其故障的性质和起因，并预测故障趋势，进而确定必要对策的一种方法。
从本质上讲，故障诊断就是模式识别问题。
神经网络的出现，为故障诊断问题提供了一种新的解决途径，特别是对于实际中难以解决的数学模型的复杂系统，神经网络更显示出其独特的作用。
目前，在故障诊断方面虽然BP网络应用得最为广泛，但其网络层数及每层神经元的个数不易确定，而且在训练过程中网络容易陷入局部最小点。
本文引入一种新的人工神经网络模型——概率神经网络，使用该网络进行变压器的故障诊断，可以获得令人满意的故障诊断率，并能有效地克服BP神经网络的缺点。
本文采用概率神经网络(probabilistic neural networks)对变压器故障进行诊断。
概率神经网络结构简单、训练简洁，利用概率神经网络模型的强大的非线性分类能力，将故障样本空间映射到故障模式空间中，可形成一个具有较强容错能力和结构自适应能力的诊断网络系统，从而提高故障诊断的准确率。
在实际应用中，尤其是在解决分类问题的应用中，它的优势在于用线性学习算法来完成非线性学习算法所做的工作，同时保持非线性算法的高精度等特性。
第４５卷 第１２期２０２３年１２月系统工程与电子技术ＳｙｓｔｅｍｓＥｎｇｉｎｅｅｒｉｎｇａｎｄＥｌｅｃｔｒｏｎｉｃｓＶｏｌ．４５ Ｎｏ．１２Ｄｅｃｅｍｂｅｒ２０２３文章编号：１００１ ５０６Ｘ（２０２３）１２ ３９６７ ０８ 网址：ｗｗｗ．ｓｙｓ ｅｌｅ．ｃｏｍ收稿日期：２０２２０９１０；修回日期：２０２３０３０７；网络优先出版日期：２０２３０４２７。
网络优先出版地址：ｈｔｔｐｓ：∥ｋｎｓ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／１１．２４２２．ＴＮ．２０２３０４２７．１１３６．００４．ｈｔｍｌ 通讯作者．引用格式：武明，许承东，黄国限，等．概率神经网络多历元残差ＲＡＩＭ算法［Ｊ］．系统工程与电子技术，２０２３，４５（１２）：３９６７ ３９７４．犚犲犳犲狉犲狀犮犲犳狅狉犿犪狋：ＷＵＭ，ＸＵＣＤ，ＨＵＡＮＧＧＸ，ｅｔａｌ．Ｐｒｏｂａｂｉｌｉｓｔｉｃｎｅｕｒａｌｎｅｔｗｏｒｋｍｕｌｔｉ ｅｐｏｃｈｒｅｓｉｄｕａｌＲＡＩＭａｌｇｏｒｉｔｈｍ［Ｊ］．ＳｙｓｔｅｍｓＥｎｇｉｎｅｅｒｉｎｇａｎｄＥｌｅｃｔｒｏｎｉｃｓ，２０２３，４５（１２）：３９６７ ３９７４．概率神经网络多历元残差犚犃犐犕算法武 明，许承东 ，黄国限，孙 睿，鲁智威（北京理工大学宇航学院，北京１０００８１） 摘 要：民用航空领域中，为提高接收机自主完好性监测（ｒｅｃｅｉｖｅｒａｕｔｏｎｏｍｏｕｓｉｎｔｅｇｒｉｔｙｍｏｎｉｔｏｒｉｎｇ，ＲＡＩＭ）算法对故障偏差的检测能力，降低最小可检测偏差，提出了一种概率神经网络多历元残差ＲＡＩＭ算法。
该算法基于概率神经网络构建４层故障卫星检测模型，利用方差膨胀模型建立伪距残差故障类与无故障类训练样本，通过粒子群优化算法优化概率神经网络的平滑参数以满足误警率要求，从而计算输入多历元伪距残差与故障类和无故障类训练样本的相似程度，判断卫星是否出现故障。
仿真实验结果表明，优化平滑参数可提高所提算法故障检测性能。
关于两个PNN杂七杂八关于PNN其实有两种说法，一种是概率神经网络（Probabilistic Neural Network），另一种是基于产品的神经网络Product-based Neural Network，所以在使用PNN的时候要格外注意，要不然你的领导你的导师都不知道你说的是哪一个，常用的是第一种PNN，概率神经网络，北京航空航天大学的王小川老师在其著作中提到的PNN也指代的是概率神经网络下面先说概率神经网络1 概率神经网络的原理概率神经网络（Probabilistic Neural Network）的网络结构类似于RBF神经网络，但不同的是，PNN是一个前向传播的网络，不需要反向传播优化参数。
这是因为PNN结合了贝叶斯决策，来判断测试样本的类别。
1.1关于贝叶斯决策1.2关于概率神经网络的结构其网络并不算很主流的3层，而是4层图中样本特征维度为3，由上图可知，PNN的网络结构分为四层：输入层，模式层、求和层、输出层。
假设训练样本为PNN各层的作用于相互之间关系描述如下：输入层：输入测试样本，节点个数等于样本的特征维度。
感觉根据实际含义输入层中节点个数的确定依据与理由也大都同BP中的相关说法相似。
模式层：计算测试样本与训练样本中的每一个样本的Gauss函数的取值，节点个数等于训练样本的个数。
机器学习模型中，超参数是在开始学习过程之前设置值的参数这个时候不得不设定一些合适的寻址算法，相关的能够使用的寻址算法其实有很多，可以是GA算法，可以是SA（模拟退火），可以是PSO（粒子群算法），可以是AFSA（人工鱼群算法），可以是萤火虫算法，相关套路很多。
求和层：求取相同类别测试样本对应的模式层节点输出之和，节点个数等于训练样本的类别个数。
训练样本的类别个数其实就是侧面反映的label的个数输出层：对上述求和层输出进行归一化处理求取测试样本对应不同类别的概率，根据概率大小判断测试样本的类别，节点个数为1。
概率神经网络（PNN）一、引言概率神经网络它主要用于模式分类，是径向基网络的一个分支，是基于贝叶斯策略前馈神经网络。
它具有如下优点：学习过程简单、训练速度快；分类更准确，容错性好等。
从本质上说，它属于一种有监督的网络分类器，基于贝叶斯最小风险准则。
二、PNN结构该神经网络与GRNN类似由输入层、隐含层和输出层组成。
输入层将变量传递给隐含层，但不进行计算，因此该层只起传输数据的作用。
隐含层中的神经元个数等于训练集样本个数，该层的权值函数为欧式距离函数，用||dist||表示，其作用是计算出网络输入与输入层权重IW1,1之间的距离及阈值，阈值用b1表示。
隐含层传递函数为径向基函数，采用高斯函数作为网络的传递函数。
输出层为竞争输出，各神经元依据Parzen方法来球和估计各类的概率，从而竞争输入模式的响应机会，最后仅有一个神经元竞争获胜，这样获胜的神经元即表示对输入变量的分类。
在数学上，PNN结构的特性，可在高维数据空间中解决在低维空间不易解决的问题。
也因此其隐含神经元较多，但隐含层空间的维数和网络性能有着直接的关系，维数越高，网络的逼近精度越高，但带来的负面后果是网络复杂度也随之提高。
三、算法步骤（1）确定隐含层神经元径向基函数中心设训练集样本输入矩阵P和输出矩阵T111211112121222212221212P=,T=m m m m n n nm k k km p p p t t t p p p t t t p p p t t t ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦ 其中，ij p 表示第j 个训练样本的第i 个输入变量；ij t 表示第j 个训练样本的第i个输出变量；n 为输入变量的维度；k 为输出变量的维度；m 为训练集样本数。
隐含层的每个神经元对应一个训练样本，即m 个隐含神经元对应的径向基函数中心C P '=（2）确定隐含层神经元阈值m 个隐含神经元对应的阈值为：111121[,,,]m b b b b =111210.8326m b b b spread==== spread 为径向基函数的扩展速度。
概率神经网络概述
概率神经网络（Probabilistic Neural Network，PNN）是由D. F. Specht 在1990年提出的。
主要思想是贝叶斯决策规则，即错误分类的期望风险最小，在多维输入空间内分离决策空间。
它是一种基于统计原理的人工神经网络，它是以Parazen窗口函数为激活函数的一种前馈网络模型。
PNN吸收了径向基神经网络与经典的概率密度估计原理的优点，与传统的前馈神经网络相比，在模式分类方面尤其具有较为显著的优势。
1.1 概率神经网络分类器的理论推导
由贝叶斯决策理论：
（1-1）
其中。
一般情况下，类的概率密度函数
是未知的，用高斯核的Parzen估计如下：
（1-2）
其中，
是属于第
类的第k个训练样本，
是样本向量的维数，
是平滑参数，
是第
类的训练样本总数。
去掉共有的元素，判别函数可简化为：
（1-3）
1.2 概率神经元网络的结构模型
PNN的结构以及各层的输入输出关系量如图1所示，共由四层组成，当进行并行处理时，能有效地进行上式的计算。
图1 概率神经网络结构
如图1所示，PNN网络由四部分组成：输入层、样本层、求和层和竞争层。
PNN的工作过程：首先将输入向量
输入到输入层，在输入层中，网络计算输入向量与训练样本向量之间的差值
的大小代表着两个向量之间的距离，所得的向量由输入层输出，该向量反映了向量间的接近程度；接着，输入层的输出向量
送入到样本层中，样本层节点的数目等于训练样本数目的总和，
，其中M是类的总数。
样本层的主要工作是：先判断哪些类别输入向量有关，再将相关度高的类别集中起来，样本层的输出值就代表相识度；然后，将样本层的输出值送入到求和层，求和层的结点个数是M，每个结点对应一个类，通过求和层的竞争传递函数进行判决；最后，判决的结果由竞争层输出，输出结果中只有一个1，其余结果都是0，概率值最大的那一类输出结果为1。
2.基本学习算法
第一步：首先必须对输入矩阵进行归一化处理，这样可以减小误差，避免较小的值呗较大的值“吃掉”。
设原始输入矩阵为：
（2-1）
从样本的矩阵如式（2-1）中可以看出，该矩阵的学习样本由m个，每一个样本的特征属性有n个。
在求归一化因子之前，必须先计算
矩阵：
然后计算：
（2-2）
式中，
则归一化后的学习矩阵为C。
在式（2-2）中，符号
表示矩阵在做乘法运算时，相应元素之间的乘积。
第二步：将归一化好的m个样本送入网络样本层中。
因为是有监督的学习算法，所以很容易就知道每个样本属于哪种类型。
假设样本有m个，那么一共可以分为c类，并且各类样本的数目相同，设为k，于是m=k*c。
第三步：模式距离的计算，该距离是指样本矩阵与学习矩阵中相应元素之间的距离。
假设将由P个n维向量组成的矩阵称为待识别样本矩阵，则经归一化后，需要待识别的输入样本矩阵为：
（2-3）
计算欧氏距离：就是需要是别的样本向量，样本层中各个网络节点的中心向量，这两个向量相应量之间的距离：
（2-4）
第四步：样本层径向基函数的神经元被激活。
学习样本与待识别样本被归一化后，通常取标准差
的高斯型函数。
激活后得到出事概率矩阵：
(2-5)
第五步：假设样本有m个，那么一共可以分为c类，并且各类样本的数目相同，设为k，则可以在网络的求和层求得各个样本属于各类的初始概率和：
（2-6）
上式中，
代表的意思是：将要被识别的样本中，第i个样本属于第j类的初始概率和。
第六步：计算概率
，即第i个样本属于第j类的概率。
（2-7）
3.特点
概率神经网络具有如下特性：
（1) 训练容易，收敛速度快，从而非常适用于实时处理；
（2) 可以完成任意的非线性变换，所形成的判决曲面与贝叶斯最优准则下的曲面相接近；
（3) 具有很强的容错性；
（4) 模式层的传递函数可以选用各种用来估计概率密度的核函数，并且，各分类结果对核函数的形式不敏感；
（5) 各层神经元的数目比较固定，因而易于硬件实现。
4.不足之处
概率神经网络的不足主要集中在其结构的复杂性和网络参数的选择上。
PNN
网络进行模式分类的机理是基于贝叶斯最小风险决策，为了获得贝叶斯准则下的最优解，必须保证有足够多的训练样本。
PNN的拓扑结构和训练样本数目成直接比例关系，每个训练样本决定一个隐含层神经元，所以当训练样本数量巨大时，将导致
规模庞大的神经网络结构，阻碍了PNN网络的推广和应用。
而且，PNN的网络参数（比如连接权重，Parzen窗函数的平滑因子等），也很大程度的决定着网络的性能。
此外PNN对训练样本的代表性要求高；需要的存储空间更大。
5.应用领域
概率神经网络主要应用于分类个模式识别领域，其中分类方面应用最为广泛，这种网络已较广泛地应用于非线性滤波、模式分类、联想记忆和概率密度估计当中。
