神经网络分类器

概率神经网络（PNN）一、引言概率神经网络它主要用于模式分类，是径向基网络的一个分支，是基于贝叶斯策略前馈神经网络。

它具有如下优点：学习过程简单、训练速度快；分类更准确，容错性好等。

从本质上说，它属于一种有监督的网络分类器，基于贝叶斯最小风险准则。

二、PNN结构该神经网络与GRNN类似由输入层、隐含层和输出层组成。

输入层将变量传递给隐含层，但不进行计算，因此该层只起传输数据的作用。

隐含层中的神经元个数等于训练集样本个数，该层的权值函数为欧式距离函数，用||dist||表示，其作用是计算出网络输入与输入层权重IW1,1之间的距离及阈值，阈值用b1表示。

隐含层传递函数为径向基函数，采用高斯函数作为网络的传递函数。

输出层为竞争输出，各神经元依据Parzen方法来球和估计各类的概率，从而竞争输入模式的响应机会，最后仅有一个神经元竞争获胜，这样获胜的神经元即表示对输入变量的分类。

在数学上，PNN结构的特性，可在高维数据空间中解决在低维空间不易解决的问题。

也因此其隐含神经元较多，但隐含层空间的维数和网络性能有着直接的关系，维数越高，网络的逼近精度越高，但带来的负面后果是网络复杂度也随之提高。

三、算法步骤（1）确定隐含层神经元径向基函数中心设训练集样本输入矩阵P和输出矩阵T111211112121222212221212P=,T=m m m m n n nm k k km p p p t t t p p p t t t p p p t t t ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦ 其中，ij p 表示第j 个训练样本的第i 个输入变量；ij t 表示第j 个训练样本的第i个输出变量；n 为输入变量的维度；k 为输出变量的维度；m 为训练集样本数。

隐含层的每个神经元对应一个训练样本，即m 个隐含神经元对应的径向基函数中心C P '=（2）确定隐含层神经元阈值m 个隐含神经元对应的阈值为：111121[,,,]m b b b b =111210.8326m b b b spread==== spread 为径向基函数的扩展速度。

K-means聚类神经网络分类器在睡眠脑电分期中的应用研究贾花萍;李尧龙;哈渭涛;史晓影【摘要】Because the sleep stage III and IV approximate entropy (ApEn) values are very close, using the approximate entropy method for sleep staging EEC signal, they are not distinguished. AR model of staging results in stage III and IV EEG signal is established as the EEC signal characteristics.and K-means clustering neural network classifier is used for the sleep phase III and IV stage, so a good stage effect is achieved.%利用近似熵的方法对睡眠 EEG 信号进行分期,但睡眠Ⅲ期和Ⅳ期近似熵值非常接近,靠近似熵值无法区分,对分期结果中的Ⅲ期和Ⅳ期EEG信号进行AR(自回归)建模,作为该段EEG信号的特征属性,利用K-means聚类的神经网络分类器时睡眠Ⅲ期和Ⅳ期进行分期,达到了很好的分期效果.【期刊名称】《河南科学》【年(卷),期】2012(030)006【总页数】3页(P730-732)【关键词】分类器;聚类;睡眠脑电;分期【作者】贾花萍;李尧龙;哈渭涛;史晓影【作者单位】渭南师范学院数学与信息科学学院,陕西渭南 714000;渭南师范学院数学与信息科学学院,陕西渭南 714000;渭南师范学院数学与信息科学学院,陕西渭南 714000;渭南师范学院物理与电气工程学院,陕西渭南 714000【正文语种】中文【中图分类】TP18睡眠是人体重要的生理活动，它与健康、工作、学习等之间的关系甚为密切.对睡眠进行合理的分期，是研究睡眠质量，诊断睡眠疾病的基础.目前国际公认的睡眠分期标准是1968年Rechts chaffen和Kales[1]提出，依据脑电、肌电、眼动电等生物电变化指标制定的（R＆K）.把睡眠分为非快眼动睡眠（non－rapid eye movement sleep，NREM）和快眼动睡眠（rapid eye movement sleep，REM），非快眼动睡眠又分为四个时期：一、二、三、四期睡眠.对睡眠进行分期是睡眠状况分析和睡眠质量评价的前提和基本内容[2].传统的基于脑电的睡眠分析方法有：脑电图的时域分析方法如波形的幅度、均值等以及脑电图的频域分析方法如功率谱、相干函数等.也有用脑电的近似熵、复杂度和分形维数来分析睡眠过程的报道[3-8].聚类技术在许多领域都得到了广泛的研究和成功的应用，如用于模式识别、数据分析、图像处理、市场研究、客户分割、Web文档分类等[9].聚类是由给定的数据找出最相似组的方法，也就是说属于同一组的数据具有较大的相似性，而属于不同组的数据具有较大的差异性.由于采用不同的迭代重定位技术可以得到不同的聚类算法，因此，存在许多不同类型的算法[10].神经网络的差异性是影响集成学习性能的一个必要条件，也就是说没有差异性的集成学习是不可能提高学习性能的.采用K－means聚类方法来提高神经网络之间的差异性.通过产生大量的神经网络并对其聚类，然后在每个簇中选取代表模型作为集成学习的成员.设X=｛x1，x2，…，xn｝⊂Rp为p维实空间Rp中的一个有限样本数据集.通过Bootstrap技术产生s个训练集，然后利用神经网络学习算法进行学习，设获得的s个神经网络为E=｛n1，n2，…，ns｝，也就是进行聚类的“模型”数据.为了利用已有的K－means聚类算法，采用抽样技术利用数据集X获得一个验证集V，然后将获得的s个分类器在验证集V中进行测试，利用验证集中数据的结果进行聚类，以便达到神经网络模型聚类的目的.假设对这组神经网络聚类的结果为：N1，N2，…，NK（k为要聚类的簇数）.它们满足如下条件：2）在每个簇中的神经网络满足：∀Ni，Nj，nl，nn，i≠j，nl，nm∈Ni，nn∈Nj （nl属于Ni聚类结果中神经网络），则prob（nl，fail，nm，fail）＞prob（nl，fail，nn，fail），也就是说，属于同一簇中的两个神经网络之间的差异性必然小于属于不同簇中的两个神经网络之间的差异性.在选择神经网络进行集成的时候，要选择不同子类的基分类器进行集成，从而提高这几个基分类器之间的差异性.在实验中，选择每个簇的中心点进行集成.在实现K－means算法时，确定两个神经网络之间的距离是实现这个算法的关键.根据Giorgio Giacinto等人的研究成果，并在大量实验的基础上，两个神经网络之间的距离定义如下：其中：nm，nn分别为神经网络，prob（nm，fail，nn，fail）为两个神经网络对同一测试集同时失败的概率.下面给出基于K－means聚类的神经网络分类器集成算法，记为KCNE：步骤1：初始化将数据集划分为训练集TR、验证集V与测试集TE，设置训练的神经网络数目为s，聚类的簇数为k；步骤2：对训练集TR利用Bootstrap技术生成s个神经网络E=｛n1，n2，…，n｝s，并对验证集V中数据分类.步骤4：利用K－means聚类方法对神经网络进行聚类，并在每个簇中分别选取代表模型作为集成学习的个体；步骤5：选择一种融合方法，将集成个体在测试集TE上的分类结果进行融合.睡眠脑电数据来自MIT－BIH生理信息库中的睡眠数据库，数据采样率为250 Hz，16个测试对象，男性，年龄：32～65岁之间，记录数据包括心电信号（ECG），脑电信号（EEG），其中，睡眠分期是由经验丰富的医生所进行的人工睡眠分期的结论，以此分期结果作为研究各睡眠期特征的参考标准.以30 s反映一个睡眠阶段，数据采样率为250 Hz，7500点的数据反映一个睡眠阶段，选择N=1500（N为睡眠数据长度），即每5个点反映一个睡眠阶段，从中选择一个受试者，以受试者的第3小时为例，计算这个时间段EEG数据的近似熵，根据人工分期结果，计算这个时间段睡眠各期近似熵的平均值，再分析睡眠各期近似熵大小及变化情况.受试者第3小时的EEG信号近似熵曲线如图1，其中，横坐标为时间，单位为小时（h），纵坐标为近似熵值.与人工分期结果比较之后计算出睡眠各期近似熵平均值如表1.当人清醒时，近似熵值最大，随着睡眠的逐渐深入，大脑的思维活动逐渐减少，近似熵值也从清醒到Ⅰ期，Ⅱ期逐渐减少，到Ⅲ期，Ⅳ期进入深度睡眠状态，大脑思维活动减少，近似熵值最低，REM期，EEG信号又与Ⅰ期类似，近似熵值从最低点开始回升，并接近Ⅰ期值.而Ⅲ期和Ⅳ期的近似熵值很接近，对Ⅲ期和Ⅳ期的特征波进行分析，Ⅲ期的近似熵值略大于Ⅳ期，因此，仅仅根据近似熵值无法区分Ⅲ期和Ⅳ期，可用近似熵值对睡眠状态进行分期，将Ⅲ期和Ⅳ期划分到一起，然后用神经网络的方法对Ⅲ期和Ⅳ期进行分期.由于AR模型可以很好的反映信号的功率谱密度信息，而睡眠Ⅲ期和Ⅳ期之间最重要的区别是δ波（频率为每秒0.5～3次，波幅为20～200 μV，表示大脑处于无梦深睡状态，是婴儿大脑的基本波形，在生理性慢波睡眠状态和病理性昏迷状态也会见到）大于20%，不超过50%.Ⅳ期的δ波超过50%，并且波幅更高，频率更低，因此，可以对Ⅲ期和Ⅳ期的EEG信号进行AR建模，求取AR系数作为特征向量，数据采样率为250 Hz，30 s反映一个睡眠阶段，这样，一个睡眠阶段的采样值将有7500个采样点，选择数据长度为500，以1 s为滑动窗，建模后得到174个AR系数作为该段睡眠的特征属性.利用K-means聚类的神经网络分类器集成算法对睡眠Ⅲ期和Ⅳ期进行分期，分期结果正确率为91.8%，达到了很好的分期效果.【相关文献】［1］ Rechtschaffen A，Kales A.A manual of standardized，terminology techniques and scoring system for sleep stages of human subjects［M］.Washington D C：Government Printing Office，Public Health Service，1968.［2］梁晓花.基于脑电心电数据融合的睡眠分期［D］.镇江：江苏大学，2008.［3］刘慧，和卫星，陈晓平.睡眠脑电的非线性动力学方法［J］.江苏大学学报：自然科学版，2005，26（2）：174－177.［4］和卫星，陈晓平，邵珺婷.基于样本熵的睡眠脑电分期［J］.江苏大学学报：自然科学版，2009，30（5）：501－504.［5］肖余粮，和卫星，陈晓平，等.小波变换和小波熵在睡眠脑电信号变化特性研究中的应用价值［J］.中国临床康复，2006，10（25）：118－120.［6］ Chen Weiting，Wang Zhizhong，Xie Hongbo，et al.Characterization of surface EMG signal based on fuzzy entropy［J］.IEEE Transactions on Neural Systems and Rehabilitation Engineering，2007，15（2）：267－272.［7］ Pedro P，Pavel G，Leticia A.Sleep stage classification using fuzzy sets and machine learning techniques［J］.Neurocomputing，2004（58）：1137－1143.［8］ Ventours E M，Monoyiou E A，Ktonas P Y，et al.Sleep spindle detection using artificial neuralnetworks trained with filtered timedomain EEG：a feasibility study ［J］.Compute Methods Programs Biomed，2005，78（3）：191－207.［9］ Han Jia Wei，Kamber M.数据挖掘概念与技术［M］.范明，孟晓峰，译.北京：机械工业出版社，2001.［10］ Yang M S，Wu K L.A similarity－based robust clustering method［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2004，26（4）：434－448.。