当前位置：文档之家 › 切比雪夫正交基神经网络的权值直接确定法

切比雪夫正交基神经网络的权值直接确定法

  • 格式：pdf
  • 大小：291.73 KB
  • 文档页数：5

下载文档原格式

  / 5

合集下载

多元切比雪夫神经网络及其快速权值确定算法

多元切比雪夫神经网络及其快速权值确定算法

ＸＩ ＮＧ Ｙｏ ｎ ｇ ｋ ａ ｎ ｇ ，Ｓ ＨＩ Ｙａ ｎ ｇ ， Ｍ Ｏ Ｕ Ｃｈ ａ ｏ ．Ｍ ｕ ｌ ｔ ｉ ｖ ａ ｒ ｉ ａ ｔ ｅ Ｃｈｅ ｂ ｙ ｓ ｈｅ ｖ ｎ ｅ ｕ ｒ ａ ｌ ｎ ｅ ｔ ｗｏ ｒ ｋ ａ ｎｄ ｑ ｕｉ ｃ ｋ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ．Ｃｏ ｍ—
摘
要： 与 传统 的多层 感知 器模型 相 比 ， 切 比雪 夫神 经 网络 具有 收敛 速度 快 ， 复 杂度 低 ， 泛化 能 力强 等优 点 ， 但是 ， 其研 究
最 为 广泛 的一 元切 比 雪夫神 经 网络在 解 决 实 际应 用 中的 多元 问题 时存 在 着很 大局 限 。鉴 于此 ， 对 一元 切 比雪 夫神 经 网络 进 行 扩展 ， 提 出 了多元 切 比 雪 夫神 经 网络模 型 ， 并在 切 比 雪夫 多项 式正 交性 的基 础 上给 出 了快速 权 值确 定 算法 。 仿真 实 验证明， 相 对 于传统 多层感知 器神 经 网络 ， 该 方法 在计 算精度 和计 算速 度等 方 面都存 在 明显优 势。 关 键词 ： 神 经 网络 ； 切 比 雪夫 多项式 ； 多元 函数 ； 权值 快速 计 算 文献 标志 码 ： Ａ 中图 分类号 ： Ｔ Ｐ １ ８ ３ ｄ ｏ ｉ ： １ ０ ． ３ ７ ７ ８ ／ ｊ ． ｉ ｓ ｓ ｎ ． １ ０ ０ ２ — ８ ３ ３ １ ． １ ２ ０ ４ ． ０ ２ ５ ０
ｐ ｕ ｔ ｅ ｒ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ ａ ｎ ｄ Ａｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ， ２ ０ １ ３ ， ４ ９ （ １ ３ ） ： ３ ６ — ３ ９ ．
Ａｂｓ ｔ ｒ ａ ｃ ｔ ：Ｃｏ ｍｐ ａ ｒ ｅ ｄ ｗｉ ｔ ｈ ｔ ｈ ｅ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｍｕ ｌ ｔ ｉ — ｌ ａ ｙ ｅ ｒ ｐ ｅ ｒ ｃ ｅ ｐ ｔ ｒ ｏ ｎ ｍｏ ｄ ｅ ｌ ， Ｃｈ ｅ ｂ ｙ ｓ ｈ ｅ ｖ ｎ ｅ ｕ ｒ ａ ｌ ｎ ｅ ｔ ｗｏ ｒ ｋ ｈ ａ ｓ ｆ ａ ｓ ｔ ｃ ｏ ｎ ｖ ｅ ｒ ｇ ｅ ｎ ｃ ｅ ，ｌ ｏ ｗ

切比雪夫正交基神经网络的权值直接确定法

切比雪夫正交基神经网络的权值直接确定法

1 引言
人工神经网络 因其 高度的 并行 性、 分布式 存储、 自 适应 自学习能力等显著的特点 , 在人工智能、 模式 识别、 信号处理 和机器人及 其非线 性控 制等领 域有 着广 泛的 应用 [ 1- 3] 。我 们也曾利用神经网 络开 展过科 学计 算工作 如矩 阵方程 求解 和矩阵实时求逆等 [ 4- 5] 。在实际应用 中 , 很多 人工神 经网络 模型是采用 基于 误差 回传 ( Back P ropagation, 即 BP ) 的 神经 网络及其变形体 , 它们可以说是应用最 广泛也最重 要的网络
[ 8- 9 ]
U0 ( x ) = 1 ; Uj ( x ) = j 2
f loo r(j / 2 )
E
( - 1) i
i= 0
( j - i - 1 )! ( 2x ) j- 2i , j \ 1 ! ( j - 2 i)! i
并且对于 Uj ( x ), 有递推关系式 : Uj+ 1 ( x ) = 2x Uj ( x ) - Uj- 1 ( x ), j = 1 , 2, 3, ,。 在图 1, 给出了切比雪夫正交基神经网络的模型。 它由输 入层、 隐层和输出层组 成 , 其中 输入 层和输 出层 有一 个神经 元使用 线性激励 函数 f ( x ) = x (并固 定其权 值为 1、 阀值为 0 ), 而隐层 有 n 个神经元并使用一组阶次逐渐增高 的切比雪 夫正 交多项式函数 Uj ( x ) 作为激励函数 , j = 0, 1, 2, ,, n - 1; 换言之 , 隐层第 j + 1 个神经元的激励函数是 Uj ( x )。 其中 , U0 ( x ) = 1 U1 ( x ) = x U2 ( x ) = 2x2 - 1 U3 ( x ) = 4x3 - 3x U4 ( x ) = 8x4 - 8x2 + 1 , (x I , , [ - 1, 1] , j = 0, 1, 2, ,, n - 1 )

基函数神经网络及应用_第五章Hermite神经网络

基函数神经网络及应用_第五章Hermite神经网络
2
切比雪夫（Chebyshev）多项式，它也可以表示成为 U n ( x) 也 值 得 注 意 的 是 , 雅 可 比 （ Jacobi ） 多 项 式 J n
sin(n 1) arccos x 1 x2
, ( x 1) 。
( , )
( x) 还 是 二 阶 线 性 齐 次 微 分 方 程
c H ( x)
i 0 i i
n
(5.3)
可以是 f ( x) 的最佳均方逼近（其中，理论上，ci



f ( x) Hi ( x)dx



Hi2 ( x)dx , i 0,1, 2,, n ） 。
由上述定理 5.1 可知，对于未知目标函数 f ( x) ，若采用 Hermite 多项式 H n ( x), n 0,1,2, 对 其做最佳均方逼近，则可用 H n ( x), n 0,1,2, 的加权和函数
y
HCNN
sort ( )
y
sort ( y )
HCNN
Chaotic initial value 图 5.5 HCNN 异步加密原理框图
一、 加密算法 在图 5.5 中，发送方进行如下操作： Step1 用已知的混沌序列样本做为 Hermite 神经网络（HNN）的训练模式，确定网络权值 c j ， 当 J 时，Hermite 混沌神经网络（HCNN）辨识模型因此构造成功（需保密） ，并通过秘密信道 传送给接收方； Step2 对于给定的明文序列 M m1m2 mq ; q M 为明文序列长度； 任选混沌初值 y0（可公 开） ，代入 HCNN 辨识模型，计算即可得到非线性序列 y [ y (1), y (2), , y ( q )] （保密） ； Step3 计算 sort ( y ) ， 为将序列 y 从小到大排序后的下标向量（保密） ；则明文根据 进 行置换可得密文，即 C M ( ) （可公开） 。 Step4 通过公开信道将混沌初值 y0 和密文 C 传送给接收方。 二、异步解密算法 在图 5.5 中，接收方进行如下操作： Step1 从公开信道接收密文 C 和混沌初值， 易得 q C ， 将 y0 代入经秘密信道传送来的 HCNN 辨识模型即可得到与发送方相同的非线性序列 y ； Step2 计算 sort ( y ) ， sort ( ) ，则密文根据 置换可得明文，即 M C ( ) 。

基于CFD 原理的架空输电线路故障概率估算方法

基于CFD 原理的架空输电线路故障概率估算方法

基于CFD 原理的架空输电线路故障概率估算方法胥志强;吴杰康【摘要】In allusion to influence on safe and stable operation of overhead transmission lines by lightning,wind speed,icing, flashover,bird touch,line dancing,aging,and so on,this paper discusses failure rate forecasting model for overhead trans-mission lines. It firstly fluidizes failure rate of overhead transmission lines and considers influence of various uncertain fac-tors,then conducts weighted optimization on related influencing factors so as to solve for comprehensive health index. Meanwhile,it modifies fluid failure probability distribution of transmission lines for establishing a forecasting model for fail-ure rate of overhead transmission lines affected by various factors. Finite volume method (FVM)is used for meshing for this model as well as computational fluid dynamics (CFD)principle is applied for simulation calculation,and predicted values with high accuracy are finally assessed according to results obtained. By taking IEEE 9,IEEE 30,IEEE 57 and IEEE 118 systems for calculation and analysis,it expounds that this model can effectively improve failure rate forecasting precision, and proves feasibility of CFD simulation in solving the problem of failure rate of overhead transmission lines.%针对雷击、风速、覆冰、污闪、鸟类接触、线路舞动和老化等对架空输电线路安全稳定运行的影响,对架空输电线路故障率预测模型进行探讨。

基于相空间重构和Chebyshev正交基神经网络的短期负荷预测

基于相空间重构和Chebyshev正交基神经网络的短期负荷预测

基于相空间重构和Chebyshev正交基神经网络的短期负荷预测杨胡萍;王承飞;朱开成;胡奕涛【摘要】电力系统短期负荷数据具有明显的混沌特性.在讲述混沌中相空间重构的相关理论后,计算了算例中需要用到的延迟时间和嵌入维数.根据正交多项式优越的泛化和预测性能,在简单介绍Chebyshev正交基函数后,构建了单输入Chebyshev 正交基神经网络预测模型.由于重构后的相空间中每个相点的分量个数不止一个,故所构建的单输入预测模型无法满足要求.为此,在单输入的基础上,设计了基于相空间重构的多输入Chebyshev正交基神经网络动态预测模型,将该模型运用到短期负荷预测中,取得了很高的精度和很好的预测效果.%The electric power system short-term load data has obvious chaos characteristics. After talking about the related theory of phase space reconstruction in chaos, this paper calculates the delay time and embedded dimension needed in later example. According to orthogonal polynomial prediction's superior generalization and forecast performance, the paper constructs a single input neural network forecast model which is based on Chebyshev orthogonal basis after introducing Chebyshev orthogonal basis briefly. Because the point of every phase point in phase space reconstructed is more than one, the foregoing model can not meet the requirements. Therefore, the paper designs a multi input dynamic prediction model of Chebyshev orthogonal basis neural network based on phase space reconstruction. Through applying it to short-term load forecasting, the model gets a high precision and good prediction effect.【期刊名称】《电力系统保护与控制》【年(卷),期】2012(040)024【总页数】5页(P95-99)【关键词】混沌理论;相空间重构;Chebyshev;神经网络;短期负荷预测【作者】杨胡萍;王承飞;朱开成;胡奕涛【作者单位】南昌大学信息工程学院,江西南昌330031;南昌大学信息工程学院,江西南昌330031;江西赣西供电公司,江西新余336500;南昌大学信息工程学院,江西南昌330031【正文语种】中文【中图分类】TM7150 引言短期负荷预测是指一年之内以月、周、天、小时为单位的负荷预测。

切比雪夫判别法

切比雪夫判别法

切比雪夫判别法切比雪夫判别法（Chebyshev's inequality）是概率论中一种常用的不等式，用于描述一个随机变量与其均值之间的关系。

它是由俄罗斯数学家切比雪夫于1867年提出的，被广泛应用于统计学、金融学、工程学等领域。

切比雪夫判别法的核心思想是，对于任意一个随机变量X，无论其分布形态如何，至少有一部分数据落在其均值的k倍标准差范围内，其中k是一个大于1的常数。

具体来说，对于一个随机变量X 的均值μ和标准差σ，切比雪夫不等式可以表达为：P(|X-μ|≥kσ)≤1/k²其中，P代表概率，|X-μ|表示X与其均值的绝对值之差，kσ表示k倍的标准差。

切比雪夫判别法的应用非常广泛。

首先，在概率论中，切比雪夫不等式是一个重要的基本定理，可以用来证明其他概率不等式，如马尔可夫不等式和伯努利不等式等。

其次，在统计学中，切比雪夫不等式可以用来估计一个随机变量与均值之间的偏离程度，从而提供了一种测量分布的可靠性的方法。

此外，切比雪夫判别法还被广泛应用于金融学中的风险管理和投资组合优化等问题，以及工程学中的信号处理和控制系统设计等领域。

切比雪夫判别法的使用需要注意几个方面。

首先，切比雪夫不等式只提供了一个上界，而没有给出具体的概率值。

因此，在实际应用中，需要根据具体的问题和需求，选择适当的k值来估计概率。

通常情况下，k的取值范围是大于1的实数，较大的k值可以得到较为保守的结果，但相应的概率也会变得较低。

其次，切比雪夫不等式对随机变量的分布形态没有要求，适用于任意类型的分布，但在具体应用中，如果已知随机变量的分布形态，可以利用分布特性来进行更精确的分析和判别。

最后，切比雪夫判别法是一种上界估计方法，给出的结果只是一个可能的范围，不能提供精确的概率值。

总之，切比雪夫判别法作为一种重要的概率不等式，在概率论、统计学、金融学和工程学等领域都有广泛的应用。

它提供了一种测量随机变量与其均值之间关系的方法，可以用于估计分布的可靠性、风险管理和控制系统设计等问题。

数据融合在电力系统中的应用

数据融合在电力系统中的应用摘要：为了提高工作效率、减少数据冗余和冲突性，需要将多个系统的关键数据进行融合。

本文根据实际情况，选择数据融合的方式，设计电力数据融合系统，将多个体系来源的数据进行分类融合处理，得到比单一来源更加完善、全面的数据、提高了数据的有效性和可信度。

关键词：数据融合系统；有效性；可信度0引言随着智能电网的不断发展以及信息化技术的逐渐提升，电力系统也应该向智能化和信息化方向发展。

目前，电力系统电力公司内部通常有多个业务系统同时并存，不同的系统由于开发时间节点、开发公司及开发背最等诸多历史原因，导致这些信息系统分别独立运行，或者仅有少量体系简单整合，这给体系的良好运转带来极大挑战。

而且，不同体系中的数据既有交互，又有重叠，但又因特定业务系统的要求不同，其数据内容亦存在一定的不一致性，使数据提取及统一口径造成一定的统计难度。

针对以上问题，为了提高工作效率、减少数据冗余和冲突性，需要将多个业务系统来源的数据进行分类融合处理，根据实际情况，选择数据融合的方式，设计电力数据融合系统，将多个业务系统来源的数据进行分类融合处理，得到比单一来源更加完善、全面的数据、提高了数据的有效性和可信度。

１数据融合方案电网数据广泛分布、种类众多，包括实时数据、历史数据、文本数据、多媒体数据、时同序列数据等各类结构化，半结构化数据以及非结构化数据。

电力数据来源广泛化，分为内部数据和外部数据，电网内部数据主要来源于发电，输电、变电、配电、用电、调度六大环节相关业务系统；外部数据包括可反映经济、社会、政策、气象、用户特征、地理环境等影响电网规划和运行的数据。

因此，为了融合所需的不同业务系统的关键数据，包括企业用电数据，设备状态监测数据，地理空间、气象数据等，现有两种电力数据融合系统设计方案可供选择。

1.1业务整合业务整合方案需要将所有的业务系统进行重新设计为单一系统。

优点：统一入口、统一出口、无冗余、无数据冲突。

【计算机科学】_随机权值_期刊发文热词逐年推荐_20140724


推荐指数 1 1 1 1 1 1
2012年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
科研热词 项目类别 随机游走 随机序列 质量服务 虚通道 虚拟信号强度 肿瘤基因表达谱 相关信息熵 特征选择 混合推荐 带宽分配 定位 优先级权值 两层图 rfid infiniband网络
推荐指数 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2013年 序号 1 2 3 4
2013年 科研热词 集成学习 随机约简 间隔分布 邻域粗糙集 推荐指数 1 1 1 1
2014年 序号 1 2 3 4
科研热词 搜索引擎 实体排序 图 web
推荐指数 1 1 1 1
2009年 序号 1 2 3 4
科研热词 结构自适应确定 神经网络 权值直接确定 chebyshev正交基
推荐指数 1 1 1 1
2010年 序号 1 2 3 4
科研热词 遗传算法 语音识别 神经网络 小波分析
推荐指数 1 1 1 值 随机性 模糊性 可信网络 信誉 云模型

多输入Sigmoid激励函数神经网络权值与结构确定法

多输入Sigmoid激励函数神经网络权值与结构确定法张雨浓;曲璐;陈俊维;刘锦荣;郭东生【期刊名称】《计算机应用研究》【年(卷),期】2012(029)011【摘要】In order to overcome the inherent drawbacks of the BP neural network as well as its learning algorithms, this paper proposed a two-stage automatic search and determination method for optimal structure, which was based on the pseudoinverse-type weights direct determination (WDD) method. Taking function approximation for example, numerical experiment results demonstrate the proposed two-stage algorithm is effective and timesaving. They further show that the neural network has relatively excellent performance of approximation (i. e. , training and testing) on multivariate functions.%结合伪逆直接计算得到神经元之间最优权值的方法,提出了一种双阶段自动搜索与确定最优网络结构的算法,克服了原有BP 神经网络模型及其学习算法的固有缺陷.以函数逼近为例,计算机数值实验结果显示了算法有效且耗时短,证实了由该算法得到的网络对于多输入函数具有较优良的逼近(学习与校验)性能.【总页数】5页(P4113-4116,4151)【作者】张雨浓;曲璐;陈俊维;刘锦荣;郭东生【作者单位】中山大学信息科学与技术学院,广州510006;中山大学信息科学与技术学院,广州510006;中山大学信息科学与技术学院,广州510006;中山大学信息科学与技术学院,广州510006;中山大学信息科学与技术学院,广州510006【正文语种】中文【中图分类】TP183【相关文献】1.切比雪夫正交基神经网络的权值直接确定法 [J], 张雨浓;李巍;蔡炳煌;李克讷2.多输入Laguerre正交多项式前向神经网络权值与结构确定法 [J], 张雨浓;刘锦荣;殷勇华;肖林3.权值与结构双确定法的RBF神经网络分类器 [J], 张雨浓;王茹;廖柏林;刘锦荣;林键煜4.基于权值与结构确定法的单极Sigmoid神经网络分类器 [J], 张雨浓;陈俊维;刘锦荣;曲璐;黎卫兵5.SIMO傅里叶三角基神经网络的权值直接确定法和结构自确定算法 [J], 张雨浓;李钧;张智军;阮恭勤;姜孝华因版权原因，仅展示原文概要，查看原文内容请购买。

切比雪夫阶数确定 -回复

切比雪夫阶数确定-回复什么是切比雪夫阶数的确定方法？切比雪夫阶数的确定方法是一种用于确定数字滤波器阶数的方法。

在数字信号处理中，滤波器是一个常用的工具，用于去除信号中不需要的频率成分或改变信号的频率响应。

滤波器的性能通常可以通过阶数来衡量，阶数越高，滤波器的性能通常越好。

切比雪夫滤波器是一类具有特定频率响应特性的滤波器。

它的特点是在通带和阻带都能够提供最大的滤波带宽，但为了实现这种特性，需要增加滤波器的阶数。

因此，如何确定切比雪夫滤波器的阶数成为了一个重要的问题。

确定切比雪夫滤波器的阶数的一种常用方法是通过设定滤波器的通带波纹和阻带衰减。

通带波纹是指在滤波器的通带内出现的最大幅度变化，阻带衰减是指滤波器在阻带内的衰减量。

根据这两个参数的要求，可以利用切比雪夫滤波器的设计公式来计算出滤波器的阶数。

首先，设定通带波纹和阻带衰减的目标值。

通常情况下，通带波纹的目标值越小，滤波器的阶数需求就越高。

阻带衰减的目标值则决定了滤波器在阻带中的衰减量。

根据通带波纹和阻带衰减的目标值，可以使用下面的公式计算切比雪夫滤波器的阶数：N = log((10^(A/10)-1) / (10^(S/10)-1)) / (2 * log(ωc))其中，N表示滤波器的阶数，A表示通带波纹的目标值（以分贝为单位），S表示阻带衰减的目标值（以分贝为单位），ωc表示滤波器的截止频率。

将通带波纹和阻带衰减的目标值代入公式，即可计算出切比雪夫滤波器的阶数。

需要注意的是，切比雪夫滤波器的阶数计算结果通常是一个实数，但实际的滤波器阶数必须是一个整数。

因此，在计算出的结果上取整，以确定最终的滤波器阶数。

总结起来，切比雪夫阶数的确定方法在数字滤波器设计中起着重要的作用。

根据通带波纹和阻带衰减的目标值，通过计算公式可以确定滤波器的阶数，以实现滤波器设计的需求。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

基金项目 : 中国国家自然科学基金 ( 60643004) 、 中山大 学科研启 动费 和后备重点课题。 收稿日期 : 2007 - 11- 11 修回日期 : 2007- 11- 30
)
157 )
的权值直接确定法 , 从而 避免了 传统 BP 算 法的 冗长迭 代过 程。值得指出的是 , 该神经网络的隐层 神经元权值 可以通过 BP 算法反复迭代 训练而 获得 , 也可 以利 用本 文提 出的 基于 伪逆思想的权值 直接 确定 法而得 到。仿真 结果 显示基 于伪 逆的权值直接确定法不仅具有 更快的计算速 度 , 而 且可以获 得至少与传统的 BP迭代算法相同的工 作精度。
则称多项 式系 { Uj ( x ) } 在 [ - 1, 1 ] 上对于 权函 数 Q( x ) = ( 1 - x2 ) - 1 / 2 构成正交系 , { Uj ( x ) } 即为切比雪夫正交多项 式 (第一类 ), 它满足如下的正交性 [ 9 ] : 0, dx = P / 2, P, iX j i= j> 0 i= j= 0
A Chebyshev Orthogonal B asis N eural N etwork w ith D irectW eight D eter m ination
ZHANG Yu- nong , L IW e,i CA I B ing- huang, L I K e- ne
( D epa rt m en t of E lectronics and Comm un ication Eng inee ring , Sun Y at- Sen U n iv ers ity , G uang zhou G uangdong 510275, Ch ina) ABSTRACT: Standard BP neura l netwo rk is based on the erro r back- propaga tion m ethod . Fo r a spec ia l neura l ne t work m ode,l the we ights cou ld be deter m ined d irec tly w ithout lengthy iterative updating by using a pseudo - inverse m e thod . Based on po lynom ia l in terpolation and approx i m a tion theory , a Chebyshev orthogonal basis neura l ne t w ork is constructed in th is pape r . The model adopts a three- laye r structure , where the h idden- layer neurons are activa ted by a g roup o f Chebyshev orthogonal po lyno m ia l functions . T he w eight updating for m ula is derived by fo llow ing the standa rd BP tra in ing m e thod . M ore i m po rtan tly , the pseudo- inverse based me thod is then proposed, which cou ld mm ediate ly deter i m ine the neura l- network we ights. Co m pute r si m ulation resu lts show that the one- step we ightde ter m ination m ethod cou ld be m ore effic ient than the conventional BP ite rative- tra in ing m ethod, equally- h igh w ork ing- prec ision at least , wh ich revea ls its advantages . KEYW ORDS : Chebyshev orthogonal po lynom ia ls ; A rtific ia l neural netwo rks ; A ctivation functions ; W eigh t- updating fo r mu la ; One- step w eight- de ter m ina tion ; P seudo- inverse in add ition to the
第 26 卷
第 1期
计
算
机
仿
真
2009 年 1 月
文章编号 : 1006 - 9348( 2009) 01 - 0157- 05
切比雪夫正交基神经网络的权值直接确定法
张雨浓, 李 巍 , 蔡炳煌, 李克讷
(中山大学电子与通信工程系 , 广东 广州 510275) 摘要 : 经典的 BP 神经网络学习算法是基于误差回传的思想。而对于特定的网络模型 , 采用伪逆思想可以直接确定权值进而 避免以往的反复迭代修正的过程。根据多项式插值和逼近理论构造一个切比雪夫正交基神经网络 , 其模型采用三 层结构并 以一组切比雪夫正交多项式函数作为隐层神经元的激励函数。依据误差回传 ( BP) 思想可以推导出 该网络模型的 权值修正 迭代公式, 利用该公式迭代训练可得到网络的最优权值。区别于这种经典的做法 , 针对切比雪夫正交基神经网络 模型 , 提出 了一种基于伪逆的权值直接确定法 , 从而避免了传统方法通过反复迭代才能得到网络权值的冗长训练过程。仿真 结果表明 该方法具有更快的计算速度和至少相同的工作精度 , 从而验证了其优越性。 关键词 : 切比雪夫正交多项式 ; 人工神经网络 ; 激励函数 ; 权值修正公式 ; 权值一步确定 ; 伪逆 中图分类号 : TP183 文献标识码 : A
表 1
输入 /输出 输入 x 输出 y
定义 1[ 9 ] (切比雪夫正交多 项式 ) 在 [ - 1, 1 ] 上 针对权 函 数 Q( x ) = ( 1 - x2 ) - 1 / 2 构成正交系的多项 式 Uj ( x ) 称为第 一类切比雪夫正交多 项式。 通常提到的切 比雪 夫正交 多项 式就是 指上 述定义 1 中 的第 一 类 切 比 雪 夫 多 项 式。由 定 义 1 可 知 , 若 多 项 式 系 { < j ( x ) } (其中 j = 0 , 1, 2, , ) 和权 Q( x ) = ( 1 - x2 ) - 1 / 2 满足 如下关系 : Q( x ) U ( x ) U ( x ) dx = Q Q( x ) U ( x ) U ( x ) dx X Q
Q1 Βιβλιοθήκη 1Ui ( x ) Uj ( x ) 1 - x2
对于切比 雪夫正交多项式 Uj ( x ), 具有如下表达式 :
2 网络模型及理论基础
基于负梯度法 ( 或 称梯 度下 降法 ) 的 BP 网络 是一 种多 层前向神经网络 , 其核 心是误 差反 向传 播算法。 该标准 做法 是依据负梯度下降方 向 , 迭代调整网络 的权值和阀 值以实现 误差函数的减小。 其权值 w 修正的迭代 公式可简 写为 w ( k + 1) = w ( k ) - $ w = w ( k ) - G ( 5E /5w ) | w = w (k ) , 其中迭代次数 k = 0, 1, 2, ,, G为迭 代步长 (或称学习率 ), $ w = G ( 5E /5w ) | w = w (k ) 为第 k 次迭代时的权值修正量 , 而 5E /5w 代 表误差函 数 E 对权值 w 的偏导。 但这种经典的 BP神经网络存在着收敛 速度慢和易陷入局部 极小 点等缺 点。 为 改善网 络的 性能 , 本 文从网络结构和激励函数的角 度出发 , 基于多项式 插值和逼 近理论
模型之一。 经典的 BP神经网络存在着诸 如收敛速度慢和易陷入局 部极小点等缺点 , 因此很多改进算法 得以提出。它 们大体上 可以分为两类 [ 6- 7] : ¹ 基于 标准梯 度下 降法 的改进 ( 如加动 量项 ), º 基于数值优化方 法的改 进 ( 如采用 拟牛顿法 或 L M 算法等 ), 这些改进多是着眼于学习 算法本身 , 即通 过改进网 络训练的迭代 规则来提高神经网络的性能。 不同的是 , 本文期望通过改进网络 的结构定义 和激励函 数来解决收敛 速度慢 和局 部极小 点问 题。因此 构造 了一种 切比雪夫正交 基神经网络 , 其隐层神经 元的激励函 数为一组 切比雪夫正交 多项式函数。该神经网络不仅 结构简单 , 而且 对于这种特殊 的网络模型 , 本文进一步 提出了一种 基于伪逆
1 引言
人工神经网络 因其 高度的 并行 性、 分布式 存储、 自 适应 自学习能力等显著的特点 , 在人工智能、 模式 识别、 信号处理 和机器人及 其非线 性控 制等领 域有 着广 泛的 应用 [ 1- 3] 。我 们也曾利用神经网 络开 展过科 学计 算工作 如矩 阵方程 求解 和矩阵实时求逆等 [ 4- 5] 。在实际应用 中 , 很多 人工神 经网络 模型是采用 基于 误差 回传 ( Back P ropagation, 即 BP ) 的 神经 网络及其变形体 , 它们可以说是应用最 广泛也最重 要的网络
[ 8- 9 ]
U0 ( x ) = 1 ; Uj ( x ) = j 2
f loo r(j / 2 )
E
( - 1) i
i= 0
( j - i - 1 )! ( 2x ) j- 2i , j \ 1 ! ( j - 2 i)! i
并且对于 Uj ( x ), 有递推关系式 : Uj+ 1 ( x ) = 2x Uj ( x ) - Uj- 1 ( x ), j = 1 , 2, 3, ,。 在图 1, 给出了切比雪夫正交基神经网络的模型。 它由输 入层、 隐层和输出层组 成 , 其中 输入 层和输 出层 有一 个神经 元使用 线性激励 函数 f ( x ) = x (并固 定其权 值为 1、 阀值为 0 ), 而隐层 有 n 个神经元并使用一组阶次逐渐增高 的切比雪 夫正 交多项式函数 Uj ( x ) 作为激励函数 , j = 0, 1, 2, ,, n - 1; 换言之 , 隐层第 j + 1 个神经元的激励函数是 Uj ( x )。 其中 , U0 ( x ) = 1 U1 ( x ) = x U2 ( x ) = 2x2 - 1 U3 ( x ) = 4x3 - 3x U4 ( x ) = 8x4 - 8x2 + 1 , (x I , , [ - 1, 1] , j = 0, 1, 2, ,, n - 1 )