BP神经网络模型及其应用
- 格式：pdf
- 大小：417.14 KB
- 文档页数：5
一 一
收 稿 日期 ： ０ ２ ７—０ ０ ５—１ ６
作者简 介： 邢进 良（９０ ）男 ， １６ 一 ， 河南省淅川县人 ， 沙洋师范高等专科 学校副教 授 ， 从事数学应用及数学 教 主要 育教学研究。
４ ６
维普资讯
邢进 良
Ｂ 神经网络模型及其应用 Ｐ ● 步 ５ 更新权重刹阈值 ： ｔ ）＝∞ 、 ∞ （ ＋ｉ ＋
ｎ
神经网络的基本处理单元是神经元 ， 它是一 个 多输 入 、 单输 出的非线 性元件 ， 输 入输 出关 系 其 可描述 为 ：
＝
；
结构 。 ＇牵 经网络 隐层 和 输 出层 ｔ的某神 经 元 靠ｆ ） 的输 出 出下式 确定 ：
：
（ ０ ＝ ＝（ 胁 ）
＋ ）
Ｄ ｆ （ ＋ 甜 （）一∞ （ 一１ ） ｔ ） ｏ（ ＋１ ＝８叼 ， （ ，￡ ｊｔ ） ， ＋ （）一８（ 一１ ） ，ｔ ）
其中 研为学习速率 ， 为动量系数； ● 步 ６判 断误 差 函数 Ｅ 否 收敛到所 给学 习 、 是 精度 （ Ｅ≤占？ ， ） 若满足学习精度要求则结束学 习， 否则转 步 ２继 续进 行 。 （ 参见 图 ２—２ ）
局部 的 。 ］ ｍ ［（ 胛；
图 １—２Ｐ Ｐ模 型下 的人工神 经 网络模 型 Ｄ ２ Ｐ神经 网络 的结构 和算 法 、 Ｂ Ｐ神 经 网络是一 种具 有一个输 入层 ， 一个 或 多个隐层和一个输出层的多层 网络。 隐层 和输出 ∑ ＋ ‘ ０ ＝ｒ ０ ｊｊ （） 层上的每个神经元都对应一个激发 函数和一个阈 其中 （ ＝１２ …… ） ，， 表示对该神经元的输入 ， 值。 每一层上的神经元都通过权重与其相邻层上 为神经元的阈值 ， ∞ 表示从神经元 到神经元 的 的神经元互枢连接。 对于输入层上的神经元其阈 连接投值 ， ｎ为输入 信号数 目， ０ 为神经元输出， 值为零 ， 其输 出等于输入 。 ２—１ 图 给出了一个带 ｊ。 ｒ ）称为传 递 函数 。 （ 单隐层 的二履 （ 含输 入 层 ） Ｐ卒 经 网络 的一般 不 Ｂ 申
式 中．（ ）表 示 对应 该 神 经元 的激发 函数 ； 表 。
图 ｌ一１人工 神经元 谟 示该神经霓的阈值 ； 表示对该神经元的输入； ∞ 激发函数 神经 网络是 由大量 神经元 广 泛互 连 而成 的 网 表示从神经元 到神经元 的连接权值 ； 络。 根据连接方式 的不 同， 神经 网络 可分成两大 霞前多采用 连续 可微 非线性 的 Ｓｇ ｏｄ函数 ） ｉｍ ｉ 类： 没有反馈 的向前 网络 和相 互 结合 型 网络 。 前 向 ５ ｊ １ ＋ Ｐｘ —。 网络由输入层、 中阉层和输出层组成 ， 中间层可有
中图 分 类 号 ：Ｐ ８ 。Ｐ ９ ． Ｔ １３ Ｔ ３ １４ 文 献标 识 码 ： Ａ 文 章 编 号 ：６ ２ ７ ８ ２０ ）５— ０ ６— ４ １７ —０６ （０７ ０ ０ ４ ０
１、 人工神 经 网络 模型 若干层 ， 每一层的神经元 只接受前 一层神经元的 人工 神经 网络是一 个并 行 、 布处理 结构 ， 分 它 输出。 而相互连接型网络中任意两个神经元之间 由处理单 元 及 称 为联 接 的无 向信 号 通 道 互 连 而 都有可能连接 ， 因此输 入信号要在神经元之间反
圈 ２—１Ｂ Ｐ网络模 型结 构 】
Ｂ Ｐ算法所采用 的学习过程 （ 即权煎调整过 程）由正向传播 和反 向传播组成 。 在正 向传播过 程 中 ， 一层 神经 元 的状 态 只影 晌 到 下 一层 神 经 每 元 网络。 如果输 出层 不 能得到期 望 输 出， 就是 实 际 输 出值 与期望输 出值 之 间有 误 差 ， 么 转入 反 向 那 图 ２—２Ｂ Ｐ网络模 型 的算 法框 图 传 播过程 ， 将误 差信 号沿原 来 的连 接通 路 返 圈 ， 通 ３、 Ｐ神经 网络 设计 的一般 过程 Ｂ 过 修改各层 神经 元 的权 值 次地 向输 入层 传播 逐 ３ｉ ，生成 Ｂ Ｐ神 经网络 去进行计算 ， 再经过正向传播过程 ， 这两个过程 的 采 用 ｅ 函数 可 以 用 来创 建 一 前 馈 Ｂ Ｐ网 反 复运用 ， 得误 差 信 号 最 小 。 际上 ， 使 实 淡差 廷 到 络 。ｅ ’ 怼 函数 的常用格 式为 人们所 希望 的要 求 时，网络 的学 习过 程 就结 ｃ ］Ｐ １； ） ３ （９２￣ ｎ ｔ 昆 ＜ ， ｓ ｓ … Ｓ ， ； Ｆ ｅ 艘 ｌ ２ Ｎ Ｔ Ｉ 承 ０ Ｔ２ Ｆ … Ｆ ，Ｔ ） Ⅳ｝Ｂ Ｆ 设育 Ｐ个 ｎ维输 入样 本 （ ＝ ｌ… ， ）和 Ｐ ， ’ 其 中 贾为 Ｒ ２维 矩 阵 ， 示 Ｒ为维输 入矢 表 相应的 ｍ维期望 目 标输出 （ 。ｐ：ｉ…， ） 若构 量 中每 维输入 的 最 小值 与最 大 值 的范 围 ； 神经 ， Ｐ 若 网络有 Ⅳ层 ［ …Ｓ 中 各元 素分 别表 示 则 ５ 叫 造 络的 差函 ＝ 网 误 数为： ÷∑ ∑（ Ｏ） ～ｐ。 ｉ 各层神 经 元 的数 目 ； ｉ Ｆ …”ｗ｝中 各元 素 ； ２ 刚 采用 层 ｐ学 习算 法 总能 使 Ｅ在 学 习 中接 梯 分别表示各层神经元荣耀 的传递 函数 ； 表示 Ｂ 皮下降 。 神 经 网络 训 练 时 所 使 用 的训 练 函数 。 外 ， ｃ 另 厂 蠹 学 习算 法可 以筒 述女 下 ： Ｒ 可以创建 一多层 翦绩 Ｂ Ｐ网络 ；８ ｎ｛ 可 以创建 一 黪 步 ｊ将 鲁衩 蕈 和 阉值 的 驾始 值 爨爱 匀小 ｌ 前馈输入延迟 露 髓络。 的随机数 ： ３ ２ 网络初始 化 ． 用 小 的随祝数 对 每一 层 权 麓 ＂ 和偏 差 ６ 一 ｔ ｆ ｄ 初 穆 步 ２ 输入 学 习样 本 （ ＝１ … ， ）和相 、 和 。 以采 可 应 的 目标输 出 ｔ（ ＝ ｌ… 。 ） 对每 个 学 习训 练 ｐ ， Ｐ ， 用 ｒｎ ａ ａ 通过 下列 语句 完成 。 ｓ ｛ ｐｔ 进 行步 ３一一 步 ５； Ｘ， ｝ ＝ｒｎ ｓ Ｓ， Ｒ）Ｂ ＝ｒｎ ｓ ｓ 输入 Ｓ为神 ａｄ（ Ｐ ａｄ ｔ ） ｅ 步 ３ 计算网络 的实际输 出及 隐层神经元 经元个数 ； 为随机权值矩阵 ； 、 刀为闭值矩阵。 的输 出 ： ３３ 网络 训练 参数 的设定 ．．
成。 这些处理单元具有局部内存 ， 并可 以完成局部 复往返传递 ， 从某一初态开始 ， 经过若干次的变 操作。 每个处 理单元 有 一个单 一 的输 出联 接 ， 个 化 ， 这 渐渐趋 于某 一稳 定 状 态 或进 入 周 期振 荡 等其 输 出可 以根据 需要 被分支 成希 望 个数 的许 多并 行 他状态 。 联接 ， 且这些并 行联 接都 输 出相 同 的信 号 ， 即相 应 处理 单元 的信号 ， 号 的大 小 不 因分支 的多 少 而 信 变化 。 处理单元 的输 出信 号 可 以是 任何 需 要 的数 学模型， 每个处理单元 中进行 的操作必须是完全
（ 沙洋师范高等专科学校 数理系， 湖北 沙洋 ４８０ ） ４２０
摘 要 ： 文提 出了一类神经 网络模型 ， 本 介绍 了它的算法及其如何设计 出该模 型 ， 最后通过神 经网络对字符进行识 别的例子 ， 明了神经 网络在 实际中的应用。 说 关 键 词 ： 经 网络 模 型 ； 神 网络 训 练 ； 网络仿 真 ； Ｐ算 法 Ｂ
维普资讯
２０ ０ ７年 第 ５期
沙洋 师范高 等专科学 校学报
ｊｕ ｌ ｆ ｈ ｙ ｎ ｅ ｃ ｅｓＣ ｌ ｇ － ｍａ ａ ａ ｇＴ ａ ｈ ｒ ｏｌ ｅ ｏ ｏＳ ｅ
Ｎ
ｏ． ０ ７ ５２ ０
‘
Ｂ Ｐ神经网络模型及其应 用
邢 进 良
收 稿 日期 ： ０ ２ ７—０ ０ ５—１ ６
作者简 介： 邢进 良（９０ ）男 ， １６ 一 ， 河南省淅川县人 ， 沙洋师范高等专科 学校副教 授 ， 从事数学应用及数学 教 主要 育教学研究。
４ ６
维普资讯
邢进 良
Ｂ 神经网络模型及其应用 Ｐ ● 步 ５ 更新权重刹阈值 ： ｔ ）＝∞ 、 ∞ （ ＋ｉ ＋
ｎ
神经网络的基本处理单元是神经元 ， 它是一 个 多输 入 、 单输 出的非线 性元件 ， 输 入输 出关 系 其 可描述 为 ：
＝
；
结构 。 ＇牵 经网络 隐层 和 输 出层 ｔ的某神 经 元 靠ｆ ） 的输 出 出下式 确定 ：
：
（ ０ ＝ ＝（ 胁 ）
＋ ）
Ｄ ｆ （ ＋ 甜 （）一∞ （ 一１ ） ｔ ） ｏ（ ＋１ ＝８叼 ， （ ，￡ ｊｔ ） ， ＋ （）一８（ 一１ ） ，ｔ ）
其中 研为学习速率 ， 为动量系数； ● 步 ６判 断误 差 函数 Ｅ 否 收敛到所 给学 习 、 是 精度 （ Ｅ≤占？ ， ） 若满足学习精度要求则结束学 习， 否则转 步 ２继 续进 行 。 （ 参见 图 ２—２ ）
局部 的 。 ］ ｍ ［（ 胛；
图 １—２Ｐ Ｐ模 型下 的人工神 经 网络模 型 Ｄ ２ Ｐ神经 网络 的结构 和算 法 、 Ｂ Ｐ神 经 网络是一 种具 有一个输 入层 ， 一个 或 多个隐层和一个输出层的多层 网络。 隐层 和输出 ∑ ＋ ‘ ０ ＝ｒ ０ ｊｊ （） 层上的每个神经元都对应一个激发 函数和一个阈 其中 （ ＝１２ …… ） ，， 表示对该神经元的输入 ， 值。 每一层上的神经元都通过权重与其相邻层上 为神经元的阈值 ， ∞ 表示从神经元 到神经元 的 的神经元互枢连接。 对于输入层上的神经元其阈 连接投值 ， ｎ为输入 信号数 目， ０ 为神经元输出， 值为零 ， 其输 出等于输入 。 ２—１ 图 给出了一个带 ｊ。 ｒ ）称为传 递 函数 。 （ 单隐层 的二履 （ 含输 入 层 ） Ｐ卒 经 网络 的一般 不 Ｂ 申
式 中．（ ）表 示 对应 该 神 经元 的激发 函数 ； 表 。
图 ｌ一１人工 神经元 谟 示该神经霓的阈值 ； 表示对该神经元的输入； ∞ 激发函数 神经 网络是 由大量 神经元 广 泛互 连 而成 的 网 表示从神经元 到神经元 的连接权值 ； 络。 根据连接方式 的不 同， 神经 网络 可分成两大 霞前多采用 连续 可微 非线性 的 Ｓｇ ｏｄ函数 ） ｉｍ ｉ 类： 没有反馈 的向前 网络 和相 互 结合 型 网络 。 前 向 ５ ｊ １ ＋ Ｐｘ —。 网络由输入层、 中阉层和输出层组成 ， 中间层可有
中图 分 类 号 ：Ｐ ８ 。Ｐ ９ ． Ｔ １３ Ｔ ３ １４ 文 献标 识 码 ： Ａ 文 章 编 号 ：６ ２ ７ ８ ２０ ）５— ０ ６— ４ １７ —０６ （０７ ０ ０ ４ ０
１、 人工神 经 网络 模型 若干层 ， 每一层的神经元 只接受前 一层神经元的 人工 神经 网络是一 个并 行 、 布处理 结构 ， 分 它 输出。 而相互连接型网络中任意两个神经元之间 由处理单 元 及 称 为联 接 的无 向信 号 通 道 互 连 而 都有可能连接 ， 因此输 入信号要在神经元之间反
圈 ２—１Ｂ Ｐ网络模 型结 构 】
Ｂ Ｐ算法所采用 的学习过程 （ 即权煎调整过 程）由正向传播 和反 向传播组成 。 在正 向传播过 程 中 ， 一层 神经 元 的状 态 只影 晌 到 下 一层 神 经 每 元 网络。 如果输 出层 不 能得到期 望 输 出， 就是 实 际 输 出值 与期望输 出值 之 间有 误 差 ， 么 转入 反 向 那 图 ２—２Ｂ Ｐ网络模 型 的算 法框 图 传 播过程 ， 将误 差信 号沿原 来 的连 接通 路 返 圈 ， 通 ３、 Ｐ神经 网络 设计 的一般 过程 Ｂ 过 修改各层 神经 元 的权 值 次地 向输 入层 传播 逐 ３ｉ ，生成 Ｂ Ｐ神 经网络 去进行计算 ， 再经过正向传播过程 ， 这两个过程 的 采 用 ｅ 函数 可 以 用 来创 建 一 前 馈 Ｂ Ｐ网 反 复运用 ， 得误 差 信 号 最 小 。 际上 ， 使 实 淡差 廷 到 络 。ｅ ’ 怼 函数 的常用格 式为 人们所 希望 的要 求 时，网络 的学 习过 程 就结 ｃ ］Ｐ １； ） ３ （９２￣ ｎ ｔ 昆 ＜ ， ｓ ｓ … Ｓ ， ； Ｆ ｅ 艘 ｌ ２ Ｎ Ｔ Ｉ 承 ０ Ｔ２ Ｆ … Ｆ ，Ｔ ） Ⅳ｝Ｂ Ｆ 设育 Ｐ个 ｎ维输 入样 本 （ ＝ ｌ… ， ）和 Ｐ ， ’ 其 中 贾为 Ｒ ２维 矩 阵 ， 示 Ｒ为维输 入矢 表 相应的 ｍ维期望 目 标输出 （ 。ｐ：ｉ…， ） 若构 量 中每 维输入 的 最 小值 与最 大 值 的范 围 ； 神经 ， Ｐ 若 网络有 Ⅳ层 ［ …Ｓ 中 各元 素分 别表 示 则 ５ 叫 造 络的 差函 ＝ 网 误 数为： ÷∑ ∑（ Ｏ） ～ｐ。 ｉ 各层神 经 元 的数 目 ； ｉ Ｆ …”ｗ｝中 各元 素 ； ２ 刚 采用 层 ｐ学 习算 法 总能 使 Ｅ在 学 习 中接 梯 分别表示各层神经元荣耀 的传递 函数 ； 表示 Ｂ 皮下降 。 神 经 网络 训 练 时 所 使 用 的训 练 函数 。 外 ， ｃ 另 厂 蠹 学 习算 法可 以筒 述女 下 ： Ｒ 可以创建 一多层 翦绩 Ｂ Ｐ网络 ；８ ｎ｛ 可 以创建 一 黪 步 ｊ将 鲁衩 蕈 和 阉值 的 驾始 值 爨爱 匀小 ｌ 前馈输入延迟 露 髓络。 的随机数 ： ３ ２ 网络初始 化 ． 用 小 的随祝数 对 每一 层 权 麓 ＂ 和偏 差 ６ 一 ｔ ｆ ｄ 初 穆 步 ２ 输入 学 习样 本 （ ＝１ … ， ）和相 、 和 。 以采 可 应 的 目标输 出 ｔ（ ＝ ｌ… 。 ） 对每 个 学 习训 练 ｐ ， Ｐ ， 用 ｒｎ ａ ａ 通过 下列 语句 完成 。 ｓ ｛ ｐｔ 进 行步 ３一一 步 ５； Ｘ， ｝ ＝ｒｎ ｓ Ｓ， Ｒ）Ｂ ＝ｒｎ ｓ ｓ 输入 Ｓ为神 ａｄ（ Ｐ ａｄ ｔ ） ｅ 步 ３ 计算网络 的实际输 出及 隐层神经元 经元个数 ； 为随机权值矩阵 ； 、 刀为闭值矩阵。 的输 出 ： ３３ 网络 训练 参数 的设定 ．．
成。 这些处理单元具有局部内存 ， 并可 以完成局部 复往返传递 ， 从某一初态开始 ， 经过若干次的变 操作。 每个处 理单元 有 一个单 一 的输 出联 接 ， 个 化 ， 这 渐渐趋 于某 一稳 定 状 态 或进 入 周 期振 荡 等其 输 出可 以根据 需要 被分支 成希 望 个数 的许 多并 行 他状态 。 联接 ， 且这些并 行联 接都 输 出相 同 的信 号 ， 即相 应 处理 单元 的信号 ， 号 的大 小 不 因分支 的多 少 而 信 变化 。 处理单元 的输 出信 号 可 以是 任何 需 要 的数 学模型， 每个处理单元 中进行 的操作必须是完全
（ 沙洋师范高等专科学校 数理系， 湖北 沙洋 ４８０ ） ４２０
摘 要 ： 文提 出了一类神经 网络模型 ， 本 介绍 了它的算法及其如何设计 出该模 型 ， 最后通过神 经网络对字符进行识 别的例子 ， 明了神经 网络在 实际中的应用。 说 关 键 词 ： 经 网络 模 型 ； 神 网络 训 练 ； 网络仿 真 ； Ｐ算 法 Ｂ
维普资讯
２０ ０ ７年 第 ５期
沙洋 师范高 等专科学 校学报
ｊｕ ｌ ｆ ｈ ｙ ｎ ｅ ｃ ｅｓＣ ｌ ｇ － ｍａ ａ ａ ｇＴ ａ ｈ ｒ ｏｌ ｅ ｏ ｏＳ ｅ
Ｎ
ｏ． ０ ７ ５２ ０
‘
Ｂ Ｐ神经网络模型及其应 用
邢 进 良
