混沌神经网络研究进展与展望
- 格式：pdf
- 大小：655.29 KB
- 文档页数：10
下载文档原格式
合集下载
混沌发展历程研究现状及目的意义
混沌发展历程研究现状及目的意义1混沌的发展史 (1)2混沌同步发展史及研究现状 (2)2.1 混沌同步在超宽带无线通信中的应用 (3)2.2 混沌同步在数字水印中的应用 (3)3混沌保密通信研究现状与发展趋势 (4)4研究目的和意义 (5)1混沌的发展史混沌的发现从现代科学意义上讲可追溯到19世纪末20世纪初庞加莱在研究限制三体问题时遇到了混沌问题，发现三体引力互相作用能产生惊人的复杂性，他是世界上第一个了解混沌存在的人。
典型的Duffing动力学方程和VDP动力学方程奠定了混沌动力学基础。
1954年到1963年间，前苏联数学家柯尔莫哥洛夫(Kolmogorov)和他的学生阿诺多(Amold)以及瑞士数学家莫西(Moser)提出了著名的KAM定理。
1963年，洛伦兹(Lorenz)给出了三个变量的洛仑兹方程。
这都为混沌运动奠定了基础。
1964年，法国天文学家M.Henon等人从研究球状星团以及洛伦兹吸引子中得到启发，得到了一个二维不可积哈密顿系统中的确定性随机行为，发现了Henon映射。
混沌一词的应用是从美国数学家约克(J.A.Y okr)和李天岩(T.Y.Li)题为“周期3意味着混沌”的文章中引用得来的。
1976年，美国生态学家梅(May)在文章《具有极复杂的动力学的简单数学模型》中，研究了一维平方映射，指出逻辑(Logistic)非常简单的一维迭代映射也能产生复杂的周期倍化和混沌运动。
后来，美国物理学家费根鲍姆(Feigenbaum)与1978年发现了倍周期分岔现象中的标度性和普适常数，并引入了重整化群的思想，从而使混沌在现代科学中有了坚实的理论基础。
1984年，美国物理学家肖(Shaw)和他的同事用水龙头进行混沌实验，并有实验数据重建了奇怪吸引子。
从20世纪80年代开始，混沌的理论受到广泛和深入的研究，人们着重研究系统如何从有序进入新的混沌及混沌的性质及特点。
1983年，由蔡少棠(L.O.Chua)发明的蔡氏电路由于结构简单，实现容易，并且表现出丰富的混沌行为。
混沌神经网络模型研究
ｎ ｕ ａ ｔ ｒ ｅ ｒ ｌｎｅｗｏ ｋ．
Ｋｅ ｒ ｓ： ｈ ｏ ； ｈ ｏｉ ｅ ｒ ｌｅｅ ｎ ； ｈ ｏｉ ｕ ａ ｅｗｏ ｋ ｙ ｗｏ ｄ ｃ ａ ｓ ｃ ａ ｔｃ ｎ ｕ ａ ｌ ｍｅ ｔ ｃ ａ ｔｃ ｎｅ ｒ ｌｎ ｔ ｒ ｓ
人 工 神 经 网 络 Ａ Ｎ（ ｒｆｉ ｅｒｌＮ ｔ Ｎ Ａｔ ｃａ Ｎ ｕａ ｅ— ｉ ｌ ｉ ｗ ｒ） 是基 于模仿 生物神 经 网络 的结构 和 功 能 ｏｋ ¨ 而构 成 的一种 信 息处理 系 统 ， 它不 是人脑 神 经 系统
Ｖ ． ｏ ｏ２ Ｎ． １４ ６
Ｄ ｃ２０ ｅ．０８
混 沌 神 经 网 络 模 型 研 究
辛 海 涛
（ 哈尔滨 商业 大学 计算机 与信 息工 程学院 ， 哈尔滨 １０ ２ ） ５０ ８
摘 要： 回顾 了近年 来混沌神经 网络模 型的研 究进展 历 史． 对全局耦 合映射 （ Ｃ 模型 、 ｉａａ混沌 Ｇ Ｍ） Ａｈｒ
神经网 络模型和Ｉ ｕ 混沌 ｎ ｅ 神经网 ｏ 络模型等 模型的构成和特点进行了 全面的分析， 综述了 神经 混沌
网络 的 主要 应 用 领 域 ， 述 了混 沌 神 经 网络 的今 后 发 展 方 向 和 主 要 研 究 内容 ． 评
关键 词： 混沌 ； 混沌神 经元 ； 混沌神 经网络
ＸＩ Ｈａ ．ａ Ｎ ｉｔ ｏ
（ｃｏｌ ｆ ｏ ｐｔ ｎ ｆｍ ｔｎＥ ｇ ｅｒ ｇ Ｈ ｒｉ Ｕ ｉ ｒｔ ｏ ｍ ｅｃ ， ａｂ ５ ２ ，ｈ ａ Ｓｈｏ ｏ ｍ ｕ ｒ ｄＩ ｏ ａｏ ｎｉ ｅｎ ， ａ ｎ ｎ ｅ ｉ Ｃ ｍ ｒｅ Ｈ ｒｉ １Ｄ ８Ｃ ｉ ） Ｃ ｅａ ｎ ｒ ｉ ｎ ｉ ｂ ｖ ｓｙｆ ｏ ｎ （ ｎ
Ｃ Ｎ） Ｐ ．
Ｋｅ ｒ ｓ： ｈ ｏ ； ｈ ｏｉ ｅ ｒ ｌｅｅ ｎ ； ｈ ｏｉ ｕ ａ ｅｗｏ ｋ ｙ ｗｏ ｄ ｃ ａ ｓ ｃ ａ ｔｃ ｎ ｕ ａ ｌ ｍｅ ｔ ｃ ａ ｔｃ ｎｅ ｒ ｌｎ ｔ ｒ ｓ
人 工 神 经 网 络 Ａ Ｎ（ ｒｆｉ ｅｒｌＮ ｔ Ｎ Ａｔ ｃａ Ｎ ｕａ ｅ— ｉ ｌ ｉ ｗ ｒ） 是基 于模仿 生物神 经 网络 的结构 和 功 能 ｏｋ ¨ 而构 成 的一种 信 息处理 系 统 ， 它不 是人脑 神 经 系统
Ｖ ． ｏ ｏ２ Ｎ． １４ ６
Ｄ ｃ２０ ｅ．０８
混 沌 神 经 网 络 模 型 研 究
辛 海 涛
（ 哈尔滨 商业 大学 计算机 与信 息工 程学院 ， 哈尔滨 １０ ２ ） ５０ ８
摘 要： 回顾 了近年 来混沌神经 网络模 型的研 究进展 历 史． 对全局耦 合映射 （ Ｃ 模型 、 ｉａａ混沌 Ｇ Ｍ） Ａｈｒ
神经网 络模型和Ｉ ｕ 混沌 ｎ ｅ 神经网 ｏ 络模型等 模型的构成和特点进行了 全面的分析， 综述了 神经 混沌
网络 的 主要 应 用 领 域 ， 述 了混 沌 神 经 网络 的今 后 发 展 方 向 和 主 要 研 究 内容 ． 评
关键 词： 混沌 ； 混沌神 经元 ； 混沌神 经网络
ＸＩ Ｈａ ．ａ Ｎ ｉｔ ｏ
（ｃｏｌ ｆ ｏ ｐｔ ｎ ｆｍ ｔｎＥ ｇ ｅｒ ｇ Ｈ ｒｉ Ｕ ｉ ｒｔ ｏ ｍ ｅｃ ， ａｂ ５ ２ ，ｈ ａ Ｓｈｏ ｏ ｍ ｕ ｒ ｄＩ ｏ ａｏ ｎｉ ｅｎ ， ａ ｎ ｎ ｅ ｉ Ｃ ｍ ｒｅ Ｈ ｒｉ １Ｄ ８Ｃ ｉ ） Ｃ ｅａ ｎ ｒ ｉ ｎ ｉ ｂ ｖ ｓｙｆ ｏ ｎ （ ｎ
Ｃ Ｎ） Ｐ ．
基于混沌机制的神经网络预测控制及仿真研究
缺 点 ，提 高 了系统 的辨识 速度 ；然后 ，结合 广义预 测控 制 （ Ｃ 的反馈 校正 、滚动 优化 来 ＧＰ ）
完成非线性 系统 的预测控 制 ．仿 真 结果表 明 ：将本 算 法应 用于非 线性 系统预 测控 制 ，对 未建 模动 态具 有较 强 的鲁棒性 和 良好 的控制 跟踪 能力 关 键 词 ：混 沌机制 ；动 态回归神 经 网络 ；广义 预测控 制 ；鲁棒 性 中 图分 类号 ：Ｔ ７ Ｐ２ ３ 文献标 识码 ：Ａ 文 章编 号 ：１ ７ —７ ７ （０ ７ １０ ６ —５ ６ ３９ ８ ２ ０ ）０ －０ ４０
隐层 以及 隐层 到输 出层 的连接权 矩 阵 ， （ ） 厂 ・ 为隐层 与输
出层 的激活 函数 ，由 （ ）式 可得 １ ｚ （ ）：
王 科 平 等 ： 于 混 沌 机制 的神 经 网络 预测 控 制 及 仿 真 研 究 基
６ ５
ｚ（ ）＝ ｆ Ｗ ｋ ｋ ［ ｚ （ ）＋ Ｗ （ ） ， ｋ］
ｚ （ ）＝ ｚ（ ｋ ｋ一１ ， ） （） １
（ ）＝ ｆ Ｗ。 ｋ ］ ， ｋ ［ ｚ（ ） 其 中 ｗ ，ｗ ，ｗ。 分别 为结构 单元 到隐层 、输入 层到
得 到 ，内部反馈 为结 构单元 ，设 网络 的外 部输入 Ｖ ｋ （ ）∈ Ｒ ，在本 文 中 Ｅｍａ ｌ ｎ回归神经 网络 的外 部输
入 即为非线 性系统 被控 对象 ｋ时 刻以前 的输入输 出 ，即数 学表达 式为
收 稿 Ｅ期 ：２ ０ — ９０ ｔ ０ ６０ — ７ 基 金项 目 ：国 家 自然 科学 基 金 资 助 项 目 （ ０ ７ ０ ３ ６ ４４ ４ ）
新工 具
动态 回归神经 网络 由于其本 身包含 网络 内部 状态 的反馈 增 加 了网络本身处 理动态 信息 的能力 ，所 以代 表着神 经 网络建 模 、辨识 与控制 的 发展 方 向 ｊ 但 是 ，传统 的 Ｅ ｍａ ｌ ｎ回归 神 经 网络 采用 基 于 标
完成非线性 系统 的预测控 制 ．仿 真 结果表 明 ：将本 算 法应 用于非 线性 系统预 测控 制 ，对 未建 模动 态具 有较 强 的鲁棒性 和 良好 的控制 跟踪 能力 关 键 词 ：混 沌机制 ；动 态回归神 经 网络 ；广义 预测控 制 ；鲁棒 性 中 图分 类号 ：Ｔ ７ Ｐ２ ３ 文献标 识码 ：Ａ 文 章编 号 ：１ ７ —７ ７ （０ ７ １０ ６ —５ ６ ３９ ８ ２ ０ ）０ －０ ４０
隐层 以及 隐层 到输 出层 的连接权 矩 阵 ， （ ） 厂 ・ 为隐层 与输
出层 的激活 函数 ，由 （ ）式 可得 １ ｚ （ ）：
王 科 平 等 ： 于 混 沌 机制 的神 经 网络 预测 控 制 及 仿 真 研 究 基
６ ５
ｚ（ ）＝ ｆ Ｗ ｋ ｋ ［ ｚ （ ）＋ Ｗ （ ） ， ｋ］
ｚ （ ）＝ ｚ（ ｋ ｋ一１ ， ） （） １
（ ）＝ ｆ Ｗ。 ｋ ］ ， ｋ ［ ｚ（ ） 其 中 ｗ ，ｗ ，ｗ。 分别 为结构 单元 到隐层 、输入 层到
得 到 ，内部反馈 为结 构单元 ，设 网络 的外 部输入 Ｖ ｋ （ ）∈ Ｒ ，在本 文 中 Ｅｍａ ｌ ｎ回归神经 网络 的外 部输
入 即为非线 性系统 被控 对象 ｋ时 刻以前 的输入输 出 ，即数 学表达 式为
收 稿 Ｅ期 ：２ ０ — ９０ ｔ ０ ６０ — ７ 基 金项 目 ：国 家 自然 科学 基 金 资 助 项 目 （ ０ ７ ０ ３ ６ ４４ ４ ）
新工 具
动态 回归神经 网络 由于其本 身包含 网络 内部 状态 的反馈 增 加 了网络本身处 理动态 信息 的能力 ，所 以代 表着神 经 网络建 模 、辨识 与控制 的 发展 方 向 ｊ 但 是 ，传统 的 Ｅ ｍａ ｌ ｎ回归 神 经 网络 采用 基 于 标
神经网络的未来趋势
神经网络的未来趋势
神经网络作为一种机器学习算法，已经取得了巨大的成功，并在许多领域展示了强大的能力。
未来，神经网络的发展趋势可能包括以下几个方面：
1. 更复杂的网络架构：目前广泛使用的神经网络架构，如多层感知机和卷积神经网络，在某些任务上已经达到了瓶颈。
未来，研究人员可能会开发更复杂的网络架构，以处理更复杂的数据模式和任务。
2. 结合其他学习算法：神经网络在处理大规模数据和复杂问题方面表现出色，但在处理小规模数据和多模态数据等领域仍存在挑战。
未来，可以考虑将神经网络与其他学习算法结合，以提高性能和灵活性。
3. 自监督学习：目前，神经网络通常需要大量标注数据进行训练，但获取标注数据成本高昂且耗时。
未来，自监督学习将成为发展趋势，这种方法利用数据自身的结构或先验知识进行无监督训练，从而减少对标注数据的依赖。
4. 异构网络融合：神经网络在不同领域和任务中都取得了成功，而不同网络结构在处理不同类型的数据和任务时可能具有不同的优势。
未来，研究人员可能会探索将不同网络结构进行融合，以发挥它们的优势和互补性。
5. 硬件优化：当前的深度学习任务通常需要大量的计算资源和存储空间，对硬件提出了更高的要求。
未来，神经网络的发展将不仅仅局限于算法和模型本身，
还将与硬件技术的进步密切相关，例如专用芯片和量子计算等。
总之，神经网络作为一种强大的机器学习算法，在未来的发展中有望进一步提升性能，并在更广泛的领域和任务中发挥作用。
混沌在BP神经网络中的应用
网络 中的 假饱 和现 象 。
３ 噪声对神 经 网络泛化 能力 的影响
多层 前 向 网络 的泛 化 能 力 是 指 学 习 后 的神 经 网络 对 测
试样本或工作样本 作 出正确反应 的能力 。所 以没有 泛化能 力的神经网络没有任何使用价值。正因为其重要性 ， 泛化 问
题 已 成 为 近年 来 国 际 上 十 分 关 注 的 理 论 问 题 。 在 神 经 网 络
第２卷 第 期 ８ ６
文章编号 ：０６— ３ ８ ２ １ ）６— ２ ５— ４ １０ ９ ４ （０ １ ０ ０ １ ０
计
算
机
仿
真
２１ 月 ０ 年６ １
混沌在 Ｂ Ｐ神 经 网络 中 的 应 用
秦 国兴
（ 山 学 院 计算 中 心 ， 北 唐 山 ０ ３ ０ 唐 河 ６ ００）
摘要 ： 为了提高误差反 向传播算法的网络 泛化能力 ， 针对 Ｂ Ｐ网络 中所 存在网络泛 化能力差的 缺点， 结合混沌优 化的优点 ， 提出了一种改进 的算法 。将网络中的少数神经元的激励函数 改变为具有混 沌特性的激励 函数 ， 这些神 经元不存在饱和 区， 从而可以加快学 习速度 ， 克服假饱 和现象 ， 并且神经元的输 出具有一定的随机性 ， 似于噪声的作用 ， 类 可在一定程 度上提高 网络的泛化能力 。针对字符识 别的仿真效果进行分析 ， 证明网络 的容错能力较好 ， 网络 的泛化能力得到了改善 。
（ ｏ ｐ ｔ ｇＣ ｎｅ， ａ ｇｈｎＣ ｌｇ ， ａ ｇｈｎＨ ｂｉ ６０ ０ Ｃ ｉ ） Ｃ ｍ ｕ ｎ ｅ ｔ Ｔ ｎｓａ ｏｅｅ Ｔ ｎ ｓａ ｅｅ ０ ３０ ， ｈｎ ｉ ｒ ｌ ａ
ＡＢＳ ＴＲＡＣＴ ： ｓ ａ ｃ ｈ ａ ｋ ｐ ｏ ａ ａｉｎ ａｇ ｒ ｈ ｔ ｍｐ ｏ ｅ ｔｅ ｎ ｔ ｒ ｅ ｅ ａｉａｉｎ ａ ｉ ｔ ．Ｂ ｅｗ ｒ ａ Ｒｅ ｅ ｒ ｈ ｔ ｅｂ ｃ ｒ ｐ ｇ ｔ ｏ ｉ ｍ ｉ ｒ ｖ ｈ ｅｗｏ ｋ ｇ ｎ ｒ ｌ ｔ ｂ ｌ ｙ ｏ ｌ ｔ ｏ ｚ ｏ ｉ Ｐ ｎ ｔｏｋｈ ｓ ｔ ｅ ｓ ｏｔ ｏ ｎ ｓｏ ｏ ｒｎ ｔ ｒ ｅ ｅ ａ ｉ ｔ ｎ， ａ ｌ ｓ ｔ ｒ ｔ ｎ ａ ｄ ｂ ｄ ｇ ｎ ｒ ｌ ａｉｎ ｃ ｐ ｂ ｌ ｙ ｈ ｈ ｒ ｍｉｇ ｆ ｏ ｅｗｏｋ ｇ ｎ ｒ ｌ ａ ｉ ｃ ｐ ｚ ｏ ｆ ｕ ｔ ａｕ ａｉ ｎ ａ ｅ ｅ ａｉ ｔ ａ ａ ｉ ｔ ．Ｃ ｍｂ ｎｎ ｈ ｄ ｏ ｚ ｏ ｉ ｏ ｉ ｉ ｇｔ ｅ ａ ・ ｖ ｎ ａ ｅ ｏ ｅ ｃ ａ ｓ ｏ ｅ ｌ ｏｉ ｍ ｓｐ ｏ ｏ ｅ ． Ｓ ｍｅ ａ ｔ ａ ｉｎ ｆ ｎ ｔ ｎ ｆｎ ｕ ａ ｅ ｒ ｈ ｏ ｅ ｔ ｅ ｃ ａ ｔ ａ ｔｇ ｆｔ ｈ ｏ ，ａ ｎ ｖ ｌａｇ ｒ ｈ ｉ ｒ ｐ ｓ ｄ ｏ ｃｉ ｔ ｕ ｃｉ ｓｏ ｅ ｒｌｎ ｔ ｋ ｃ ｏ ｓ ｈ ｈ ｏｉ ｈ ｔ ｖ ｏ ｏ ｗｏ ｃ
３ 噪声对神 经 网络泛化 能力 的影响
多层 前 向 网络 的泛 化 能 力 是 指 学 习 后 的神 经 网络 对 测
试样本或工作样本 作 出正确反应 的能力 。所 以没有 泛化能 力的神经网络没有任何使用价值。正因为其重要性 ， 泛化 问
题 已 成 为 近年 来 国 际 上 十 分 关 注 的 理 论 问 题 。 在 神 经 网 络
第２卷 第 期 ８ ６
文章编号 ：０６— ３ ８ ２ １ ）６— ２ ５— ４ １０ ９ ４ （０ １ ０ ０ １ ０
计
算
机
仿
真
２１ 月 ０ 年６ １
混沌在 Ｂ Ｐ神 经 网络 中 的 应 用
秦 国兴
（ 山 学 院 计算 中 心 ， 北 唐 山 ０ ３ ０ 唐 河 ６ ００）
摘要 ： 为了提高误差反 向传播算法的网络 泛化能力 ， 针对 Ｂ Ｐ网络 中所 存在网络泛 化能力差的 缺点， 结合混沌优 化的优点 ， 提出了一种改进 的算法 。将网络中的少数神经元的激励函数 改变为具有混 沌特性的激励 函数 ， 这些神 经元不存在饱和 区， 从而可以加快学 习速度 ， 克服假饱 和现象 ， 并且神经元的输 出具有一定的随机性 ， 似于噪声的作用 ， 类 可在一定程 度上提高 网络的泛化能力 。针对字符识 别的仿真效果进行分析 ， 证明网络 的容错能力较好 ， 网络 的泛化能力得到了改善 。
（ ｏ ｐ ｔ ｇＣ ｎｅ， ａ ｇｈｎＣ ｌｇ ， ａ ｇｈｎＨ ｂｉ ６０ ０ Ｃ ｉ ） Ｃ ｍ ｕ ｎ ｅ ｔ Ｔ ｎｓａ ｏｅｅ Ｔ ｎ ｓａ ｅｅ ０ ３０ ， ｈｎ ｉ ｒ ｌ ａ
ＡＢＳ ＴＲＡＣＴ ： ｓ ａ ｃ ｈ ａ ｋ ｐ ｏ ａ ａｉｎ ａｇ ｒ ｈ ｔ ｍｐ ｏ ｅ ｔｅ ｎ ｔ ｒ ｅ ｅ ａｉａｉｎ ａ ｉ ｔ ．Ｂ ｅｗ ｒ ａ Ｒｅ ｅ ｒ ｈ ｔ ｅｂ ｃ ｒ ｐ ｇ ｔ ｏ ｉ ｍ ｉ ｒ ｖ ｈ ｅｗｏ ｋ ｇ ｎ ｒ ｌ ｔ ｂ ｌ ｙ ｏ ｌ ｔ ｏ ｚ ｏ ｉ Ｐ ｎ ｔｏｋｈ ｓ ｔ ｅ ｓ ｏｔ ｏ ｎ ｓｏ ｏ ｒｎ ｔ ｒ ｅ ｅ ａ ｉ ｔ ｎ， ａ ｌ ｓ ｔ ｒ ｔ ｎ ａ ｄ ｂ ｄ ｇ ｎ ｒ ｌ ａｉｎ ｃ ｐ ｂ ｌ ｙ ｈ ｈ ｒ ｍｉｇ ｆ ｏ ｅｗｏｋ ｇ ｎ ｒ ｌ ａ ｉ ｃ ｐ ｚ ｏ ｆ ｕ ｔ ａｕ ａｉ ｎ ａ ｅ ｅ ａｉ ｔ ａ ａ ｉ ｔ ．Ｃ ｍｂ ｎｎ ｈ ｄ ｏ ｚ ｏ ｉ ｏ ｉ ｉ ｇｔ ｅ ａ ・ ｖ ｎ ａ ｅ ｏ ｅ ｃ ａ ｓ ｏ ｅ ｌ ｏｉ ｍ ｓｐ ｏ ｏ ｅ ． Ｓ ｍｅ ａ ｔ ａ ｉｎ ｆ ｎ ｔ ｎ ｆｎ ｕ ａ ｅ ｒ ｈ ｏ ｅ ｔ ｅ ｃ ａ ｔ ａ ｔｇ ｆｔ ｈ ｏ ，ａ ｎ ｖ ｌａｇ ｒ ｈ ｉ ｒ ｐ ｓ ｄ ｏ ｃｉ ｔ ｕ ｃｉ ｓｏ ｅ ｒｌｎ ｔ ｋ ｃ ｏ ｓ ｈ ｈ ｏｉ ｈ ｔ ｖ ｏ ｏ ｗｏ ｃ
神经网络的现状与发展趋势
神经网络的现状与发展趋势一、引言人工神经网络（Artificial Neural Network, ANN）是一种通过模拟人类神经系统实现信息处理、表达和识别的计算模型。
自 1943 年 McCulloch 和 Pitts 提出 ANNs 模型以来，神经网络成为了人工智能领域研究的热点之一，并在计算机视觉、语音识别、自然语言处理、数据挖掘、模式识别等方面取得了卓越成果。
随着技术和应用的不断深入，神经网络技术也在不断发展和成熟。
本文将阐述神经网络的现状与发展趋势。
二、神经网络的现状1.神经网络应用领域广泛神经网络现在应用在各个领域中，包括医疗、金融、保险、制造业、游戏等。
在医疗领域中，神经网络广泛应用于癌症筛查、药物研发、疾病预测等方面；在金融领域中，神经网络被用于股票价格预测、风险评估、欺诈检测等方面；在游戏领域中，神经网络被广泛用于图像处理、行为预测等方面。
神经网络在这些领域中具有较高的精度和灵活性，成为了人工智能技术中不可或缺的一部分。
2.深度学习技术的广泛应用深度学习作为神经网络技术的分支之一，逐渐成为了人工智能应用的主流。
深度学习通过多个隐层来逐步提取数据的高层次特征，大幅度提高了模型的准确性和鲁棒性。
目前，深度学习模型已经迅速应用于语音识别、机器翻译、自然语言处理、图像、视频等多个领域中。
深度学习的发展极大地促进了人工智能技术的研究和应用。
3.大数据技术的支持大数据技术是神经网络技术得以快速发展和应用的重要因素。
神经网络需要大量的数据进行训练和调整，而大数据时代的到来使得海量数据的存储和挖掘变得更加容易。
此外，人工智能应用也逐渐从精准分析转向预测和决策，并需要从大规模数据中发现规律和趋势。
大数据技术在神经网络技术的发展和应用中发挥了重要的作用。
三、神经网络的发展趋势1.自适应神经网络的发展传统的神经网络技术需要大量的人工调试和参数设置，而自适应神经网络技术可以根据自身的表现动态调整参数，自我进化。
小波混沌神经网络的研究与应用
ｏ ｔ ｌ ｓ ｌｔ ｎ ｉ ｔｅｓａｃ ｐ ｅ ｎ ｃ ｕ ｐ ｍａ ｏ ｕ ｉ ｉ ｏ ｎ ｈ ｅ ｒ ｈ ｓ ｅ ｄ ａ ｄ ａ ｃ ｎｍｙ ａｅ ｍｕ ｈ ｂ ｔ ｒｔ ａ ｈ ｅ ｃ ｎ ｅ ｔ ｎ ｈ ｏ ｃ ｎ ｕ ａ ｅ ｏ ｋ ｒ ｃ ｅ ｔ ｈ ｎｔ ｏ ｖ ｎ ｏ ａ ｃ ａ ｔ ｅ ｒ ｌｎ ｔ ｒ ．Ｓｈ ｗ ｔ ａ ｔ ｎ ｒ ｕ － ｅ ｉ ｌ ｉ ｗ ｏ ｈ ｔ ｈｅｉ ｔ ｄ ｏ ｃ ｔ ｎｏ ｈ ｉ ｆｔ ｅｗａ ｅ ｅ ｕ ｎ ｔ ｎｔ ｈａ ｔ ｅ ｒ ｌｎ ｔ ｒ ｉ ｒ ａ ｐ ｔ ｎ ａ ． ｏ ｖ ｌ ｔｆ ｃ ｏ Ｏ ｃ ｏ ｉ ｎ ｕ ａ ｅ ｗｏ ｉ ｃ ｋ ｓａｇ ｅ ｔ ｅ ｔ １ ｏ ｉ Ｋｅ ｒ ｓ ｗａ ｅｅ ｈ ｏ ｃ ｎ ｕ ａ ｅ ｏ ；Ｍｅ ｉａ ａ ｖ ｌｔｆ ｃ ｏ ｙ ｗｏ ｄ ： ｖ ｌ ｔｃ ａ ｔ ｅ ｒ ｌｎ ｔ ｒ ｉ ｗ ｋ ｘ ｃ ｎ ｈ ｔｗａ ｅ ｅ ｕｎ ｔ ｎ；ｎ ｎ ｉ ｏ －ｍｏ ｏ ｏ ｏ ｓ ａ ｔｖ ｔ ｎ ｆ ｎ ｔ ｎ； ａ ｎ ｎ ｗａ ｅｅ ｎ ｔ ｎ ｕ ｃ ａ ｏ ｃ ｏ Ｓｈ ｎ ｏ ｖ ｌｔ ｉ ｉ ｕ ｉ
Ａｂ ｔａ ｔ Ｃｈ ｏ ｃ ｎ ｕａ ｅｗｏｋｈａ ｅ ｎｐ ｏ ｅ ｅａｖ ｌ ｏ ｏ ｏｖｎ ｏ ｉａｉｎ ｌｏ ｔｍｉａ ｏ ｒｂｅ ．Ｂｕ ｈ ｉｇｅｆｃ ｓｒ ｃ ： ａ ｔ ｅ ｒｌｎ ｔ ｒ ｓｂ ｅ ｒ ｖ ｄｔ ｂ ａｉ ｔ ｌｆｒｓ ｌｉｇｃ ｍｂ ｎ ｔ ａ ｐ ｉ Ｏ ｄｏ ｏ ｉ ｚ ｆ ｎｐｏ ｌｍｓ ｔｔｅｓｎ ｌ ａ—
第２ １卷
第８ 期
计 算 机 技 术 与 发 展
Ｃ ０ＭＰ ＥＲ ＥＣＨＮＯＬ ＵＴ Ｔ ＯＧＹ ＡＮＤ ＤＥＶＥＬ ＯＰＭＥＮ Ｔ
Ａｂ ｔａ ｔ Ｃｈ ｏ ｃ ｎ ｕａ ｅｗｏｋｈａ ｅ ｎｐ ｏ ｅ ｅａｖ ｌ ｏ ｏ ｏｖｎ ｏ ｉａｉｎ ｌｏ ｔｍｉａ ｏ ｒｂｅ ．Ｂｕ ｈ ｉｇｅｆｃ ｓｒ ｃ ： ａ ｔ ｅ ｒｌｎ ｔ ｒ ｓｂ ｅ ｒ ｖ ｄｔ ｂ ａｉ ｔ ｌｆｒｓ ｌｉｇｃ ｍｂ ｎ ｔ ａ ｐ ｉ Ｏ ｄｏ ｏ ｉ ｚ ｆ ｎｐｏ ｌｍｓ ｔｔｅｓｎ ｌ ａ—
第２ １卷
第８ 期
计 算 机 技 术 与 发 展
Ｃ ０ＭＰ ＥＲ ＥＣＨＮＯＬ ＵＴ Ｔ ＯＧＹ ＡＮＤ ＤＥＶＥＬ ＯＰＭＥＮ Ｔ
毕业设计(论文)-混沌电路的设计与研究[管理资料]
混沌电路的设计与研究一、绪论（一）混沌研究的背景混沌学于上世纪六十年代初在美国兴起。
它是非线性系统中存在的一种普遍现象，也是非线性系统所特有的一种复杂状态。
所以研究的蔡氏电路必然是一个非线性系统，确切地说是一个非线性动力系统。
从函数构造的角度来说，非线性系统要比“线性系统”更多、更普遍。
“线性系统”与“非线性系统”的不同之处至少有两个方面。
第一：线性系统可以使用叠加原理，而非线性系统则不能。
第二：（也就是最本质的）非线性系统对初值极敏感，而线性系统则不然。
经典的动力学理论认为：任何一个系统只要知道了它的初始状态，就可以根据动力学规律推算出它随着时间变化所经历的一系列状态，拉普拉斯曾将这种思想推广到整个宇宙，认为只要知道了构成宇宙的每个质点在某一瞬间的位置和速度，又知道了动力学方程，我们就可以精确地知道宇宙过去将来的一切情况。
这就是被称为拉普拉斯决定论的基本观点。
概率论和统计的概念引入物理学后，科学思想发生了重大变化，促使科学家从决定论的那种“经典科学缔造的神话”中走了出来。
概率论和统计的观点认为，一个系统的未来状态，并不是完全确定的线性因果链，而有许多偶然的随机的因素，人们只从大量的偶然性中寻求必然的趋势，世界的发展遵循着统计的规律。
对此，历来有着尖锐的争论。
爱因斯坦认为“上帝不是在掷骰子”，只是因为知识不完备，才出现这种情况。
霍金则认为，概率性、统计性是世界的本质，“上帝”不仅在掷骰子，而且会把骰子掷到人们无法知道和根本看不到的地方。
决定论和非决定论，动力学规律和统计规律似乎有着不可调和的矛盾，使科学方法论陷入苦恼的悖论之中。
而对混沌现象的研究，给这种困境带来了希望之光。
过去，人们一直认为宇宙是一个可以预测的系统。
后来天文学家在研究三体问题时发现，用决定论的方程，找不到稳定的模式，得到的是随机的结果，这意味着：整个太阳系是不可预测的，用牛顿定理，无法推算出在某一时刻行星运动的准确位置和速度。
即在确定性的系统中出现了随机现象。
“混沌神经网络理论及在图像识别中的应用研究”项目通过天津市教委验收
专家 验收 ．
该 项 目对混 沌理论 、混沌 神经 网络理 论展 开 了深入 的研究 和探 索． 研究 了混沌 在智 能信 息 处理 中 的应 用 ， 出并行 混沌优 化算 法 ， 合种 群优 化算法 的思想 ， 服 了串行 混沌 优化 算法 对 提 结 克
复杂 问题求 解时 寻优效 率不 高的缺 点 ， 效地解 决 了 函数优 化 、 有 组合优 化等 问题 ： 出 了多种 复 提 合优 化算法 ， 服 了现有 单一 优化算 法 的缺点 ， 克 提高 了算法 寻优 效率 和巡游 性 能 ； 出 了一种 同 提
时具 有迟滞 和混 沌两种 复杂 非线性 特性 的神经 网络模 型—— 迟 滞混 沌神经 网络 ， 迟滞 系统 建 在
模、 函数 优化计 算 、 组合 优化 计算 以及 图像 的联想 记忆 和 图像 特 征点 匹 配等 方 面取得 了 良好 的 应用效 果 ； 出了一种基 于混 沌算 子 的网络模 型 ， 时 间序 列 的预测 中取得 了成功 的应 用 ， 具 提 在 并 体地 对金 融时 间序列 、 电力 系统负 荷时 间序列 以及水 文 时间序 列等 多种 复杂非 线性 系统 进行 了
参 考文献 ：
【］ Ｊ ｉｔ ｉｅ ｅｍ ｏ １ Ｕ— ａ ｄ ／ Ｃ Ｔ Ｉ Ｄ ａ Ｔ Ｔ １ ｏ ｄ ｏＴ ａ ｆ Ｔ Ｔ ｎ ｌ ０ Ｉ Ｊ Ｃ ， ｒｆ ＩＵ— ｎ Ｖ ５ Ｅ ｔ
Ｒｅ ｏ ｃ ｍｍｅ ｄ ｔ ｎ ａ ｄ ｉａ Ｄ ａ ｎ ｅ ｎ ｔ ｎ ｌ Ｓ ａ ｄ ｒ ｆ ｎ ａ ｉ ｎ Ｆ ｎ ｌ ｒ ｆ Ｉ ｔ ｒ ａｉ ａ ｔｎ ａ ｄ ｏ ｏ ｔ ｏ
一
８ ８一
天
津
工
业
大
学
学
报
该 项 目对混 沌理论 、混沌 神经 网络理 论展 开 了深入 的研究 和探 索． 研究 了混沌 在智 能信 息 处理 中 的应 用 ， 出并行 混沌优 化算 法 ， 合种 群优 化算法 的思想 ， 服 了串行 混沌 优化 算法 对 提 结 克
复杂 问题求 解时 寻优效 率不 高的缺 点 ， 效地解 决 了 函数优 化 、 有 组合优 化等 问题 ： 出 了多种 复 提 合优 化算法 ， 服 了现有 单一 优化算 法 的缺点 ， 克 提高 了算法 寻优 效率 和巡游 性 能 ； 出 了一种 同 提
时具 有迟滞 和混 沌两种 复杂 非线性 特性 的神经 网络模 型—— 迟 滞混 沌神经 网络 ， 迟滞 系统 建 在
模、 函数 优化计 算 、 组合 优化 计算 以及 图像 的联想 记忆 和 图像 特 征点 匹 配等 方 面取得 了 良好 的 应用效 果 ； 出了一种基 于混 沌算 子 的网络模 型 ， 时 间序 列 的预测 中取得 了成功 的应 用 ， 具 提 在 并 体地 对金 融时 间序列 、 电力 系统负 荷时 间序列 以及水 文 时间序 列等 多种 复杂非 线性 系统 进行 了
参 考文献 ：
【］ Ｊ ｉｔ ｉｅ ｅｍ ｏ １ Ｕ— ａ ｄ ／ Ｃ Ｔ Ｉ Ｄ ａ Ｔ Ｔ １ ｏ ｄ ｏＴ ａ ｆ Ｔ Ｔ ｎ ｌ ０ Ｉ Ｊ Ｃ ， ｒｆ ＩＵ— ｎ Ｖ ５ Ｅ ｔ
Ｒｅ ｏ ｃ ｍｍｅ ｄ ｔ ｎ ａ ｄ ｉａ Ｄ ａ ｎ ｅ ｎ ｔ ｎ ｌ Ｓ ａ ｄ ｒ ｆ ｎ ａ ｉ ｎ Ｆ ｎ ｌ ｒ ｆ Ｉ ｔ ｒ ａｉ ａ ｔｎ ａ ｄ ｏ ｏ ｔ ｏ
一
８ ８一
天
津
工
业
大
学
学
报
混沌时间序列分析方法研究及其应用
混沌时间序列分析方法研究及其应用一、综述近年来，随着大数据时代的到来，时间序列数据在各个领域的应用越来越广泛，如金融、气象、环境监测、生物技术等。
对于时间序列数据，由于其具有不确定性、复杂性和模糊性等特点，传统的数据分析方法已经难以满足需求。
针对时间序列数据的混沌时间序列分析方法逐渐受到关注。
本文将对混沌时间序列分析方法进行综述，包括其基本原理、特点、应用以及最新研究成果。
旨在为相关领域的研究和应用提供参考与借鉴。
混沌时间序列分析方法是一种针对具有混沌特性的时间序列数据进行预测和分析的方法。
自从20世纪80年代以来，混沌理论的发展为时间序列分析提供了新的思路。
与其他数据分析方法相比，混沌时间序列分析方法具有对初始条件敏感、普适性、可预测性等特点，使其在许多领域得到广泛应用。
相空间重构：通过对时间序列进行相空间重构，将高维的时间序列数据投影到低维的相空间中，以揭示其内在的混沌动力学规律。
常用的重构方法有CohenSteel算法、拉普拉斯矩阵和马尔可夫矩阵等。
李雅普诺夫指数计算：李雅普诺夫指数是衡量系统混沌程度的一个指标。
通过对时间序列进行分析，可以计算出其李雅普诺夫指数，从而了解系统的混沌特性。
常用的计算方法有奇异值分解法（SVD）和非线性最小二乘法等。
分布熵分析：分布熵是一种衡量时间序列复杂性的度量。
通过对时间序列进行分布熵分析，可以了解其混乱程度。
常用的分布熵计算方法有基于Shannon熵的算法和基于小波嫡的算法等。
神经网络预测：基于神经网络的混沌时间序列预测方法被认为是具有潜力的预测手段。
通过训练神经网络模型，可以实现对混沌时间序列的有效预测。
主要包括循环神经网络（RNN）、长短时记忆网络（LSTM）和门控循环单元（GRU）等模型。
集成学习方法：集成学习方法是将多个单一模型的预测结果进行融合以提高预测精度的策略。
通过对不同算法和模型的预测结果进行集成，可以提高混沌时间序列分析的稳定性和准确性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
[ 10] [ 9]
.
3 混沌神经元模型及混沌神经网络的研究情况
混沌是一种非线性的动力学行为, 而 Ho pf ield 结构正是神经网络与非线性动力学行为的 良好结合 , 因而它可以作为研究混沌神经网络的基础网型[ 11, 17] ; 而 BP 算法可用来观察、 学习 混沌动力学系统 [ 12] , 用被破坏的输入数据集重构二维混沌系统的吸引子 , 得到相应的几何信 息
4 混沌神经网络模型
下面, 基于上面回顾的工作及相关内容 , 描述混沌神经网络的模型主要有 Aihar a 依据动 物试验提出的和 Ino ue 依据 L ogist ic 映象提出的两种. 4. 1 Aihara 的混沌神经网络模型 1990 年, Aihara 等
[ 22]
在前人推导和实验的基础上, 给出了一个混沌神经元模型.
[ 30 ]
, 这对于用混沌理论分析社会大系统, 对于系统工程 , 都是有所启发的. , 而混沌在信息处理中的作用和角色更是人们的关心之处[ 33～36] , 尤其是与联想记忆、 模
[ 30]
研究间歇性( Int er mitt ency ) 有助于对混沌神经元及其网络的混沌动力学活动的本质的了
[ 31 , 32]
2 混沌动力学简介
神经网络是高度非线性动力学系统 . 动力学系统一般可定义为由确定的微分方程或差分 方程描述的一个系统在时间轴上的状态演变 , 若刻划系统的函数对自变量的依赖关系高于一 次 , 则此动力学系统为非线性动力学系统[ 4] . 动力学系统中的吸引子 ( At t ract or ) 是一个十分重 要的概念, 当某一时刻系统状态确定后, 其后的状态将按动力学方程转移 , 靠近某一稳定状态, 这样的状态便是吸引子 . 吸引子有许多种, 包括点吸引子, 周期吸引子 , 奇异吸引子( 混沌是其 典型例子) . 通常, 神经网络有多个吸引子, 吸引子对应的初值集合叫做吸引域. 神经网络研究 的关键是吸引域[ 5] . 严格说来, 混沌现象是不含外加随机因素的完全确定性的系统所表现出的内秉随机行
第 26 卷 第 5 期 1997 年 10 月
信 息 与 控制
Infor mation and Contr ol
V ol. 26, N o . 5 Oct . , 1997
混沌神经网络研究进展与展望
董 军 胡上序
( 浙江大学 杭州 310027)
摘 要 概述了混沌动力 学的特性 , 回顾了近年来混沌神 经元模型及混沌神 经网络的研究进 展 , 在此基础上 , 介绍了两 种混沌神经网络模型 , 分析了其 构成和特点 . 已有研究结果表明 , 混沌神 经网络 在联想记忆 和组合优化 等方面有 着比现有网 络更好的 性能 . 最 后 , 指 出了混沌神 经网络的 应用与研究方向 . 关键词 混沌 , 人工神经元 , 混沌神经网络 , 联想记忆 , 组合 优化
[ 16]
. 混沌神经网络的框架或模型也已提出
[ 18～24]
, 并涉及联想记忆、 组合优
362
信 息 与 控 制
26 卷
化如 T SP 等问题 . 人们对人工神经网络有兴趣的原因, 归根结底还是希望能看到神经网络的硬件实现, 即构 造 神 经 计 算 机 , 所 以, 构 造 和 讨 论 硬 件 线 路 以 观 察 混 沌 神 经 元 或 神 经 网 络 的 混 沌 响 应[ 11 , 15, 17, 25, 26] , 不仅可直接观察混沌神经网络的动力学行为, 还可为构造混沌神经计算机打下 基础. 由 3 个神经元组成的自激( Aut onomo us ) 元胞神经网络实际上是一种简化模型[ 17, 25, 27] , 这 有助于用神经网络分析分形和混沌行为. 两个神经元组成的延时元胞神经网络也是如此 [ 28] , 通过研究特征值和特征向量可以得出混沌神经元奇异吸引子的量化描述 . 混沌时间序列则是研究较多的又一方面[ 12, 13, 29] . 混沌时间序列在其内部有确定的规律性, 这来自于它的非线性混沌动力学特性 , 它们使系统表现出某种记忆能力 , 这种性质不易为解析 法所描述, 但又适于用神经网络处理 . 而混沌系统不可能作长期预测 , 但只要有足够好的模型 和对初始条件的精确观察, 它的确定性却使之在预测能力消失以前可以进行短期预测 . 这里又 是一个吸引人的崭新天地. 通过对于流体 ( Fl uid ) 神经网络 ( 由具有随机活动性的可移动的单元构成的神经网络) 中 的混沌 的研究, 得到 了用于描述 象昆虫社 会、 机器 人集体、 免疫系 统等一类 系统的理 论框 架 解
在生物神 经元的 动力学 模型构 造历史 上, M cCullochP itt s 神 经元 ( 1943) 和 Caianiello ( 1961) 神经元方程是非常重要的, 后者包含了前者 .
5期
董 军等: 混沌神经网络研究进展与展望
M j= 1 t i
363
x i ( t + 1) = u ( ∑ ∑W (ijr) x i ( t - r ) r= 0
[ 38]
. 实验表明 , 通过学习 , 可进化到模拟一个目标的随机过程的混沌行为, 这使我们看到
了经由神经学习的有趣的混沌自组织机制 , 并显示出规则是怎样被嵌入到确定的混沌中的 . 还可利用混沌的初值敏感性 , 训练有微小扰动输入的神经网络, 使之用于混沌控制[ 39] . 简 略地讲 , 目前的研究主要在于认识单个神经元的混沌特性和分析简单混沌神经网络的行为 , 因 而需要深入研究, 并获得应用.
式识别有关的方面 . 应用混沌动力学特性, 构造一个双向网络 , 使联结权值对应某种约束, 则可 将有效模式存在网络能量域的局部最小点 间动力学特性也得以研究
[ 31]
. 耦合的伪周期和混沌神经网络振动子的离散时
. 还有基于脑的生理机制和解剖学实验, 分析脑的存储记忆、 联想
[ 36]
回忆等非线性动力学问题, 一维混沌图显示了脑的混沌动力学特性 [ 35] . 利用混沌所表现出的 伪随机行为来获取输入中类噪声模式的关键信息为模式分类提供了新的希望 . 一个将神经信息学 ( Neuro inf ormat ics) 和确定的混沌组合起来的“ 生物” 代理, 利用递归神 经网络 ( Recurr ent Neural Net w orks ) 可观察并重构一个目标处理过程 [ 37] , 并用于存储和检索 信息
[ 13 ]
.
[ 3, 14～22]
混沌神经网络的研究起于并基于混沌神经元的研究 , 混沌神经元是构造混沌神经 网络的基本单位, 对于单个神经元的混沌特性的了解可为混沌神经网络提供必要前提和认识 基础. 混沌神经元的研究中 , 振荡子( Oscillat or ) 是一种典型的研究对象[ 17～19, 32] , 因为振荡子或 它们的组合可表现出丰富的混沌动力学行为. 对于在动力系统平衡点不满足 L ipschitz 条件所 引 起 的极限 ( T erminal) 混 沌的现象 的研究显 示: 神经 元活动的 混沌态与 高级认 识过程 有 关[ 14 ] ; 还有用谱和维数分析混沌神经元模型 [ 15] , 并用 f ( ) 谱量化混沌神经元模型的多分形 ( M ult if ract al) 结构
其中 u 0 = y 0 / y 0 . 正的 L yapunov 指数表征存在混沌行为. 1963 年 L orenz 在分析气侯数据时发现 : 初值十分接近的两条曲线的最终结果会相差很 大 , 从而获得了混沌的第一个例子; 1975 年 L i-Yorke 的论文“ 周期三意味着混沌” 使“ 混沌” 一 词首次出现在科技文献中. 混沌可由简单的确定性规则产生, 其运动状态可容易地由控制参数 改变, 并可使初值的微小差别加以扩大, 表面上的非周期背后隐藏着有序性, 混沌表明了长期 预测是不可能的. 混沌的研究始于数学和物理, 现已扩及工程、 信息和社会科学领域. 目前 , 混沌的应用可分为综合混沌 ( Sy nt het ic Chaos) 和分析混沌 ( Analy tic Chaos) 两方 面 . 前者利用人工产生的混沌从混沌动力学系统中获得可能的功能, 如人工神经网络的联想 记忆, 逃离局部最小, 机器人的路径规划等 , 它们都利用了简单的确定性规则 ; 后者分析由复杂 的人工和自然系统中获得的混沌信号并寻找隐藏的确定性规则 , 如时间序列数据的非线性确 定性预测, 系统的诊断和控制等 . 混沌吸引子是混沌系统研究的主要对象 , 不管系统初态如何, 最终行为都取决于吸引子. 神经网络理论研究中引入混沌学思想有助于揭示人类形象思维等方面的奥秘, 进而为合理利 用神经网络的混沌行为指明方向
1 引言
在过去的十年里, 人工神经元网络的研究与应用是计算机与人工智能、 认知科学、 神经生 理学、 非线性动力学等相关专业的热点. 它吸引了为数众多的科技工作者 , 提出或用及的网络 类型有百种, 涉及模式识别、 决策优化、 联想记忆、 自适应控制和计算机视觉等等难以胜数的方 面 , 有关神经网络算法、 性能及应用的论文大量出现 . 然而 , 由于目前人类对真实神经系统只了 解非常有限的一部分, 对于自身脑结构及其活动机理的认识还十分肤浅 , 当今的神经网络模型 实际上是极为简略和粗糙 , 并且是带有某种“ 先验” 的. 譬如 , Bolt zmann 机引入随机扰动来避 免局部最小, 有其卓越之处 , 然而缺乏必要的脑生理学基础. 毫无疑问, 人工神经元网络的完善 与发展有待于神经生理学、 神经解剖学的研究给出更加详细的信息和证据. 近年来, 人们发现, 脑中存在着混沌现象[ 1 , 2] , 混沌理论可用来理解脑中某些不规则的活 动[ 3] , 从而 , 混沌动力学为人们研究神经网络提供了新的契机 , 用神经网络研究或产生混沌以 及构造混沌神经网络成为摆在人们面前的又一新课题. 因为从生理本质角度出发 ( 这里并不是 单纯提倡纯粹意义上的生理模拟, 因为人类认识自然和社会的规律并非是一种“ 照抄照搬” 的 过程, 只是应该有客观的依据和明确的目的 ) 是研究神经网络的根本手段 . 为此, 本文对当今混 沌神经网络的研究作一简要回顾 , 疏漏之处在所难免 , 恳望指正.
.
3 混沌神经元模型及混沌神经网络的研究情况
混沌是一种非线性的动力学行为, 而 Ho pf ield 结构正是神经网络与非线性动力学行为的 良好结合 , 因而它可以作为研究混沌神经网络的基础网型[ 11, 17] ; 而 BP 算法可用来观察、 学习 混沌动力学系统 [ 12] , 用被破坏的输入数据集重构二维混沌系统的吸引子 , 得到相应的几何信 息
4 混沌神经网络模型
下面, 基于上面回顾的工作及相关内容 , 描述混沌神经网络的模型主要有 Aihar a 依据动 物试验提出的和 Ino ue 依据 L ogist ic 映象提出的两种. 4. 1 Aihara 的混沌神经网络模型 1990 年, Aihara 等
[ 22]
在前人推导和实验的基础上, 给出了一个混沌神经元模型.
[ 30 ]
, 这对于用混沌理论分析社会大系统, 对于系统工程 , 都是有所启发的. , 而混沌在信息处理中的作用和角色更是人们的关心之处[ 33～36] , 尤其是与联想记忆、 模
[ 30]
研究间歇性( Int er mitt ency ) 有助于对混沌神经元及其网络的混沌动力学活动的本质的了
[ 31 , 32]
2 混沌动力学简介
神经网络是高度非线性动力学系统 . 动力学系统一般可定义为由确定的微分方程或差分 方程描述的一个系统在时间轴上的状态演变 , 若刻划系统的函数对自变量的依赖关系高于一 次 , 则此动力学系统为非线性动力学系统[ 4] . 动力学系统中的吸引子 ( At t ract or ) 是一个十分重 要的概念, 当某一时刻系统状态确定后, 其后的状态将按动力学方程转移 , 靠近某一稳定状态, 这样的状态便是吸引子 . 吸引子有许多种, 包括点吸引子, 周期吸引子 , 奇异吸引子( 混沌是其 典型例子) . 通常, 神经网络有多个吸引子, 吸引子对应的初值集合叫做吸引域. 神经网络研究 的关键是吸引域[ 5] . 严格说来, 混沌现象是不含外加随机因素的完全确定性的系统所表现出的内秉随机行
第 26 卷 第 5 期 1997 年 10 月
信 息 与 控制
Infor mation and Contr ol
V ol. 26, N o . 5 Oct . , 1997
混沌神经网络研究进展与展望
董 军 胡上序
( 浙江大学 杭州 310027)
摘 要 概述了混沌动力 学的特性 , 回顾了近年来混沌神 经元模型及混沌神 经网络的研究进 展 , 在此基础上 , 介绍了两 种混沌神经网络模型 , 分析了其 构成和特点 . 已有研究结果表明 , 混沌神 经网络 在联想记忆 和组合优化 等方面有 着比现有网 络更好的 性能 . 最 后 , 指 出了混沌神 经网络的 应用与研究方向 . 关键词 混沌 , 人工神经元 , 混沌神经网络 , 联想记忆 , 组合 优化
[ 16]
. 混沌神经网络的框架或模型也已提出
[ 18～24]
, 并涉及联想记忆、 组合优
362
信 息 与 控 制
26 卷
化如 T SP 等问题 . 人们对人工神经网络有兴趣的原因, 归根结底还是希望能看到神经网络的硬件实现, 即构 造 神 经 计 算 机 , 所 以, 构 造 和 讨 论 硬 件 线 路 以 观 察 混 沌 神 经 元 或 神 经 网 络 的 混 沌 响 应[ 11 , 15, 17, 25, 26] , 不仅可直接观察混沌神经网络的动力学行为, 还可为构造混沌神经计算机打下 基础. 由 3 个神经元组成的自激( Aut onomo us ) 元胞神经网络实际上是一种简化模型[ 17, 25, 27] , 这 有助于用神经网络分析分形和混沌行为. 两个神经元组成的延时元胞神经网络也是如此 [ 28] , 通过研究特征值和特征向量可以得出混沌神经元奇异吸引子的量化描述 . 混沌时间序列则是研究较多的又一方面[ 12, 13, 29] . 混沌时间序列在其内部有确定的规律性, 这来自于它的非线性混沌动力学特性 , 它们使系统表现出某种记忆能力 , 这种性质不易为解析 法所描述, 但又适于用神经网络处理 . 而混沌系统不可能作长期预测 , 但只要有足够好的模型 和对初始条件的精确观察, 它的确定性却使之在预测能力消失以前可以进行短期预测 . 这里又 是一个吸引人的崭新天地. 通过对于流体 ( Fl uid ) 神经网络 ( 由具有随机活动性的可移动的单元构成的神经网络) 中 的混沌 的研究, 得到 了用于描述 象昆虫社 会、 机器 人集体、 免疫系 统等一类 系统的理 论框 架 解
在生物神 经元的 动力学 模型构 造历史 上, M cCullochP itt s 神 经元 ( 1943) 和 Caianiello ( 1961) 神经元方程是非常重要的, 后者包含了前者 .
5期
董 军等: 混沌神经网络研究进展与展望
M j= 1 t i
363
x i ( t + 1) = u ( ∑ ∑W (ijr) x i ( t - r ) r= 0
[ 38]
. 实验表明 , 通过学习 , 可进化到模拟一个目标的随机过程的混沌行为, 这使我们看到
了经由神经学习的有趣的混沌自组织机制 , 并显示出规则是怎样被嵌入到确定的混沌中的 . 还可利用混沌的初值敏感性 , 训练有微小扰动输入的神经网络, 使之用于混沌控制[ 39] . 简 略地讲 , 目前的研究主要在于认识单个神经元的混沌特性和分析简单混沌神经网络的行为 , 因 而需要深入研究, 并获得应用.
式识别有关的方面 . 应用混沌动力学特性, 构造一个双向网络 , 使联结权值对应某种约束, 则可 将有效模式存在网络能量域的局部最小点 间动力学特性也得以研究
[ 31]
. 耦合的伪周期和混沌神经网络振动子的离散时
. 还有基于脑的生理机制和解剖学实验, 分析脑的存储记忆、 联想
[ 36]
回忆等非线性动力学问题, 一维混沌图显示了脑的混沌动力学特性 [ 35] . 利用混沌所表现出的 伪随机行为来获取输入中类噪声模式的关键信息为模式分类提供了新的希望 . 一个将神经信息学 ( Neuro inf ormat ics) 和确定的混沌组合起来的“ 生物” 代理, 利用递归神 经网络 ( Recurr ent Neural Net w orks ) 可观察并重构一个目标处理过程 [ 37] , 并用于存储和检索 信息
[ 13 ]
.
[ 3, 14～22]
混沌神经网络的研究起于并基于混沌神经元的研究 , 混沌神经元是构造混沌神经 网络的基本单位, 对于单个神经元的混沌特性的了解可为混沌神经网络提供必要前提和认识 基础. 混沌神经元的研究中 , 振荡子( Oscillat or ) 是一种典型的研究对象[ 17～19, 32] , 因为振荡子或 它们的组合可表现出丰富的混沌动力学行为. 对于在动力系统平衡点不满足 L ipschitz 条件所 引 起 的极限 ( T erminal) 混 沌的现象 的研究显 示: 神经 元活动的 混沌态与 高级认 识过程 有 关[ 14 ] ; 还有用谱和维数分析混沌神经元模型 [ 15] , 并用 f ( ) 谱量化混沌神经元模型的多分形 ( M ult if ract al) 结构
其中 u 0 = y 0 / y 0 . 正的 L yapunov 指数表征存在混沌行为. 1963 年 L orenz 在分析气侯数据时发现 : 初值十分接近的两条曲线的最终结果会相差很 大 , 从而获得了混沌的第一个例子; 1975 年 L i-Yorke 的论文“ 周期三意味着混沌” 使“ 混沌” 一 词首次出现在科技文献中. 混沌可由简单的确定性规则产生, 其运动状态可容易地由控制参数 改变, 并可使初值的微小差别加以扩大, 表面上的非周期背后隐藏着有序性, 混沌表明了长期 预测是不可能的. 混沌的研究始于数学和物理, 现已扩及工程、 信息和社会科学领域. 目前 , 混沌的应用可分为综合混沌 ( Sy nt het ic Chaos) 和分析混沌 ( Analy tic Chaos) 两方 面 . 前者利用人工产生的混沌从混沌动力学系统中获得可能的功能, 如人工神经网络的联想 记忆, 逃离局部最小, 机器人的路径规划等 , 它们都利用了简单的确定性规则 ; 后者分析由复杂 的人工和自然系统中获得的混沌信号并寻找隐藏的确定性规则 , 如时间序列数据的非线性确 定性预测, 系统的诊断和控制等 . 混沌吸引子是混沌系统研究的主要对象 , 不管系统初态如何, 最终行为都取决于吸引子. 神经网络理论研究中引入混沌学思想有助于揭示人类形象思维等方面的奥秘, 进而为合理利 用神经网络的混沌行为指明方向
1 引言
在过去的十年里, 人工神经元网络的研究与应用是计算机与人工智能、 认知科学、 神经生 理学、 非线性动力学等相关专业的热点. 它吸引了为数众多的科技工作者 , 提出或用及的网络 类型有百种, 涉及模式识别、 决策优化、 联想记忆、 自适应控制和计算机视觉等等难以胜数的方 面 , 有关神经网络算法、 性能及应用的论文大量出现 . 然而 , 由于目前人类对真实神经系统只了 解非常有限的一部分, 对于自身脑结构及其活动机理的认识还十分肤浅 , 当今的神经网络模型 实际上是极为简略和粗糙 , 并且是带有某种“ 先验” 的. 譬如 , Bolt zmann 机引入随机扰动来避 免局部最小, 有其卓越之处 , 然而缺乏必要的脑生理学基础. 毫无疑问, 人工神经元网络的完善 与发展有待于神经生理学、 神经解剖学的研究给出更加详细的信息和证据. 近年来, 人们发现, 脑中存在着混沌现象[ 1 , 2] , 混沌理论可用来理解脑中某些不规则的活 动[ 3] , 从而 , 混沌动力学为人们研究神经网络提供了新的契机 , 用神经网络研究或产生混沌以 及构造混沌神经网络成为摆在人们面前的又一新课题. 因为从生理本质角度出发 ( 这里并不是 单纯提倡纯粹意义上的生理模拟, 因为人类认识自然和社会的规律并非是一种“ 照抄照搬” 的 过程, 只是应该有客观的依据和明确的目的 ) 是研究神经网络的根本手段 . 为此, 本文对当今混 沌神经网络的研究作一简要回顾 , 疏漏之处在所难免 , 恳望指正.