仿生模式识别_拓扑模式识别_一种模式识别新模型的理论与应用_王守觉
- 格式：pdf
- 大小：148.60 KB
- 文档页数：4
关键词 : 模式识别 ;神经网络 ;仿生学 ;高维几何 中图分类号 : O235 文献标识码 : A 文章 编号 : 0372-2112 (2002)10-1417-04
Bionic (Topological)Pattern Recognition ——— A New Model of Pattern Recognition Theory and Its Applications
1 41 8
电 子 学 报
2002 年
的是改变了 所用的术语 .特别 地 , 感 知器被 改称为 神经网 络 . 然后这些研 究被称作是与 生理学家 共同进 行的 , 对学 习问题 的研究减少了一般性 , 增加了主观色彩 .在 60 和 70 年代学习 问题研究的主要目标是寻找从小数量样本出发进行归纳推理 的最好途径 , 而到了 80 年 代 , 目 标变成 了构 造利 用大脑 来推 广的模型 .(原文注 :当然研究人是如何学习的是很有意 义的 , 但是这并不 一定是建立人 工学习机 器的最 佳途径 , 正 如人们 对鸟类如何 飞行 的研 究实 际上 对建 造飞 机没 有多 少帮 助一 样).”
本文对 Vapnik 这段 话并 非有 所评 议 , 只 想说 明 , 本 文题 目用“ 仿生模式识别” 中的“ 仿生” 二字 , 并非 Vapnik 所 批评的 “ 目标变成了构造利用大 脑来推 广的模 型” , 而 只是为 了从功 能上更接近 于人类对事物 的识别过 程 , 而从数 学模型 上加入 了实际“ 被识别对象” 的某些 普遍存 在的“ 特殊 性” .这 个所谓 “ 特殊性”是 针对目前传统的 模式识 别数学描 述方法 的“ 一般 性与通用性” 而言的 , 它在实际的模式识别问题中却仍然具有 一般性与通用性 .
200第2 年10
期 10 月
电 子 学 报 ACTA ELECTRONICA SINICA
Vo l O
.30 No.10 ct . 2002
仿生模式识别(拓扑模式识别)———一种模式识别 新模型的理论与应用
王守觉
(中国科学院半导体研究所神经网络实验室 , 北京 100083) 摘 要 : 本文提出了一种模式识别理论的新 模型 , 它是 基于“ 认识” 事物而不 是基于“ 区分” 事物为目 的 .与 传统 以“ 最佳划分” 为目标的统计模式识别相比 , 它更接 近于人类“ 认识” 事物的特 性 , 故 称为“ 仿生模式识 别” .它的数 学方 法在于研究特征空间中样本集合的拓扑性质 , 故亦 称作“ 拓扑模式识别” .“ 拓扑模式识别” 的理论基点在于它确认 了特 征空间中同类样本的连续性(不能分裂成两个彼此 不邻接的部分)特性 .文中用“ 仿生模式识别” 理论及其“高维空 间复 杂几何形体覆盖神经网 络” 识别 方法 , 对 地平面刚体目标全方 位识别问题作了实 验 .对各种 形状相像的动物及 车辆模 型作全方位 8800 次识别 , 结果正确识别率为 99.75%, 错误识别率与 拒识率分别为 0 与 0.25 %.
1 引言
模式识别的发 展已 有几 十年的 历史 .早 在 20 世 纪 30 年 代 , Fisher 提出的判别分析就是利用已知的两类向量的概率分 布函数来设 计将两类向 量分开的 决策规 则的问 题[ 1] .随 即在 统计模式识 别发展以后 , 模式识 别就被 认为是 用来选 择使平 均风险达到 最小的模式 类别 .因而 , 划分类 别问题 , 与统 计判 决理论完全相同[ 2] .
4 仿生模式识别的 基点 ———特征空 间中同类样本 全体的连续性规律
人们在对事物的识别过程中 , 存在两种不同的归类过程 . 一种是“ 同源”的归类过程 , 例如同为简体汉字的手写体识别 . 另一种是不同源的按 逻辑知 识归类过 程 , 例如手 写体中 简体 汉字与繁体汉字的归 并 .对 学过简 体汉字 而未学 过繁体 汉字 的人 , 对于简体汉字的印刷体 、手写楷书和 行书等往往都能认 识 , 而对于繁体汉字却不认识 .因为繁体汉 字与简体汉字并不 源于同一个字形 , 而是被人为地定义为同一个字的 , 靠事先学 习的逻辑知识把二类归 并成一类 .我 们把“ 同源” 的称为 同一 类 , 而在识别以后再按逻辑 归类知 识把需 要归在 一起的 类别 合并 .因而以下所称同类样本指的都是“ 同源” 的一类样本 .以 下讨论“ 同源”同类样本的连续性 规律 ;
本文的 基本出 发点 就在 于把 模式 识别 问题 看成 模 式的 “ 认识” , 而不是分类划 分 , 不是模式 分类 ;是一 类一类样 本的 “ 认识” , 而不是多类样 本的划 分 .因 而 , 其基本 数学模型 当然 会与传统模式识别的“最优分类” 界面的概念大不相同 .
2 人类的识别功能与传统模式识别方法的差异
近年受到人 们 关注 的支 持 向量 机(SVM)的最 早 提出 者 Vapnik 在 1974 年提出 了“ 最 优分 类超 平面” 的概 念[ 3] 并 在此 基础上后来发展构造成了支持向量机(SVM)[ 4] .综上所述 , 数 十年来人们 在研究模式识 别问题中 , 考 虑的出 发点都 是在若 干类别的最 佳分类划分上 .其根 本原因 或许在 于用这 样的数 学描述与处 理方法最具 有一般性 、通 用性 .但众所 周知 , 即使 基于目前最 先进的模式识 别理论基 础上的 识别机 , 其 实际效
WANG Shou-jue
(Lab of Artificial Neural Networks , Institute of Semiconductors , CAS , Beijing 100083, China) Abstract : A new model of pattern recognition principles, witch is based on “matter cognition”instead of “matter classification” in traditional statistical pattern recognition, has been proposed.This new model is better closer to the function of human being , rather than traditional statistical pattern recognition using“optimal seperating”as its main principle .So the new model of pattern recognition is called the Bionic Pattern Recognition.Its mathematical basis are topological analysis of sample set in the high dimensional feature space , therefore it is also called the Topological Pattern Recognition .The basic idea of this model is based on the fact of the continuity in the feature space of any one of the certain kinds of samples.We did experiments on recognition of omnidirectionally oriented rigid objects on the same level, with the Bionic Pattern Recognition using neural networks, which acts by the method of covering the high dimensional geometrical distribution of the sample set in the feature space .M any animal and vehicle models(even with rather similar shapes)were recognized omnidirectionally thousands of times.For total 8800 tests, the correct recognition rate is 99.75 %, the error rate and the rejection rate are 0 and 0.25 respectively . Key words: pattern recognition;neural networks;bionics;high dimensional geometry
上看 , 还 没 有“ 仿 生” 的含 意 .下 面 把 仿 生
模式 识别 与传 统模 式
识别 的比 较与 差异 以
图表 方 式 表 示 在 图 1
图1
中.
3 从基本数学 模型看仿生模式识别与传统模式识 别的本质差别
传统模式识 别其基本数 学模型的 基点在于如 文献[ 5] 中 第 12 页所述的 :《 所有可用 的信息 都包 含在训 练集(1 -1)式 中的情况下》(注 :原 文(1 -1)式 即训 练 集坐 标(x 1 , y1), … , (x1 , y 1))这就是说在同类样本点相互之间没 有任何关系 的先 验知识存在 , 因此 , 一切都只能从特征空间 中不同类样本的划 分出发了 .然而在自然界实际规律中并非如此 ;本文所提出的 仿生模式识别就在于引 入了同类样本间存在的某些普遍的规 律性而建立起来的“ 多维空间中非超球复杂几何形体覆盖” 的 识别原理 .下节将重点讨论同类样本间普遍存在的规律性(亦 即普遍存在的先验知识)
不认识这种东西” .这正是人类认识事物与传统模式识别的差 别 .人类侧重于“认识” , 只有在 细小 之处才 重视“ 区 别”(例如
要区分狼与 狗或马与驴等等), 而传 统模式识 别则只 注意“ 区
Bionic (Topological)Pattern Recognition ——— A New Model of Pattern Recognition Theory and Its Applications
1 41 8
电 子 学 报
2002 年
的是改变了 所用的术语 .特别 地 , 感 知器被 改称为 神经网 络 . 然后这些研 究被称作是与 生理学家 共同进 行的 , 对学 习问题 的研究减少了一般性 , 增加了主观色彩 .在 60 和 70 年代学习 问题研究的主要目标是寻找从小数量样本出发进行归纳推理 的最好途径 , 而到了 80 年 代 , 目 标变成 了构 造利 用大脑 来推 广的模型 .(原文注 :当然研究人是如何学习的是很有意 义的 , 但是这并不 一定是建立人 工学习机 器的最 佳途径 , 正 如人们 对鸟类如何 飞行 的研 究实 际上 对建 造飞 机没 有多 少帮 助一 样).”
本文对 Vapnik 这段 话并 非有 所评 议 , 只 想说 明 , 本 文题 目用“ 仿生模式识别” 中的“ 仿生” 二字 , 并非 Vapnik 所 批评的 “ 目标变成了构造利用大 脑来推 广的模 型” , 而 只是为 了从功 能上更接近 于人类对事物 的识别过 程 , 而从数 学模型 上加入 了实际“ 被识别对象” 的某些 普遍存 在的“ 特殊 性” .这 个所谓 “ 特殊性”是 针对目前传统的 模式识 别数学描 述方法 的“ 一般 性与通用性” 而言的 , 它在实际的模式识别问题中却仍然具有 一般性与通用性 .
200第2 年10
期 10 月
电 子 学 报 ACTA ELECTRONICA SINICA
Vo l O
.30 No.10 ct . 2002
仿生模式识别(拓扑模式识别)———一种模式识别 新模型的理论与应用
王守觉
(中国科学院半导体研究所神经网络实验室 , 北京 100083) 摘 要 : 本文提出了一种模式识别理论的新 模型 , 它是 基于“ 认识” 事物而不 是基于“ 区分” 事物为目 的 .与 传统 以“ 最佳划分” 为目标的统计模式识别相比 , 它更接 近于人类“ 认识” 事物的特 性 , 故 称为“ 仿生模式识 别” .它的数 学方 法在于研究特征空间中样本集合的拓扑性质 , 故亦 称作“ 拓扑模式识别” .“ 拓扑模式识别” 的理论基点在于它确认 了特 征空间中同类样本的连续性(不能分裂成两个彼此 不邻接的部分)特性 .文中用“ 仿生模式识别” 理论及其“高维空 间复 杂几何形体覆盖神经网 络” 识别 方法 , 对 地平面刚体目标全方 位识别问题作了实 验 .对各种 形状相像的动物及 车辆模 型作全方位 8800 次识别 , 结果正确识别率为 99.75%, 错误识别率与 拒识率分别为 0 与 0.25 %.
1 引言
模式识别的发 展已 有几 十年的 历史 .早 在 20 世 纪 30 年 代 , Fisher 提出的判别分析就是利用已知的两类向量的概率分 布函数来设 计将两类向 量分开的 决策规 则的问 题[ 1] .随 即在 统计模式识 别发展以后 , 模式识 别就被 认为是 用来选 择使平 均风险达到 最小的模式 类别 .因而 , 划分类 别问题 , 与统 计判 决理论完全相同[ 2] .
4 仿生模式识别的 基点 ———特征空 间中同类样本 全体的连续性规律
人们在对事物的识别过程中 , 存在两种不同的归类过程 . 一种是“ 同源”的归类过程 , 例如同为简体汉字的手写体识别 . 另一种是不同源的按 逻辑知 识归类过 程 , 例如手 写体中 简体 汉字与繁体汉字的归 并 .对 学过简 体汉字 而未学 过繁体 汉字 的人 , 对于简体汉字的印刷体 、手写楷书和 行书等往往都能认 识 , 而对于繁体汉字却不认识 .因为繁体汉 字与简体汉字并不 源于同一个字形 , 而是被人为地定义为同一个字的 , 靠事先学 习的逻辑知识把二类归 并成一类 .我 们把“ 同源” 的称为 同一 类 , 而在识别以后再按逻辑 归类知 识把需 要归在 一起的 类别 合并 .因而以下所称同类样本指的都是“ 同源” 的一类样本 .以 下讨论“ 同源”同类样本的连续性 规律 ;
本文的 基本出 发点 就在 于把 模式 识别 问题 看成 模 式的 “ 认识” , 而不是分类划 分 , 不是模式 分类 ;是一 类一类样 本的 “ 认识” , 而不是多类样 本的划 分 .因 而 , 其基本 数学模型 当然 会与传统模式识别的“最优分类” 界面的概念大不相同 .
2 人类的识别功能与传统模式识别方法的差异
近年受到人 们 关注 的支 持 向量 机(SVM)的最 早 提出 者 Vapnik 在 1974 年提出 了“ 最 优分 类超 平面” 的概 念[ 3] 并 在此 基础上后来发展构造成了支持向量机(SVM)[ 4] .综上所述 , 数 十年来人们 在研究模式识 别问题中 , 考 虑的出 发点都 是在若 干类别的最 佳分类划分上 .其根 本原因 或许在 于用这 样的数 学描述与处 理方法最具 有一般性 、通 用性 .但众所 周知 , 即使 基于目前最 先进的模式识 别理论基 础上的 识别机 , 其 实际效
WANG Shou-jue
(Lab of Artificial Neural Networks , Institute of Semiconductors , CAS , Beijing 100083, China) Abstract : A new model of pattern recognition principles, witch is based on “matter cognition”instead of “matter classification” in traditional statistical pattern recognition, has been proposed.This new model is better closer to the function of human being , rather than traditional statistical pattern recognition using“optimal seperating”as its main principle .So the new model of pattern recognition is called the Bionic Pattern Recognition.Its mathematical basis are topological analysis of sample set in the high dimensional feature space , therefore it is also called the Topological Pattern Recognition .The basic idea of this model is based on the fact of the continuity in the feature space of any one of the certain kinds of samples.We did experiments on recognition of omnidirectionally oriented rigid objects on the same level, with the Bionic Pattern Recognition using neural networks, which acts by the method of covering the high dimensional geometrical distribution of the sample set in the feature space .M any animal and vehicle models(even with rather similar shapes)were recognized omnidirectionally thousands of times.For total 8800 tests, the correct recognition rate is 99.75 %, the error rate and the rejection rate are 0 and 0.25 respectively . Key words: pattern recognition;neural networks;bionics;high dimensional geometry
上看 , 还 没 有“ 仿 生” 的含 意 .下 面 把 仿 生
模式 识别 与传 统模 式
识别 的比 较与 差异 以
图表 方 式 表 示 在 图 1
图1
中.
3 从基本数学 模型看仿生模式识别与传统模式识 别的本质差别
传统模式识 别其基本数 学模型的 基点在于如 文献[ 5] 中 第 12 页所述的 :《 所有可用 的信息 都包 含在训 练集(1 -1)式 中的情况下》(注 :原 文(1 -1)式 即训 练 集坐 标(x 1 , y1), … , (x1 , y 1))这就是说在同类样本点相互之间没 有任何关系 的先 验知识存在 , 因此 , 一切都只能从特征空间 中不同类样本的划 分出发了 .然而在自然界实际规律中并非如此 ;本文所提出的 仿生模式识别就在于引 入了同类样本间存在的某些普遍的规 律性而建立起来的“ 多维空间中非超球复杂几何形体覆盖” 的 识别原理 .下节将重点讨论同类样本间普遍存在的规律性(亦 即普遍存在的先验知识)
不认识这种东西” .这正是人类认识事物与传统模式识别的差 别 .人类侧重于“认识” , 只有在 细小 之处才 重视“ 区 别”(例如
要区分狼与 狗或马与驴等等), 而传 统模式识 别则只 注意“ 区
