算法起源
在思维学中，人类的大脑的思维分为：逻辑思维、直观思维、和灵感思维三种基本方式。
而神经网络就是利用其算法特点来模拟人脑思维的第二种方式，它是一个非线性动力学系统，其特点就是信息分布式存储和并行协同处理，虽然单个神经元的结构及其简单，功能有限，但是如果大量的神经元构成的网络系统所能实现的行为确实及其丰富多彩的。其实简单点讲就是利用该算法来模拟人类大脑来进行推理和验证的。
我们先简要的分析下人类大脑的工作过程，我小心翼翼的在网上找到了一张勉强看起来舒服的大脑图片
嗯，看着有那么点意思了，起码看起来舒服点，那还是在19世纪末，有一位叫做：Waldege 的大牛创建了神经元学活，他说人类复杂的神经系统是由数目繁多的神经元组成，说大脑皮层包括100亿个以上的神经元，每立方毫米源数万个，汗..我想的是典型的大数据。他们
相互联系形成神经网络，通过感官器官和神经来接受来自身体外的各种信息（在神经网络算法中我们称:训练）传递中枢神经，然后经过对信息的分析和综合，再通过运动神经发出控制信息（比如我在博客园敲文字），依次来实现机体与外部环境的联系。
神经元这玩意跟其它细胞一样，包括：细胞核、细胞质和细胞核，但是它还有比较特殊的，比如有许多突起，就跟上面的那个图片一样，分为：细胞体、轴突和树突三分部。细胞体内有细胞核，突起的作用是传递信息。树突的作用是作为引入输入信息的突起，而轴突是作为输出端的突起，但它只有一个。
也就是说一个神经元它有N个输入（树突），然后经过信息加工（细胞核），然后只有一
个输出（轴突）。而神经元之间四通过树突和另一个神经元的轴突相联系，同时进行着信息传递和加工。我去...好复杂....
我们来看看神经网络的原理算法公式
中间那个圆圆的就是细胞核了，X1、X2、X3....Xn就是树突了，而Yi就是轴突了....是不是有那么点意思了，嗯...我们的外界信息是通过神经元的树突进行输入，然后进过细胞核加工之后，经过Yi输出，然后输出到其它神经元...
但是这种算法有着它自身的特点，就好像人类的大脑神经元一样，当每次收到外界信息的输入，不停的刺激的同时会根据信息的不同发生自身的调节，比如:通过不断的训练运动员学会了远动，不停的训练学会了骑自行车....等等吧这些人类的行为形成，其本质是通过不停的训练数百亿脑神经元形成的。而这些行为的沉淀之后就是正确结果导向。
同样该算法也会通过X1、X2、X3....Xn这些元素不停的训练，进行自身的参数的调整来适应，同样训练次数的增加而形成一个正确的结果导向。这时候我们就可以利用它的自身适应过程产生正确的结果，而通过不断的训练使其具备学习功能，当然，该算法只是反映了人脑的若干基本特性，但并非生物系统的逼真描述，只是某种简单的模仿、简化和抽象。
该算法不同数字计算机一样，会按照程序的一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或控制过程，而这就是机器人的起源...人工智能的基础。
神经网络算法原理
由于神经网络算法的设计面太大，我们此处暂且只分析Microsoft神经网络算法的原理，在Microsoft神经网络算法中，我们可以简化成下面这个图片：
Microsoft神经网络使用的由最多三层神经元组成的“多层感知器”网络，分别为：输入层、可选隐含层和输出层。
输入层：输入神经元定义数据挖掘模型所有的输入属性值以及概率。
隐含层：隐藏神经元接受来自输入神经元的输入，并向输出神经元提供输出。隐藏层是向各种输入概率分配权重的位置。权重说明某一特定宿儒对于隐藏神经元的相关性或重要性。输入所分配的权重越大，则输入值也就越重要。而这个过程可以描述为学习的过程。权重可为负值，表示输入抑制而不是促进某一特定结果。
输出层：输出神经元代表数据挖掘模型的可预测属性值。
数据从输入经过中间隐含层到输出，整个过程是一个从前向后的传播数据和信息的过程，后面一层节点上的数据值从与它相连接的前面节点传来，之后把数据加权之后经过一定的函数运算得到新的值，继续传播到下一层节点。这个过程就是一个前向传播过程。
而当节点输出发生错误时，也就是和预期不同，神经网络就要自动“学习”，后一层节点对前一层节点一个“信任”程度（其实改变的就是连接件的权重），采取降低权重的方式来惩罚，如果节点输出粗粗哦，那就要查看这个错误的受那些输入节点的影响，降低导致出错的节点连接的权重，惩罚这些节点，同时提高那些做出正确建议节点的连接的权重。对那些受到惩罚的节点而说，也用同样的方法来惩罚它前面的节点，直到输入节点而止。这种称为：回馈。
而我们学习的过程就是重复上面的介绍的流程，通过前向传播得到输入值，用回馈法进行学习。当把训练集中的所有数据运行过一遍之后，则称为一个训练周期。训练后得到神经网络模型，包含了训练集中相应值和受预测值影响变化的规律。
在每个神经元中的隐含层中都有着复杂的函数，并且这些都非线性函数，并且类似生物学神经网络的基本传输特征，这些函数称之为：激活函数，即：输入值发生细微的变化有时候会产生较大的输出变化。
当然Microsot神经网络算法使用的函数是这样的：
其中a是输入值，而O是输出值。
处理反向传播，计算误差，更新权值时输出层所用的误差函数为交叉熵
上述公式中Oi是输出神经元i的输出，而Ti是基于训练样例的该输出神经元实际值。
隐含神经元的误差是基于下一层的神经元的误差和相关权值来计算的。公式为：
其中Oi是输出神经元i的输出，该单元有j个到下一层的输出。Erri是神经元i的误差，Wij是这两个神经元之间的权值。
一旦计算出每个神经元的误差，则下一步是使用以下方法来调整网络中的权值。
其中l为0-1范围内的数，称之为学习函数。
其实以上函数应用的激活函数还是挺简单的。有兴趣的可以进行详细的研究和公式的推算，咱这里只是简要分析，列举算法特点。
Microsoft神经网络分析算法特点
经过上面的原理分析，我们知道了神经网络算法分为了：输入层、隐含层、输出层三层方式连接，其中隐含层是可选的，也就是说在Microsoft神经网络算法中如果不经过隐含层，则输入将会直接从输入层中的节点传递到输出层中的节点。
输入层特点：如果输入层如果为离散值，那么输入神经元通常代表输入属性的单个状态。如果输入数据包含Null值，则缺失的值也包括在内。具有两个以上状态的离散输入属性值会生成一个输入神经元，如果存在NUll值，会自动再重新的生成一个输入的神经元，用以处理Null值，一个连续的输入属性将生成两个输入神经元：一个用于缺失的状态、一个用以连续属性自身的值。输入神经元可向一个多多个神经元提供输入。
隐含层特点:隐含神经元接受来自输入神经元的输入，并向输出神经元提供输出。存在激活函数供其使用改变阀值。
输出层特点：输出神经如果对于离散输入属性，输出神经元通常代表可预测可预测属性的单个预测状态，其中包括缺失的Null值。
如果挖掘模型包含一个或多个仅用于预测的属性，算法将创建一个代表所有这些属性的单一网络，如果挖掘模型包含一个或多个同时用于输入和预测的属性，则该算法提供程序将为其中每个属性构建一个网络。
对于具有离散值的输入属性和可预测属性，每个输入或输出神经元各自表示单个状态。对于具有连续值的输入属性和可预测属性，每个输入或输出神经元分别表示该属性值的范围和分布。
算法提供程序通过接受之前保留的定性数据集也就是事例集合并将维持数据中的每个事例的实际已知值与网络的预测进行比较。即通过一个“批学习”的过程来迭代计算的整个网络，并且改变的输入权重。该算法处理了整个事例集合之后，将检查每个神经元的预测值和实际值。该算法将计算错误程度（如果错误），并且调整与神经输入关联的权重，并通过一个“回传”的过程从输出神经元返回到输出神经元。然后，该算法对整个事例集合重复该过程。经过以上的层层沉淀我们的算法就算从一个不懂的“婴儿”逐渐成长成“成人”，而这个结果就是我们那它来发掘和预测的工具。
神经网络分析算法应用场景
神经网络研究内容广泛，非本篇文章所能涵盖，而且它反映了多学科交叉技术领域的特点。研究工作集中以下领域：
（1）生物原型研究。从生理学、心理学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。
（2）建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。
（3）网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。（4）人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构造专家系统、制成机器人等等。
https://www.doczj.com/doc/b310789298.html,/s/blog_5bbd6ec00100b5nk.html 人工神经网络算法(2008-11-20 17:24:22) 标签：杂谈 人工神经网络算法的作用机理还是比较难理解，现在以一个例子来说明其原理。这个例子是关于人的识别技术的，在门禁系统，逃犯识别，各种验证码破译，银行预留印鉴签名比对,机器人设计等领域都有比较好的应用前景，当然也可以用来做客户数据的挖掘工作，比如建立一个能筛选满足某种要求的客户群的模型。 机器识别人和我们人类识别人的机理大体相似，看到一个人也就是识别对象以后，我们首先提取其关键的外部特征比如身高，体形，面部特征，声音等等。根据这些信息大脑迅速在内部寻找相关的记忆区间，有这个人的信息的话，这个人就是熟人，否则就是陌生人。 人工神经网络就是这种机理。假设上图中X(1)代表我们为电脑输入的人的面部特征，X(2)代表人的身高特征X(3)代表人的体形特征X(4)代表人的声音特征W(1)W(2)W(3)W(4)分别代表四种特征的链接权重，这个权重非常重要，也是人工神经网络起作用的核心变量。 现在我们随便找一个人阿猫站在电脑面前，电脑根据预设变量提取这个人的信息，阿猫面部怎么样，身高多少，体形胖瘦，声音有什么特征，链接权重初始值是随机的，假设每一个W均是0.25,这时候电脑按这个公式自动计 算,Y=X(1)*W(1)+X(2)*W(2)+X(3)*W(3)+X(4)*W(4)得出一个结果Y,这个Y要和一个门槛值（设为Q）进行比较，如果Y>Q,那么电脑就判定这个人是阿猫,否则判定不是阿猫.由于第一次计算电脑没有经验,所以结果是随机的.一般我们设定是正确的,因为我们输入的就是阿猫的身体数据啊. 现在还是阿猫站在电脑面前,不过阿猫怕被电脑认出来,所以换了一件衣服,这个行为会影响阿猫的体形,也就是X(3)变了,那么最后计算的Y值也就变了,它和Q比较的结果随即发生变化,这时候电脑的判断失误,它的结论是这个人不是阿猫.但是我们告诉它这个人就是阿猫,电脑就会追溯自己的判断过程,到底是哪一步出错了,结果发现原来阿猫体形X(3)这个 体征的变化导致了其判断失误,很显然,体形X(3)欺骗了它,这个属性在人的识别中不是那 么重要,电脑自动修改其权重W(3),第一次我对你是0.25的相信,现在我降低信任值,我0.10的相信你.修改了这个权重就意味着电脑通过学习认为体形在判断一个人是否是自己认识的人的时候并不是那么重要.这就是机器学习的一个循环.我们可以要求阿猫再穿一双高跟皮鞋改变一下身高这个属性,让电脑再一次进行学习,通过变换所有可能变换的外部特征,轮换让电脑学习记忆,它就会记住阿猫这个人比较关键的特征,也就是没有经过修改的特征.也就是电脑通过学习会总结出识别阿猫甚至任何一个人所依赖的关键特征.经过阿猫的训练电脑,电脑已经非常聪明了,这时你在让阿猫换身衣服或者换双鞋站在电脑前面,电脑都可以迅速的判断这个人就是阿猫.因为电脑已经不主要依据这些特征识别人了,通过改变衣服,身高骗不了它.当然,有时候如果电脑赖以判断的阿猫关键特征发生变化,它也会判断失误.我们就
学习方式 根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。在机器学习领域，有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。 监督式学习： 在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，对手写数字识别中的“1“，”2“，”3“，”4“等。在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。监督式学习的常见应用场景如分类问题和回归问题。常见算法有逻辑回归（Logistic Regression）和反向传递神经网络（Back Propagation Neural Network） 非监督式学习：
在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及k-Means算法。 半监督式学习： 在此学习方式下，输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测。如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian SVM.）等。 强化学习：
BP 网络模型处理信息的基本原理是：输入信号X i 通过中间节点（隐层点）作用 于输出节点，经过非线形变换，产生输出信号Y k ，网络训练的每个样本包括输入 向量X 和期望输出量t ，网络输出值Y 与期望输出值t 之间的偏差，通过调整输入节点与隐层节点的联接强度取值W ij 和隐层节点与输出节点之间的联接强度T jk 以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。 一 BP 神经网络模型 BP 网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。 （1）节点输出模型 隐节点输出模型：O j =f(∑W ij ×X i -q j ) (1) 输出节点输出模型：Y k =f(∑T jk ×O j -q k ) (2) f-非线形作用函数；q -神经单元阈值。 （2）作用函数模型 作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为(0,1)内连续取值Sigmoid 函 数： f(x)=1/(1+e -x ) （3） （3）误差计算模型 误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数： E p =1/2×∑ (t pi -O pi )2 (4) t pi - i 节点的期望输出值；O pi -i 节点计算输出值。 （4）自学习模型 神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵W ij 的设定和 误差修正过程。BP 网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为 △W ij (n+1)= h ×Фi ×O j +a ×△W ij (n) （5） h -学习因子；Фi -输出节点i 的计算误差；O j -输出节点j 的计算输出；a-动量 因子。 二 BP 网络模型的缺陷分析及优化策略 （1）学习因子h 的优化 采用变步长法根据输出误差大小自动调整学习因子，来减少迭代次数和加快收敛速度。 h =h +a ×(E p (n)- E p (n-1))/ E p (n) a 为调整步长，0~1之间取值 （6） （2）隐层节点数的优化 隐 节点数的多少对网络性能的影响较大，当隐节点数太多时，会导致网络学习时间过长，甚至不能收敛；而当隐节点数过小时，网络的容错能力差。利用逐步回归分析 法并进行参数的显著性检验来动态删除一些线形相关的隐节点，节点删除标准：当由该节点出发指向下一层节点的所有权值和阈值均落于死
机器学习中有一个重要的算法，那就是人工神经网络算法，听到这个名称相信大家能够想到 人体中的神经。其实这种算法和人工神经有一点点相似。当然，这种算法能够解决很多的问题，因此在机器学习中有着很高的地位。下面我们就给大家介绍一下关于人工神经网络算法 的知识。 1.神经网络的来源 我们听到神经网络的时候也时候近一段时间，其实神经网络出现有了一段时间了。神经网络 的诞生起源于对大脑工作机理的研究。早期生物界学者们使用神经网络来模拟大脑。机器学 习的学者们使用神经网络进行机器学习的实验，发现在视觉与语音的识别上效果都相当好。 在BP算法诞生以后，神经网络的发展进入了一个热潮。 2.神经网络的原理 那么神经网络的学习机理是什么？简单来说，就是分解与整合。一个复杂的图像变成了大量 的细节进入神经元，神经元处理以后再进行整合，最后得出了看到的是正确的结论。这就是 大脑视觉识别的机理，也是神经网络工作的机理。所以可以看出神经网络有很明显的优点。 3.神经网络的逻辑架构 让我们看一个简单的神经网络的逻辑架构。在这个网络中，分成输入层，隐藏层，和输出层。输入层负责接收信号，隐藏层负责对数据的分解与处理，最后的结果被整合到输出层。每层
中的一个圆代表一个处理单元，可以认为是模拟了一个神经元，若干个处理单元组成了一个层，若干个层再组成了一个网络，也就是”神经网络”。在神经网络中，每个处理单元事实上 就是一个逻辑回归模型，逻辑回归模型接收上层的输入，把模型的预测结果作为输出传输到 下一个层次。通过这样的过程，神经网络可以完成非常复杂的非线性分类。 4.神经网络的应用。 图像识别领域是神经网络中的一个著名应用，这个程序是一个基于多个隐层构建的神经网络。通过这个程序可以识别多种手写数字，并且达到很高的识别精度与拥有较好的鲁棒性。可以 看出，随着层次的不断深入，越深的层次处理的细节越低。但是进入90年代，神经网络的发展进入了一个瓶颈期。其主要原因是尽管有BP算法的加速，神经网络的训练过程仍然很困难。因此90年代后期支持向量机算法取代了神经网络的地位。 在这篇文章中我们大家介绍了关于神经网络的相关知识，具体的内容就是神经网络的起源、 神经网络的原理、神经网络的逻辑架构和神经网络的应用，相信大家看到这里对神经网络知 识有了一定的了解，希望这篇文章能够帮助到大家。
5.4 神经网络与遗传算法简介 在本节中，我们将着重讲述一些在网络设计、优化、性能分析、通信路由优化、选择、神经网络控制优化中有重要应用的常用的算法，包括神经网络算法、遗传算法、模拟退火算法等方法。用这些算法可以较容易地解决一些很复杂的，常规算法很难解决的问题。这些算法都有着很深的理论背景，本节不准备详细地讨论这些算法的理论，只对算法的原理和方法作简要的讨论。 5.4.1 神经网络 1. 神经网络的简单原理 人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connectionist Model），是对人脑或自然神经网络（Natural Neural Network）若干基本特性的抽象和模拟。人工神经网络以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。所以说, 人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作出状态相应而进行信息处理。它是根据人的认识过程而开发出的一种算法。假如我们现在只有一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚，那么我们可以把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。这样，当训练结束后，我们给定一个输入，网络便会根据自己已调节好的权值计算出一个输出。这就是神经网络的简单原理。 2. 神经元和神经网络的结构 如上所述，神经网络的基本结构如图5.35所示： 隐层隐层2 1 图5.35 神经网络一般都有多层，分为输入层，输出层和隐含层，层数越多，计算结果越精确，但所需的时间也就越长，所以实际应用中要根据要求设计网络层数。神经网络中每一个节点叫做一个人工神经元，他对应于人脑中的神经元。人脑神经元由细胞体、树突和轴突三部分组成，是一种根须状蔓延物。神经元的中心有一闭点，称为细胞体，它能对接受到的信息进行处理，细胞体周围的纤维有两类，轴突是较长的神经纤维，是发出信息的。树突的神经纤维较短，而分支众多，是接收信息的。一个神经元的轴突末端与另一神经元的树突之间密
神经网络算法详解 第0节、引例 本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在https://www.doczj.com/doc/b310789298.html,/wiki/Iris_flower_data_set 找到。这里简要介绍一下Iris数据集： 有一批Iris花，已知这批Iris花可分为3个品种，现需要对其进行分类。不同品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度会有差异。我们现有一批已知品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度的数据。 一种解决方法是用已有的数据训练一个神经网络用作分类器。 如果你只想用C#或Matlab快速实现神经网络来解决你手头上的问题，或者已经了解神经网络基本原理，请直接跳到第二节——神经网络实现。 第一节、神经网络基本原理 1. 人工神经元( Artificial Neuron )模型 人工神经元是神经网络的基本元素，其原理可以用下图表示： 图1. 人工神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为：
图中yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为： 若用X表示输入向量，用W表示权重向量，即： X = [ x0 , x1 , x2 , ....... , xn ] 则神经元的输出可以表示为向量相乘的形式： 若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net 为负，则称神经元处于抑制状态。 图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。 2. 常用激活函数 激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。 (1) 线性函数 ( Liner Function ) (2) 斜面函数 ( Ramp Function ) (3) 阈值函数 ( Threshold Function )
人工神经网络算法 学习是要透过我们的头脑，因而研究大脑神经细胞的运作，可以帮助我们了解学习在脑神经是如何完成的，进而可以模拟神经细胞的运作以达到類似学习的功能。据估计人脑约有一千亿（1011）个神经细胞，每个神经细胞约有一千（103）根連结与其它神经细胞相連，因此人脑中约有一百万亿（1014）根連结，形成一个高度連结网狀的神经网路（neural network）。科学家们相信：人脑的信息处理工作即是透过这些連结來完成的 [葉怡成1993]。 神经细胞的形狀与一般的细胞有很大的不同，它包括：细胞体（soma）：神经细胞中呈核狀的处理机构；轴突（axon）：神经细胞中呈轴索狀的输送机构；树狀突（dendrites）：神经细胞中呈树枝狀的输出入机构；与突触（synapse）：树狀突上呈点狀的連结机构。根据神经学家的研究发现：当神经细胞透过神经突触与树狀突从其它神经元输入脉波讯号后，经过细胞体处理，产生一个新的脉波讯号。如果脉波讯号够强，将产生一个约千分之一秒100 毫伏的脉波讯号。这个讯号再经过轴突传送到它的神经突触，成为其它神经细胞的输入脉波讯号。如果脉波讯号是经过兴奋神经突触（excitatory synapse），则会增加脉波讯号的速率；相反的，如果脉波讯号是经过抑制神经突触（inhibitory synapse），则会减少脉波讯号的速率。因此，脉波讯号的速率是同时取决于输入脉波讯号的速率，以及神经突触的强度。而神经突触的强度可视为神经网路储存信息之所在，神经网路的学习即在调整神经突触的强度。 類神经网路（artificial neural networks），或译为人工神经网路，则是指模仿生物神经网路的信息处理系统，它是由许多人工神经细胞（又称为類神经元、人工神经元、与处理单元）所组成，
BP 神经网络算法 三层 BP 神经网络如图： 目标输出向量 传递函数 g 输出层，输出向量 权值为 w jk 传递函数 f 隐含层，隐含层 输出向量 输 入 层 ， 输 入 向量 设网络的输入模式为 x (x 1 , x 2 ,...x n )T ，隐含层有 h 个单元，隐含层的输出为 y ( y 1 , y 2 ,...y h )T ，输出 层有 m 个单元，他们的输出为 z (z 1 , z 2 ,...z m )T ，目标输出为 t (t 1 ,t 2 ,..., t m )T 设隐含层到输出层的传 递函数为 f ，输出层的传递函数为 g n n 于是： y j f ( w ij x i ) f ( w ij x i ) ：隐含层第 j 个神经元的输出；其中 w 0 j , x 0 1 i 1 i 0 h z k g( w jk y j ) ：输出层第 k 个神经元的输出 j 此时网络输出与目标输出的误差为 1 m (t k z k ) 2 ，显然，它是 w ij 和 w jk 的函数。 2 k 1 下面的步骤就是想办法调整权值，使 减小。 由高等数学的知识知道：负梯度方向是函数值减小最快的方向 因此，可以设定一个步长 ，每次沿负梯度方向调整 个单位，即每次权值的调整为： w pq w pq ， 在神经网络中称为学习速率 可以证明：按这个方法调整，误差会逐渐减小。
BP 神经网络（反向传播）的调整顺序为：1）先调整隐含层到输出层的权值 h 设 v k为输出层第k个神经元的输入v k w jk y j j 0 ------- 复合函数偏导公式 1 g'(u k ) e v k 1 (1 1 ) z k (1 z k ) 若取 g ( x) f (x) 1 e x，则(1e v k) 2 1e v k 1e v k 于是隐含层到输出层的权值调整迭代公式为：2）从输入层到隐含层的权值调整迭代公式为： n 其中 u j为隐含层第j个神经元的输入： u j w ij x i i 0 注意：隐含层第j 个神经元与输出层的各个神经元都有连接，即涉及所有的权值w ij，因此 y j m (t k z k )2 z k u k m y j k 0 z k u k y j (t k z k ) f '(u k )w jk k 0 于是： 因此从输入层到隐含层的权值调整迭代为公式为： 例： 下表给出了某地区公路运力的历史统计数据，请建立相应的预测模型，并对给出的 2010 和 2011 年的数据，预测相应的公路客运量和货运量。 人数 ( 单位：机动车数公路面积 ( 单公路客运量公路货运量 时间( 单位：万位：万平方公( 单位：万( 单位：万万人 ) 辆 ) 里) 人 ) 吨 ) 1990 20.55 0.6 0.09 5126 1237 1991 22.44 0.75 0.11 6217 1379 1992 25.37 0.85 0.11 7730 1385 1993 27.13 0.9 0.14 9145 1399 1994 29.45 1.05 0.2 10460 1663 1995 30.1 1.35 0.23 11387 1714 1996 30.96 1.45 0.23 12353 1834 1997 34.06 1.6 0.32 15750 4322 1998 36.42 1.7 0.32 18304 8132 1999 38.09 1.85 0.34 19836 8936 2000 39.13 2.15 0.36 21024 11099 2001 39.99 2.2 0.36 19490 11203 2002 41.93 2.25 0.38 20433 10524 2003 44.59 2.35 0.49 22598 11115 2004 47.3 2.5 0.56 25107 13320 2005 52.89 2.6 0.59 33442 16762 2006 55.73 2.7 0.59 36836 18673
神经网络算法简介 （） 人工神经网络（artificial neural network，缩写ANN），简称神经网络（neural network，缩写NN），是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式。 神经网络是一种运算模型[1]，由大量的节点（或称“神经元”，或“单元”）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。 神经元示意图： ●a1~an为输入向量的各个分量 ●w1~wn为神经元各个突触的权值 ●b为偏置 ●f为传递函数，通常为非线性函数。以下默认为hardlim() ●t为神经元输出 ●数学表示
●为权向量 ●为输入向量，为的转置 ●为偏置 ●为传递函数 可见，一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性传递函数得到一个标量结果。 单个神经元的作用：把一个n维向量空间用一个超平面分割成两部分（称之为判断边界），给定一个输入向量，神经元可以判断出这个向量位于超平面的哪一边。 该超平面的方程: 权向量 偏置 超平面上的向量 单层神经元网络是最基本的神经元网络形式，由有限个神经元构成，所有神经元的输入向量都是同一个向量。由于每一个神经元都会产生一个标量结果，所以单层神经元的输出是一个向量，向量的维数等于神经元的数目。示意图： 通常来说，一个人工神经元网络是由一个多层神经元结构组成，每一层神经元拥有输入（它的输入是前一层神经元的输出）和输出，每一层（我们用符号记做）Layer(i)是由Ni(Ni代表在第i层上的N)个网络神经元组成，每个Ni上的网络
5.4 神经网络的基本原理 （）网络是1986年由和为首的科学家小组提 出，是一种按误差逆传播算法训练的多层前馈网 络，是目前应用最广泛的神经网络模型之一。网 络能学习和存贮大量的输入-输出模式映射关 系，而无需事前揭示描述这种映射关系的数学方 程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。神经网络模型拓扑结构包括输入层（）、隐层( )和输出层( )（如图5.2所示）。 5.4.1 神经元 图5.3给出了第j个基本神经元（节点），它只模仿了生物神经元所具有的三个最基本也是最重要的功能：加权、求和与转移。其中x1、x2……分别代表来自神经元1、2…i…n的输入；1、2……则分别表示神经元1、2…i…n与第j个神经元的连接强度，即权值；为阈值；f(·)为传递函数；为第j个神经元的输出。 第j个神经元的净输入值为： （5.12）
其中： 若视，，即令及包括及，则 于是节点j的净输入可表示为： （5.13）净输入通过传递函数（）f (·)后，便得到第j个神经元的输出: （5.14）式中f(·)是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无限增加，必有一最大值。 5.4.2 网络 算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层→隐层→输出层，每层神经元的
状态只影响下一层神经元。若在输出层得不到期望的输出，则转向误差信号的反向传播流程。通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。 5.4.2.1 正向传播 设网络的输入层有n个节点，隐层有q个节点，输出层有m个节点，输入层与隐层之间的权值为，隐层与输出层之间的权值为，如图5.4所示。隐层的传递函数为f1(·)，输出层的传递函数为f2(·)，则隐层节点的输出为（将阈值写入求和项中）： 1,2,…… q （5.15）输出层节点的输出为： 1,2,…… m （5.16）至此网络就完成了n维空间向量对m维空间的近似映射。
神经网络的基本原理 在神经网络系统中，其知识是以大量神经元互连和各互连的权值表示。神经网络映射辨识方法主要通过大量的样本进行训练，经过网络内部自适应算法不断调整其权值，以达到目的。状态识别器就隐含在网络中，具体就在互连形式与权值上。在网络的使用过程中，对于特定的输入模式，神经网络通过前向计算，产生一输出模式，通过对输出信号的比较和分析可以得到特定解。目前，神经网络有近40多种类型，其中BP 网络是最常用和比较重要的网络之一，本文就应用BP 网络进行齿轮计算中相应数据图表的识别映射。 BP 网络模型处理信息的基本原理是：输入信号X i 通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号Y k ，网络训练的每个样本包括输入向量X 和期望输出量t ，网络输出值Y 与期望输出值t 之间的偏差，通过调整输入节点与隐层节点的联接强度取值W ij 和隐层节点与输出节点之间的联接强度T jk 以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。 BP 网络的学习过程是通过多层误差修正梯度下降法进行的，称为误差逆传播学习算法。误差逆传播学习通过一个使误差平方和最小化过程完成输入到输出的映射。在网络训练时，每一个输入、输出模式集在网络中经过两遍传递计算：一遍向前传播计算，从输入层开始，传播到各层并经过处理后，产生一个输出，并得到一个该实际输出和所需输出之差的差错矢量；一遍反向传播计算，从输出层至输入层，利用差错矢量对连接权值和阀值，进行逐层修改。 经过训练好的BP 网络即可付诸应用。学习后的网络，其连接权值和阀值均已确定。此时，BP 模型就建立起来了。网络在回想时使用正向传播公式即可。 BP 网络由输入层结点，输出层结点和隐含层结点构成，相连层用全互连结构。图1为典型的三层结构网络模型。 图1 三层网络结构图 神经网络的工作过程主要分为两个阶段：一个是学习期，通过样本学习修改各权值，达到一稳定状态；一个是工作期，权值不变，计算网络输出。 BP 网络的学习过程由正向传播和反向传播两部分组成。在正向传播过程中，输入信息从输入层经隐含层单元逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播，将误差信号沿原来的路径返回，通过修改各层神经元的权值，使得误差信号最小。当给定一输入模式 12(,,...,)m X x x x =和希望输出模式12(,,...,)n Y y y y = 时，网络的实际输出和实际误差，可用下列公式求出：
人工神经网络是一种模仿人脑结构及其功能的信息处理系统，能提高人们对信息处理的智能化水平。它是一门新兴的边缘和交叉学科，它在理论、模型、算法等方面比起以前有了较大的发展，但至今无根本性的突破，还有很多空白点需要努力探索和研究。 1人工神经网络研究背景 神经网络的研究包括神经网络基本理论、网络学习算法、网络模型以及网络应用等方面。其中比较热门的一个课题就是神经网络学习算法的研究。 近年来己研究出许多与神经网络模型相对应的神经网络学习算法，这些算法大致可以分为三类：有监督学习、无监督学习和增强学习。在理论上和实际应用中都比较成熟的算法有以下三种： (1) 误差反向传播算法(Back Propagation，简称BP 算法)； (2) 模拟退火算法； (3) 竞争学习算法。 目前为止，在训练多层前向神经网络的算法中，BP 算法是最有影响的算法之一。但这种算法存在不少缺点，诸如收敛速度比较慢，或者只求得了局部极小点等等。因此，近年来，国外许多专家对网络算法进行深入研究，提出了许多改进的方法。 主要有： (1) 增加动量法：在网络权值的调整公式中增加一动量项，该动量项对某一时刻的调整起阻尼作用。它可以在误差曲面出现骤然起伏时，减小振荡的趋势，提高网络训练速度； (2) 自适应调节学习率：在训练中自适应地改变学习率，使其该大时增大，该小时减小。使用动态学习率，从而加快算法的收敛速度； (3) 引入陡度因子：为了提高BP 算法的收敛速度，在权值调整进入误差曲面的平坦区时，引入陡度因子，设法压缩神经元的净输入，使权值调整脱离平坦区。 此外，很多国内的学者也做了不少有关网络算法改进方面的研究，并把改进的算法运用到实际中，取得了一定的成果： (1) 王晓敏等提出了一种基于改进的差分进化算法，利用差分进化算法的全局寻优能力，能够快速地得到BP 神经网络的权值，提高算法的速度； (2) 董国君等提出了一种基于随机退火机制的竞争层神经网络学习算法，该算法将竞争层神经网络的串行迭代模式改为随机优化模式，通过采用退火技术避免网络收敛到能量函数的局部极小点，从而得到全局最优值； (3) 赵青提出一种分层遗传算法与BP 算法相结合的前馈神经网络学习算法。将分层遗传算法引入到前馈神经网络权值和阈值的早期训练中，再用BP 算法对前期训练所得性能较优的网络权值、阈值进行二次训练得到最终结果，该混合学习算法能够较快地收敛到全局最优解；
BP 神经网络原理 2.1 基本BP 算法公式推导 基本BP 算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。 图2-1 BP 网络结构 Fig.2-1 Structure of BP network 图中： j x 表示输入层第j 个节点的输入，j =1,…,M ； ij w 表示隐含层第i 个节点到输入层第j 个节点之间的权值； i θ表示隐含层第i 个节点的阈值； ()x φ表示隐含层的激励函数； ki w 表示输出层第k 个节点到隐含层第i 个节点之间的权值，i =1,…,q ； k a 表示输出层第k 个节点的阈值,k =1,…,L ； () x ψ表示输出层的激励函数； k o 表示输出层第k 个节点的输出。 （1）信号的前向传播过程 隐含层第i 个节点的输入net i ：
1 M i ij j i j net w x θ==+∑ （3-1） 隐含层第i 个节点的输出y i ： 1()() M i i ij j i j y net w x φφθ===+∑ （3-2） 输出层第k 个节点的输入net k ： 1 1 1 ()q q M k ki i k ki ij j i k i i j net w y a w w x a φθ====+=++∑∑∑ （3-3） 输出层第k 个节点的输出o k ： 111()()()q q M k k ki i k ki ij j i k i i j o net w y a w w x a ψψψφθ===?? ==+=++ ? ??∑∑∑ （3-4） （2）误差的反向传播过程 误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。 对于每一个样本p 的二次型误差准则函数为E p ： 2 1 1()2L p k k k E T o ==-∑ （3-5） 系统对P 个训练样本的总误差准则函数为： 2 11 1()2P L p p k k p k E T o ===-∑∑ （3-6） 根据误差梯度下降法依次修正输出层权值的修正量Δw ki ，输出层阈值的修正量Δa k ，隐含层权值的修正量Δw ij ，隐含层阈值的修正量 i θ?。 ki ki w E w ??-=?η ； k k E a a η ??=-?；ij ij E w w η??=-?； i i E θη θ??=-? （3-7） 输出层权值调整公式： ki k k k k ki k k ki ki w net net o o E w net net E w E w ??????-=????-=??-=?ηηη （3-8） 输出层阈值调整公式： k k k k k k k k k k net o net E E E a a net a o net a η ηη???????=-=-=-?????? （3-9） 隐含层权值调整公式： i i i ij ij i ij i i ij net y net E E E w w net w y net w η ηη???????=-=-=-?????? （3-10）
神经网络算法 分类及概念： 生物神经网络 生物体的每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。 人工神经网络 以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（Artificial Neural Network，缩写ANN）。·神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。 ·人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式 ·人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。 BP神经网络
一种按误差逆传播算法训练的多层前馈网络。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。 神经网络的基本特征： 神经网络的基本功能： 输入的样本经过自动提取，经过非线性映射规则处理输出需要的样本。 分类与识别功能：
优化计算功能： 神经网络的应用领域：医学领域 1.检测数据分析 2.生物活性研究 3.医学专家系统 神经网络建模： 思考方法：用生物神经网络类比人工神经网络
生物神经元在结构上由四部分组成 1.胞体 2.树突 3.轴突 4.突触 神经元的状态分为：静息兴奋抑制 信息的传递过程： 电信号沿着轴突到突触前膜，期间，突触小泡释放神经递质（兴奋性或抑制性）到突触间隙，作用于突触后膜的受体，使下一个神经元兴奋或抑制。从而完成此次信号的传递。 PS：可能有多个神经元同时作用于一个神经元。 生物神经元的信息整合度： 同一时刻多个神经元所产生的刺激所引起的膜电位变化，大致等于个单独刺激引起膜电位点位的代数和。 各次的兴奋传递到突触后膜的时间不同，总的动作电位为该段时间的总和。神经元之间突触的连接方式和连接强度不尽相同。
一个2×3×1的神经网络即输入层有两个节点，隐层含三个节点，输出层有一个节点，神经网络如图示。 图1 神经网络结构图 图中ij w )5,4,3;2,1(==j i 为输入层与隐层的权值，jk w )6;5,4,3(==k j 为隐层与输出层的权值，1x 、2x 是神经网络的输入值，y 是网络的输出值，p y 为教师信号，e 为神经网络的实际输出与期望输出的误差。在这个神经网络中，节点1，2是输入层，节点3，4，5是隐层，节点6是输出层；输入层和隐层之间的权值依次为252423151413,,,,,w w w w w w ，隐层和输出层间的权值为564636,,w w w ，下角标为节点的编号；隐层和输出层节点的阈值依次为3θ，4θ，5θ，6θ。 ①前馈计算 设隐层的第j 个节点的输入和输出分别为： ∑=?=N i i ij j O w I 1 )(j j I f O = 其中)(j I f 为激励函数 j I j e I f -+=11 )( 由于隐层的输出就是输出层的输入，则输出层第k 个节点的总输入和输出分别为： ∑=?=H j j jk k O w I 1 )(k k k I f O y == 若网络输出与实际输出存在误差，则将误差信号反向传播，并不断地修正权值，直至误差达到要求为止。 ②权值调整
设误差函数定义为： ∑=-=M k k k p y d E 1 2)(21 为了简便，以下计算都是针对每个节点而言，误差函数p E 记作E 。 ● 输出层权值的调整 权值修正公式为： jk jk w E w ??-=?η jk k k w I I E ????-=η 定义反传误差信号k δ为：k k k k k I O O E I E ????-=??-=δ 式中 )(k k k O d O E --=?? )()(k k k k k I f I I f I O '=??=?? )1()](1)[()(k k k k k O O I f I f I f -=-=' 所以 )(k k k O d -=δ)1(k k O O - 又 j H j j jk jk jk k O O w w w I =??=??∑=)( 1 由此可得输出层的任意神经元权值的修正公式： j k jk O w ηδ=? 或 j k k k k jk O O d O O w ))(1(--=?η ( ● 隐层权值的调整 ij ij w E w ??-=?η ij j j w I I E ????-=η i j O I E ??-=η
关于人工神经网络的学习方法 信计一班陈思为 0857129 摘要：人工神经网络是一种新的数学建模方式，它具有通过学习逼近任意非线性映射的能力。本 文提出了一种基于动态BP神经网络的猜测方法，阐述了其基本原理，并以典型实例验证。 关键字：神经网络，BP模型。 引言： 在系统建模、辨识和猜测中，对于线性系统，在频域，传递函数矩阵可以很好地表达系统的黑箱式输入输出模型；在时域，Box－Jenkins方法、回归分析方法、ARMA模型等，通过各种参数估计方法也可以给出描述。对于非线性时间序列猜测系统，双线性模型、门限自回归模型、ARCH模型都需要在对数据的内在规律知道不多的情况下对序列间关系进行假定。可以说传统的非线性系统猜测，在理论研究和实际应用方面，都存在极大的困难。相比之下，神经网络可以在不了解输入或输出变量间关系的前提下完成非线性建模[4，6]。神经元、神经网络都有非线性、非局域性、非定常性、非凸性和混沌等特性，与各种猜测方法有机结合具有很好的发展前景，也给猜测系统带来了新的方向与突破。建模算法和猜测系统的稳定性、动态性等研究成为当今热点问题。目前在系统建模与猜测中，应用最多的是静态的多层前向神经网络，这主要是因为这种网络具有通过学习逼近任意非线性映射的能力。利用静态的多层前向神经网络建立系统的输入/输出模型，本质上就是基于网络逼近能力，通过学习获知系统差分方程中的非线性函数。但在实际应用中，需要建模和猜测的多为非线性动态系统，利用静态的多层前向神经网络必须事先给定模型的阶次，即预先确定系统的模型，这一点非常难做到。近来，有关基于动态网络的建模和猜测的研究，代表了神经网络建模和猜测新的发展方向。 正文： 2BP神经网络模型BP网络是采用Widrow－Hoff学习算法和非线性可微转移函数的多层网络。典型的BP算法采用梯度下降法，也就是Widrow－Hoff算法。现在有许多基本的优化算法，例如变尺度算法和牛顿算法。 BP神经网络包括以下单元： ① 处理单元（神经元），即神经网络的基本组成部分。输入层的处理单元只是将输入值转入相邻的联接权重，隐层和输出层的处理单元将它们的输入值求和并根据转移函数计算输出值。②联接权重。它将神经网络中的处理单元联系起来，其值随各处理单元的联接程度而变化。③层。神经网络一般具有输入层x、隐层y和输出层o。④阈值。其值可为恒值或可变值，它可使网络能更自由地获取所要描述的函数关系。⑤转移函数F。它是将输入的数据转化为输出的处理单元，通常为非线性函数。 BP神经网络结构。 1基本算法BP算法主要包含4步，分为向前传播和向后传播两个阶段：1）向前传播阶段从样本集中取一个样本，将Xp输入网络；计算相应的实际输出Op在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成练习后正常运行时的执行过程。2）向后传播阶段计算实际输出Op与相应的理想输出Yp的差；按极小化误差的方式调整权矩阵。这两个阶段的工作受到精度要求的控制，在这里取作为网络关于第p个样本的误差测度，而将网络关于整个样本集的误差测度定义为。
算法起源 在思维学中，人类的大脑的思维分为：逻辑思维、直观思维、和灵感思维三种基本方式。 而神经网络就是利用其算法特点来模拟人脑思维的第二种方式，它是一个非线性动力学系统，其特点就是信息分布式存储和并行协同处理，虽然单个神经元的结构及其简单，功能有限，但是如果大量的神经元构成的网络系统所能实现的行为确实及其丰富多彩的。其实简单点讲就是利用该算法来模拟人类大脑来进行推理和验证的。 我们先简要的分析下人类大脑的工作过程，我小心翼翼的在网上找到了一张勉强看起来舒服的大脑图片 嗯，看着有那么点意思了，起码看起来舒服点，那还是在19世纪末，有一位叫做：Waldege 的大牛创建了神经元学活，他说人类复杂的神经系统是由数目繁多的神经元组成，说大脑皮层包括100亿个以上的神经元，每立方毫米源数万个，汗..我想的是典型的大数据。他们 相互联系形成神经网络，通过感官器官和神经来接受来自身体外的各种信息（在神经网络算法中我们称:训练）传递中枢神经，然后经过对信息的分析和综合，再通过运动神经发出控制信息（比如我在博客园敲文字），依次来实现机体与外部环境的联系。 神经元这玩意跟其它细胞一样，包括：细胞核、细胞质和细胞核，但是它还有比较特殊的，比如有许多突起，就跟上面的那个图片一样，分为：细胞体、轴突和树突三分部。细胞体内有细胞核，突起的作用是传递信息。树突的作用是作为引入输入信息的突起，而轴突是作为输出端的突起，但它只有一个。 也就是说一个神经元它有N个输入（树突），然后经过信息加工（细胞核），然后只有一 个输出（轴突）。而神经元之间四通过树突和另一个神经元的轴突相联系，同时进行着信息传递和加工。我去...好复杂....
神经网络算法及模型 思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面： （1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。 （2）建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。 （3）网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。 （4）人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。 纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。 神经网络和粗集理论是智能信息处理的两种重要的方法,其任务是从大量观察和实验数据中获取知识、表达知识和推理决策规则。粗集理论是基于不可分辩性思想和知识简化方法,从数据中推理逻辑规则,适合于数据简化、数据相关性查找、发现数据模式、从数据中提取规则等。神经网络是利用非线性映射的思想和并行处理方法,用神经网络本身的结构表达输入与输出关联知识的隐函数编码,具有较强的并行处理、逼近和分类能力。在处理不准确、不完整的知识方面,粗集理论和神经网络都显示出较强的适应能力,然而两者处理信息的方法是不同的,粗集方法模拟人类的抽象逻辑思维,神经网络方法模拟形象直觉思维,具有很强的互补性。 首先,通过粗集理论方法减少信息表达的属性数量,去掉冗余信息,使训练集简化,减少神经网络系统的复杂性和训练时间;其次利用神经网络优良的并行处理、逼近和分类能力来处理风险预警这类非线性问题,具有较强的容错能力;再次,粗集理论在简化知识的同时,很容易推理出决策规则,因而可以作为后续使用中的信息识别规则,将粗集得到的结果与神经网络得到的结果相比较,以便相互验证;最后,粗集理论的方法和结果简单易懂,而且以规则的形式给出,通过与神经网络结合,使神经网络也具有一定的解释能力。因此,粗集理论与神经网络融合方法具有许多优点,非常适合处理诸如企业战略风险预警这类非结构化、非线性的复杂问题。 关于输入的问题--输入模块。