人工神经网络与深度学习的区别

[关闭]

零基础入门深度学习(5) - 循环神经网络

机器学习 深度学习入门

无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追

求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深

度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行

了，没错，这是专门为程序员写的文章。虽然文中会有很多公式你也许看不懂，但同时也会有更多的代码，程序员的你一定能看

懂的（我周围是一群狂热的Clean Code程序员，所以我写的代码也不会很差）。

文章列表

零基础入门深度学习(1) - 感知器

零基础入门深度学习(2) - 线性单元和梯度下降

零基础入门深度学习(3) - 神经网络和反向传播算法

零基础入门深度学习(4) - 卷积神经网络

零基础入门深度学习(5) - 循环神经网络

零基础入门深度学习(6) - 长短时记忆网络(LSTM)

零基础入门深度学习(7) - 递归神经网络

往期回顾

在前面的文章系列文章中，我们介绍了全连接神经网络和卷积神经网络，以及它们的训练和使用。他们都只能单独的取处理一个个的输入，

前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比

如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列；当我们处理视频的时

候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。这时，就需要用到深度学习领域中另一类非常重要神经网

络：循环神经网络(Recurrent Neural Network)。RNN种类很多，也比较绕脑子。不过读者不用担心，本文将一如既往的对复杂的东西剥

茧抽丝，帮助您理解RNNs以及它的训练算法，并动手实现一个循环神经网络。

CDA数据分析研究院出品，转载需授权

深度学习是机器学习的一个子领域，研究的算法灵感来自于大脑的结构和功能，称为人工神经网络。

如果你现在刚刚开始进入深度学习领域，或者你曾经有过一些神经网络的经验，你可能会感到困惑。因为我知道我刚开始的时候有很多的困惑，我的许多同事和朋友也是这样。因为他们在20世纪90年代和21世纪初就已经学习和使用神经网络了。

该领域的领导者和专家对深度学习的观点都有自己的见解，这些具体而细微的观点为深度学习的内容提供了很多依据。

在这篇文章中，您将通过听取该领域的一系列专家和领导者的意见，来了解什么是深度学习以及它的内容。

来让我们一探究竟吧。

深度学习是一种大型的神经网络

Coursera的Andrew Ng和百度研究的首席科学家正式创立了Google Brain，最终导致了大量Google服务中的深度学习技术的产品化。

他已经说了很多关于深度学习的内容并且也写了很多，这是一个很好的开始。

在深度学习的早期讨论中，Andrew描述了传统人工神经网络背景下的深度学习。在2013年的题为“ 深度学习，自学习和无监督特征学习”的演讲中“他将深度学习的理念描述为：

这是我在大脑中模拟的对深度学习的希望：

- 使学习算法更好，更容易使用。

- 在机器学习和人工智能方面取得革命性进展。

我相信这是我们迈向真正人工智能的最好机会 后来他的评论变得更加细致入微了。

Andrew认为的深度学习的核心是我们现在拥有足够快的计算机和足够多的数据来实际训练大型神经网络。在2015年ExtractConf大会上，当他 的题目“科学家应该了解深度学习的数据”讨论到为什么现在是深度学习起飞的时候，他评论道：

我们现在拥有的非常大的神经网络......以及我们可以访问的大量数据

他还评论了一个重要的观点，那就是一切都与规模有关。当我们构建更大的神经网络并用越来越多的数据训练它们时，它们的性能会不断提高。这通常与其他在性能上达到稳定水平的机器学习技术不同。

基于人工神经网络的深度学习算法综述

作者：刘俊一

来源：《中国新通信》 2018年第6期

【摘要】 众所周知，深度学习是人工智能领域研究的核心问题。本文首先介绍了人工神经网络和深度学习的背景与研究现状。其次对深度学习经典算法进行了理论上的简单介绍，并提出了一些自己的看法。最后对深度学习的发展趋势进行了展望。【关键词】 神经网络 机器学习 深度学习 算法

一、背景介绍

1.1 什么是人工神经网络

人工神经网络（ANN），是从上个世纪 80年代兴起的人工智能领域研究热点。它是人脑神经元网络在信息处理角度的抽象，按不同的连接方式组成不同的网络并建立相关的简单模型。ANN本质上是一种运算模型，由大量的神经元节点相互连接构成。每个节点可以当做是一个神经元，节点中包含激励函数，根据其输入判断其输出。相邻层的节点之间两两相连，其关系称之为权重，相当于人体大脑的记忆过程。网络的输出即为运算结果，可能是回归结果也可能是分类结果（概率值）。总体而言，人工神经网络通常是对某种算法或者函数的逼近，也可以是对某种逻辑策略的表达。

1.2 人工神经网络背景介绍

1、启蒙时期。美国著名心理学家 W.James于 1890年开启关于人脑结构与功能的研究，结束于 1969年《感知器》一书的发表，其作者为著名学者 Minsky和Papert。2、低潮时期。开始于 1969年，著名学者 Minsky发表文章指出单层系统的局限性，而且并不看好多层系统，于是不可避免的在上世纪 70年代对 ANN的研究开始减少，转而继续研究逻辑系统与符号网络。这一情况直到 1982年因为学者 Hopfield发表的《神经网络和物理系统》才好转。3、复兴时期。开始于《神经网络和物理系统》的发表，由 Hopfield于 1982年发表，结束于 80年代末。4、第一次浪潮。开始于上世纪80年代末，因为“深度学习之父”Hinton提出的 BP反向传播算法解决了浅层网络的参数更新问题，由此开始，进入了机器学习研究的春天。5、第二次浪潮。依旧由 Hinton引领，其于 2006年在《Science》杂志上发表了《Deep Learning》一文，由此，进入深度学习研究的春天。

第１６卷第３期　２０１６年５月　金华职业技术学院学报　Ｖｏ１．１６　Ｎｏ．３　Ｍａｖ．２０１６　

基于深度学习ＢＰ人工神经网络的农产品质量检测　

方孝荣　

（金华职业技术学院，浙江金华３２１００７）　

摘要：农产品质量检测涉及到农产品加工、品质控制以及成分分析等非稳态系统，可以采用不同分析技术获取农产　品质量相关的参数，通过数据分析实现对农产品质量的检测。现代农产品质量检测要扣陕速、准确，但根据检测获得的　参数构建农产品质量信息的分析模型是研究的难题和关键。ＢＰ神经网络是人工神经网络中常用的一种模型，它以误　差的反向传播不断地训练和调整网络，使结果最优；为确保模型有效性，利用深度学习的人工神经网络建立农产品生　产、加工过程中农产品质量检测分析的模型，进而提高农产品的质量检测。　关键词：ＢＰ，Ｋ．．－Ｔ－神经网络；深度学习；农产品品质检测　中图分类号：ＴＰ２７４　Ｓ１２６　文献标识码：Ａ　文章编号：１６７１—３６９９（２０１６）０３—００７３—０４　ＤＯｌ：１０．３９６９０．ｉｓｓｎ．１６７１—３６９９．２０１６．０３．０１７　

人工神经网络（Ａｒｔｉｆｉｃｉａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ，ＡＮＮ）　是对人脑的一种抽象和模拟，是模仿人的大脑神经　

系统信息处理功能的一个信息处理系统。它是从　

数学、物理、信息处理等角度对人脑神经网络进行　抽象，运用一批关联数据进行训练，进而构建相应　

的神经元关联模型，模仿人脑结构进行信息处理，　

对建立探索非线性相关性模型起到较好的归类建　模作用ｎ　。　

一般的人工神经网络模拟人脑分析处理信息　

的过程包含有３个部分。这３个部分分别为输入　层，即信息的输入和感知；隐含层，即信息处理部　

分，人工神经网络中，隐含层往往分为单隐含层（只　

图１典型人工神经网络的工作结构　有１个隐含层）和多隐含层（多个隐含层）；输出层，　

即输出对获取信号处理的结果。图１为一个典型的　人工神经网络模型的工作结构图　。