当前位置：文档之家 › 深度学习基础(PPT36页)

深度学习基础(PPT36页)

  • 格式：ppt
  • 大小：2.26 MB
  • 文档页数：37

下载文档原格式

  / 37

合集下载

[深度学习实践教程][吴微][电子课件] (1)[40页]

[深度学习实践教程][吴微][电子课件] (1)[40页]
深度学习
大数据
深度网络架构
高性能的计算能力
图1.8 深度学习三大核心要素图
15
第1章 深度学习基础 ❖1.2深度学习的三大核心要素 ❖1.大数据
图1.9 大数据时代传算法和深度学习算法准确率对比图
16
第1章 深度学习基础
❖1.2深度学习的三大核心要素 ❖2.深度网络架构 ❖所谓的深度网络架构，就是整个网络体系的构
图1.3例3 4
第1章 深度学习基础
❖1.1 人工智能、机器学习与深度学习 ❖1.1.1人工智能简介
❖ 人工智能有两种类型：强人工智能和弱人工智能。 ❖ 强人工智能：就是要使机器学习人的理解、学习和执
行任务的能力。 ❖ 弱人工智能：指用于自动化特定任务的软件。
5
第1章 深度学习基础
❖1.1 人工智能、机器学习与深度学习
深度学习实践教程
第1章 深度学习基础
1.1 人工智能、机器学习与深度学习 1.2 深度学习的三大核心要素 1.3 神经元与深度神经网络 1.4 神经网络中常用的激励函数 1.5 深度学习强大的原因
1.6 常见的深度学习框架 课上练习
2
第1章 深度学习基础
❖1.1 人工智能、机器学习与深度学习 ❖1.1.1人工智能简介
❖1.1.2 机器学习简介 ❖ 机器学习的广义概念：是指从已知数据中获得规律，
并利用规律对未知数据进行预测的方法。 ❖ 机器学习可用于：自然语言处理、图像识别、生物信
息学以及风险预测等，已在工程学、经济学以及心理 学等多个领域。 ❖ 机器学习是一种统计学习方法，机器人和计算机等机 器需要使用大量数据进行学习，从而提取出所需的信 息。
建方式和拓扑连接结构，目前最常用的有3种 ：全连接网络、卷积神经网络、循环神经网络 和生成对抗网络。

神经网络与深度学习(PPT31页)

神经网络与深度学习(PPT31页)
神经网络 & 深度学习 基础知识
图像的特征
计算机图像是由一定数量的点阵像素构成的。如上所示，我们看到的 是一辆车，但实际上计算机理解的是一个由各像素点的灰度值组成的 矩阵，它并不能直接理解“这是一辆车”。
我们需要将“这是一辆车”这个事实用完全逻辑化的语言描述出来， 让计算机建立一个函数，这个矩阵自变量 x 所对应的结果因变量 y 就 是“车”。难度可想而知。
不仅是房子这个整体，房子里的门、窗户等元素我们都能发现，而原因自然也 是颜色突变。
思考：人能看见绝对透明（100% 透明）的玻璃吗？
我们定义一个形状的时候，本质 上就是在定义其产生颜色突变的 像素点的大致相对位置。比如圆， 在一个直角坐标系的图象上上， 存在所有满足 (x-a)2+(y-b)2=r2 条件的坐标点的某个小邻域内有 较大的颜色突变，那么这幅图像 上就有一个圆的形状。左上方是 一幅色盲测试图，不色盲的朋友 都能看到左下角有一个蓝色的圆， 而且是一个空心圆。
特征：用来描述一个对象具体表现形式的逻辑语言。
如前页所述，“上半部分是圆，下半部分是靠右的一撇” 就是数字 9 的形状特征。
特征是构成一个对象的必要但不充分条件，因为一个对象 是由无数个特征组成的，在有限数量的特征里，我们永远 只能预估该对象，而不能 100% 确定该对象究竟是什么。
经典的图像特征之——Haar 特征
思考：我们一眼就能看出来这幅图像上有一栋房子。但任何一幅图像 都是由一定数量的像素点组成的，我们是怎么从这些单纯的像素点里 发现了房子的呢？
这个问题还可以换一种问法：我们怎么知道一幅图像中是有前景对象 的，对于一张纯色画布，我们为什么无法发现任何对象？
这涉及到一个现象：颜色突变。上图所圈出的区域中，都是颜色变化较大的区 域。而我们就会自然地认为，这是物体的边缘，而由封闭边缘构成的区域就是 物体。

深度学习介绍 ppt课件

深度学习介绍 ppt课件

自编码器的建立
建立AutoEncoder的方法是：
对于m个数据的输入，有：
Code编码:使用非线性激活函数，将维输入数据映射到维隐含层（隐含节点表示特 征）
其中W是一个的权重矩阵，b是一个d'维的偏移向量 Decode解码:通过反向映射，对映射后的数据进行重建
hi
yi
SAE网络每一次训练输入都会得到映射后的 与解码后的 。通过对代价函数的最优
深层带来的好处
为什么采用层次网络
预训练与梯度消失现象
主要内容
自编码器结构
单层自动编码器网络（AutoEncoder）实质上是一个三层的反向传播神经网络。它逐 层采用无监督学习的方式，不使用标签调整权值，将输入映射到隐含层上，再经过反 变换映射到输出上，实现输入输出的近似等价。
X1 X2 X3 X4 X5 +1
RBM网络有几个参数，一个是可视层与隐含 层之间的权重矩阵，一个是可视节点的偏移 量b，一个是隐含节点的偏移量c，这几个参 数决定了RBM网络将一个m维的样本编码成 一个什么样的n维的样本。
受限玻尔兹曼机
RBM介绍

RBM训练
一般地，链接权重Wij可初始化为来自正态分布N(0,0.01)的随机数，隐 单元的偏置cj初始化为0； 对于第i个可见单元，偏置bj初始化为log[pi/(1-pi)] 。pi表示训练样本中 第i个特征处于激活状态所占的比率 学习率epsilon至关重要，大则收敛快，但是算法可能不稳定。小则 慢。为克服这一矛盾引入动量，使本次参数值修改的方向不完全由当 前样本似然函数梯度方向决定，而是上一次参数值修改方向与本次梯 度方向的结合可以避免过早的收敛到局部最优点
激活函数
y f (x)

深度学习基础(PPT36页)

深度学习基础(PPT36页)

CNN的优点
参数减少与权值共享 如下图所示，如果我们有1000x1000（每个隐层神经元都连接图像的每一个像素点），就有 1 0 0 0 1 0 0 0 1 0 0 0 0 0 0 = 1 0 1 2个连接，也就是10^12个权值参数。
局部连接网络，每一个节点与上层节点同位置附近10x10的窗口相连接， 则1百万个隐层神经元就只有 16 0100 18 0，即10^8个参数。其权值连 接个数比原来减少了四个数量级。
深度学习可以通过学习一种深层非线性网络结构，实 现复杂函数逼近，表征输入数据分布式表示，并展现 了强大的从少数样本中集中学习数据及本质特征的能 力。
深度学习的实质
通过构建具有很多隐层的机器学习模型和海量的训练数 据，来学习更有用的特征，从而最终提升分类或预测的 准确性。因此，“深度模型”是手段，“特征学习”是 目的。
人脑的视觉机理
1981年的诺贝尔医学奖获得者 David Hubel和Torsten Wiesel发现了视觉系统的信息处理机制，他们发现了一 种被称为“方向选择性细胞的神经元细胞，当瞳孔发现 了眼前的物体的边缘，而且这个边缘指向某个方向时， 这种神经元细胞就会活跃。
由此可知人的视觉系统的信息处理是分级的，高 层的特征是低层特征的组合，从低层到高层的特征表示 越来越抽象，越来越能表现语义或者意图，抽象层面越 高，存在的可能猜测就越少，就越利于分类。
与神经网络的异同
深度学习与神经网络的异同
神经网络
深度学习
深度学习与神经网络的异同
相同点
二者均采用分层结构，系统包括输入层、隐层（多层）、 输出层组成的多层网络，只有相邻层节点之间有连接，同 一层以及跨层节点之间相互无连接，每一层可以看作是一 个logistic 回归模型。

深度学习技术介绍PPT课件

深度学习技术介绍PPT课件
根据Marr(1982)年理论，理解一个信息处理系统，具有三个被称为分析层面的内容： 计算理论(computational theory)对应计算目标和任务的抽象定义。 表示和算法(representation and algorithm)是关于输人和输出如何表示和从输入到输
出变换的算法说明。 硬件实现(hardware implementation)是系统的实物物理实现。
29
29
M40 GPU加速特性
30
GPU与CPU连接
通过PCIe与CPU连接, 最大理论带宽8GB/s(gen2.0)、16GB/s(gen3.0) CPU称为主机(host), 显卡(GPU)称为设备(device)
31
31
最优连接数量：4
32
32
目前的GPU使用方案
33
33
CPU困境
34
机器学习还可以进行压缩(compression)。用规则拟合数据，我们能得到比数据更简 单的解释，需要的存储空间更少，处理所需要的计算更少，例如，一旦你掌握了加法 规则，你就不必记忆每对可能数字的和是多少。
机器学习的另一种用途是离群点检测(outlier detection)，即发现那些不遵守规则的 例外实例。在这种情况下，学习规则之后，我们感兴趣的不是规则，而是规则未能覆 盖的例外，他们可能暗示出我们需要注意的异常，如诈骗等。
具体应用-人脸识别
对于人脸识别(face recognition)。输入是人脸 图像，类是需要识别的人，并且学习程序应当 学习人脸图像与身份之间的关联性。人脸会有 更多的类，输入图像也更大一些，并且人脸是 三维的，不同的姿势和光线等都会导致图像的 显著变化。另外，对于特定人脸的输人也会出 现问题，比如说眼镜可能会把眼睛和眉毛遮住 ，胡子可能会把下巴盖住等。

深度学习基础PPT幻灯片

深度学习基础PPT幻灯片
Deep Learning
2020/4/2
1
目录
深度学习简介 深度学习的训练方法 深度学习常用的几种模型和方法 Convolutional Neural Networks卷积神经网络 卷积神经网络（CNN）在脑机接口中的应用源自2020/4/22
What is Deep Learning?
浅层结构的局限性在于有限的样本和计算单元情况下 对复杂的函数表示能力有限，针对复杂分类问题其泛 化能力受到一定的制约。
2020/4/2
9
受到大脑结构分层的启发，神经网络的研究发现多隐 层的人工神经网络具有优异的特征学习能力，学习得 到的特征对数据有更本质的刻画，从而有利于可视化 或分类；而深度神经网络在训练上的难度，可以通过 “逐层初始化”来有效克服。
A brief introduce of deep learning
2020/4/2
3
机器学习
机器学习（Machine Learning）是一门专门研究计算机 怎样模拟或实现人类的学习行为，以获取新的知识或 技能，重新组织已有的知识结构市值不断改善自身的 性能的学科，简单地说，机器学习就是通过算法，使 得机器能从大量的历史数据中学习规律，从而对新的 样本做智能识别或预测未来。
机器学习在图像识别、语音识别、自然语言理解、天 气预测、基因表达、内容推荐等很多方面的发展还存 在着没有良好解决的问题。
2020/4/2
4
特征的自学习
传统的模式识别方法：
通过传感器获取数据，然后经过预处理、特征提取、特 征选择、再到推理、预测或识别。 特征提取与选择的好坏对最终算法的确定性齐了非常关 键的作用。而特征的样式目前一般都是靠人工提取特征。 而手工选取特征费时费力，需要专业知识，很大程度上 靠经验和运气，那么机器能不能自动的学习特征呢？深 度学习的出现就这个问题提出了一种解决方案。

《深度学习PPT》第3章 人工神经网络与深度学习


9 of 57
3.1 探秘大脑的工作原理
第3章 人工神经网络与深度学习
3.1.2 人脑神经元的结构
神经元的基本结构包括细胞体和突起两部分。细胞体包括细胞核、细胞质、细胞 膜。细胞膜内外电位差称为膜电位。神经元的突起一般包括数条短而呈树状分支 的树突和一条长而分支少的轴突。长的突起外表大都套有一层鞘，组成神经纤维， 神经纤维末端的细小分支叫作神经末梢。神经纤维集结成束，外面包有膜，构成 一条神经。
6 of 57
3.1 探秘大脑的工作原理
（5）深度学习算法 数据输 出
外部环 境
第3章 人工神经网络与深度学习
数据输入
执行
深度学习（端到端网络，一组函数集）
知识库
学习
深度学 习
深度学习的基本模型
人的活动过程伴随信息传递、知识处理和智能的形成过程，其信息 传输模型如图所示
7 of 57
3.1 探秘大脑的工作原理
22 of 57
3.4 人脑神经网络的互连结构
第3章 人工神经网络与深度学习
3.4.1 前馈神经网络
前馈神经网络（feedforward neural network），简称前馈网络，是人 工神经网络的一种。在此种神经网络中，各神经元从输入层开始，接 收前一级输入，并输入到下一级，直至输出层。整个网络中无反馈， 可用一个有向无环图表示
输出
hw.b
3.2 人脑神经元模型
3.2.2 激活函数
常用激活函数主要有：线性函数、 非线性函数（sigmoid型函数）、 概率型函数。
y
x 0
（a）线性函数 y
x 0
(c) ReLU函数 y
1 x
0 (e) sigmoid函数

深度学习PPT幻灯片

❖ 案例：星光智能一号广泛应用于高清视频监控、智能驾驶辅助、无人机、 机器人等嵌入式机器视觉领域
14
深度学习硬件加速方式——ASIC
❖ 阻碍深度学习发展的瓶颈仍是算法速度 ❖ 传统处理器需要多条指令才能完成一个神经元的处理 ❖ ASIC根据深度学习算法定制：处理效率、能效均最高 ❖ 代表：Cambricon（寒武纪科技）DianNao芯片、谷歌的TPU芯片、
11
深度学习硬件加速方式——GPU
❖ SIMD方式，计算能力强，并行度支持好 ❖ 通用性，并非针对深度学习
➢ 运行效率受影响 ➢ 能耗仍较大 ❖ 代表： NVIDIA Tesla P100 GPU ❖ 案例：基于GPADAS)方面与众多车企进行合作
样思考
取新的知识技能，并
应用：国际跳棋程序

改善自身性能
应用：垃圾邮件过滤
深度学习
一种机器学习方法，模 拟人脑机制解释数据， 通过组合低层特征形成 更加抽象的高层属性类 别或特征
应用：谷歌视频寻猫
1950's 1960's 1970's 1980's 1990's 2000's 2010's
3
深度学习的流程
Horizon Robotics（地平线机器人）BPU芯片 ❖ 案例：基于TPU的AlphaGo与围棋冠军李世石人机大战，总比分4:1获胜
15
深度学习硬件加速方式比较
加速方式
优点
缺点
CPU
通用结构、可独立工作 通用性导致效率和能效比低
GPU FPGA DSP ASIC
强大的并行计算能力
通用性导致效率受影响、能耗大
灵活性好、设计空间大、 省去流片过程 改动小、计算能力较高

计算机视觉PPT课件：深度学习基础

C表示 loss function，δl表示第l層的殘差， 我們就得到第l層的殘差:
c
j f net j wk kj
k 1
38/48
池化層的誤差反向傳播
39/48
池化層的的誤差反向傳播
先考慮mean-pooling：得到的卷積層應該是 4×4大小，其值分佈為(等值複製)左圖：
由於需要滿足反向傳播時各層間殘差總和不 變，所以卷積層對應每個值需要平攤：
這種方法很好的解決了Adagrad過早結束的問 題，適合處理非平穩目標，對於RNN效果很 好。
這裏未必是遞增，通過參 數來協調當前和過往。
Adam
Adam 這個名字來源於 adaptive moment estimation，自適應矩估計。
Adam本質上是帶 有動量項的 RMSprop，它利用 梯度的一階矩估計 和二階矩估計動態 調整每個參數的學 習率。
CNN池化層
• 作用：特徵融合，降維 • 無參數需要學習 • 超參數
• 尺寸（size） • 步長（step） • 計算類別
• 最大化池化（Max pooling） • 平均池化（Average pooling）
36/48
卷積神經網路（CNN）
CNN-Softmax層
• 指數歸一化函數
• 將一個實數值向量壓縮到（0, 1） • 所有元素和為1
進 行調參。 3.充分瞭解數據——如果模型是非常稀疏的，那麼優先
考慮自適應學習率的演算法。 4. 根據需求來選擇——在模型設計實驗過程中，要快速
驗證新模型的效果，可以先用Adam；在模型上線或者 結果發佈前，可以用精調的SGD進行模型的極致優化。 5. 先用小數據集進行實驗。有論文研究指出，隨機梯度 下降演算法的收斂速度和數據集的大小的關係不大。因 此 可以先用一個具有代表性的小數據集進行實驗。

深度学习的数学基础


3 of 44
2.1线性代数
第二章 深度学习的数学基础
2.1.1向量空间
给定一个非空集合是������和数域集合������，在������中定义了加法运算 +，在������与������之间定义了数乘运算∙，������, ������, ������ ∈ ������, ������, ������ ∈ ������ ，如 果该加法运算+和数乘运算∙同时满足下面所有规则，则称������ 是������ 上的向量空间或线性空间。 （1）规则1：若������, ������ ∈ ������ ，则������ + ������ ∈ ������ （2）规则2：若������, ������ ∈ ������ ，则������ + ������ = ������ + ������ （3）规则3：若������, ������, ������ ∈ ������ ，则(������ + ������) + ������ = ������ + (������ + ������) （4）规则4：存在零元素0 ∈ ������对 都有0 + ������ = ������ （5）规则5：对任意向量������ ∈ ������都存在负元素−������ ∈ ������使得 ������ + (−������) = 0
4 of 44
2.1线性代数
第二章 深度学习的数学基础
2.1.1向量空间
（6）规则6：若������ ∈ ������, ������ ∈ ������ ，则������ ∙ ������ ∈ ������, （7）规则7：若������, ������ ∈ ������, ������ ∈ ������ ，则 ������ ∙ ������ + ������ = ������ ∙ ������ + ������ ∙ ������ （8）规则8：若������ ∈ ������, ������, ������ ∈ ������ ，则 ������ + ������ ∙ ������ = ������ ∙ ������ + ������ ∙ ������ （9）规则9：若������ ∈ ������, ������, ������ ∈ ������ ，则������ ∙ ������ ∙ ������ = (������������) ∙ ������ （10）规则10：若������ ∈ ������ ，则存在一个单位元素1 ∈ ������使得 1 ∙ ������ = ������
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

人脑的视觉机理
1981年的诺贝尔医学奖获得者 David Hubel和Torsten Wiesel发现了视觉系统的信息处理机制，他们发现了一 种被称为“方向选择性细胞的神经元细胞，当瞳孔发现 了眼前的物体的边缘，而且这个边缘指向某个方向时， 这种神经元细胞就会活跃。
由此可知人的视觉系统的信息处理是分级的，高层的特 征是低层特征的组合，从低层到高层的特征表示越来越 抽象，越来越能表现语义或者意图，抽象层面越高，存 在的可能猜测就越少，就越利于分类。
神经网络：采用BP算法调整参数，即采用迭代算法来训 练整个网络。随机设定初值，计算当前网络的输出，然后 根据当前输出和样本真实标签之间的差去改变前面各层的 参数，直到收敛； 深度学习：BP算法不适合深度神经网络，如果对所有层 同时训练，时间复杂度会太高，如果每次训练一层，偏差 逐层传递会出现过拟合。因此深度学习整体上是是一个分 层训练机制。
深度学习可以通过学习一种深层非线性网络结构，实 现复杂函数逼近，表征输入数据分布式表示，并展现 了强大的从少数样本中集中学习数据及本质特征的能 力。
深度学习的实质
通过构建具有很多隐层的机器学习模型和海量的训练数 据，来学习更有用的特征，从而最终提升分类或预测的 准确性。因此，“深度模型”是手段，“特征学习”是 目的。
与神经网络的异同
深度学习与神经网络的异同
神经网络
深度学习
深度学习与神经网络的异同
相同点
二者均采用分层结构，系统包括输入层、隐层（多层）、 输出层组成的多层网络，只有相邻层节点之间有连接，同 一层以及跨层节点之间相互无连接，每一层可以看作是一 个logistic 回归模型。
不同点：采用不同的训练机制
浅层学习与深度学习
传统机器学习和信号处理技术探索仅含单层非线性变 换的浅层学习结构。浅层模型的一个共性是仅含单个 将原始输入信号转换到特定问题空间特征的简单结构。 典型的浅层学习结构包括传统隐马尔科夫模型(HMM)、 条件随机场(CRFs)、最大熵模型(Max Ent)、支持向量 机(SVM)、核回归及仅含单隐层的多层感知器(MLP)等。
深度学习
自2006年，深度学习（Deep Learning）已经成为机器 学习研究中的一个新兴领域，通常也被叫做深层结构 学习或分层学习。其动机在于建立、模拟人脑进行分 析学习的神经网络，它模拟人脑的机制来解释数据， 例如图像，声音和文本，深度学习是无监督学习的一 种。
深度学习的概念源于人工神经网络的研究，含多隐层 的多层感知器就是一种深度学习结构。深度学习通过 组合低层特征形成更加抽象的高层表示属性类别或特 征，已发现数据的分布式特征表示。
特征的自学习
传统的模式识别方法：
通过传感器获取数据，然后经过预处理、特征提取、特 征选择、再到推理、预测或识别。 特征提取与选择的好坏对最终算法的确定性齐了非常关 键的作用。而特征的样式目前一般都是靠人工提取特征。 而手工选取特征费时费力，需要专业知识，很大程度上 靠经验和运气，那么机器能不能自动的学习特征呢？深 度学习的出现就这个问题提出了一种解决方案。
深度学习的训练过程
自下而上的非监督学习：从底层开始，一层一层的往 顶层训练，分别得到各层参数。
采用无标签数据分层训练各层参数（可以看作是特征学习 的过程）。
自上而下的监督学习
基于第一步的得到的各层参数进一步调整整个多层模型的 参数，这一步是一个有监督的训练过程。
深度学习的几种常用模型
Auto Encoder（自动编码器） Sparse Coding （稀疏编码） Restricted Boltzman Belief Networks （深度信任网络） Convolutional Neural Networks （卷积神经网络）
深度学习与浅层学习的区别
强调了模型结构的深度，通常有5-10多层的隐层节点；
明确突出了特征学习的重要性，通过逐层特征变换，将 样本在原空间的特征表示变换到一个新特征空间，从而 使分类或预测更加容易。与人工规则构造特征的方法相 比，利用大数据来学习特征，更能够刻画数据的丰富内 在信息。
深度学习的训练方法
Convolutional Neural Networks(CNN)
Convolutional Neural Networks(CNN)
卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领 域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网 络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现 的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的 特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层 感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度 不变性。
浅层结构的局限性在于有限的样本和计算单元情况下 对复杂的函数表示能力有限，针对复杂分类问题其泛 化能力受到一定的制约。
受到大脑结构分层的启发，神经网络的研究发现多隐 层的人工神经网络具有优异的特征学习能力，学习得 到的特征对数据有更本质的刻画，从而有利于可视化 或分类；而深度神经网络在训练上的难度，可以通过 “逐层初始化”来有效克服。
机器学习
机器学习（Machine Learning）是一门专门研究计算机 怎样模拟或实现人类的学习行为，以获取新的知识或 技能，重新组织已有的知识结构市值不断改善自身的 性能的学科，简单地说，机器学习就是通过算法，使 得机器能从大量的历史数据中学习规律，从而对新的 样本做智能识别或预测未来。
机器学习在图像识别、语音识别、自然语言理解、天 气预测、基因表达、内容推荐等很多方面的发展还存 在着没有良好解决的问题。
Deep Learning
目录
深度学习简介 深度学习的训练方法 深度学习常用的几种模型和方法 Convolutional Neural Networks卷积神经网络 卷积神经网络（CNN）在脑机接口中的应用
What is Deep Learning?
A brief introduce of deep learning