深度学习入门讲座.pptx
- 格式：pptx
- 大小：7.23 MB
- 文档页数：41
下载文档原格式
合集下载
深度学习介绍 ppt课件
自编码器的建立
建立AutoEncoder的方法是：
对于m个数据的输入，有：
Code编码:使用非线性激活函数，将维输入数据映射到维隐含层（隐含节点表示特 征）
其中W是一个的权重矩阵，b是一个d'维的偏移向量 Decode解码:通过反向映射，对映射后的数据进行重建
hi
yi
SAE网络每一次训练输入都会得到映射后的 与解码后的 。通过对代价函数的最优
深层带来的好处
为什么采用层次网络
预训练与梯度消失现象
主要内容
自编码器结构
单层自动编码器网络（AutoEncoder）实质上是一个三层的反向传播神经网络。它逐 层采用无监督学习的方式，不使用标签调整权值，将输入映射到隐含层上，再经过反 变换映射到输出上，实现输入输出的近似等价。
X1 X2 X3 X4 X5 +1
RBM网络有几个参数，一个是可视层与隐含 层之间的权重矩阵，一个是可视节点的偏移 量b，一个是隐含节点的偏移量c，这几个参 数决定了RBM网络将一个m维的样本编码成 一个什么样的n维的样本。
受限玻尔兹曼机
RBM介绍
RBM训练
一般地，链接权重Wij可初始化为来自正态分布N(0,0.01)的随机数，隐 单元的偏置cj初始化为0； 对于第i个可见单元，偏置bj初始化为log[pi/(1-pi)] 。pi表示训练样本中 第i个特征处于激活状态所占的比率 学习率epsilon至关重要，大则收敛快，但是算法可能不稳定。小则 慢。为克服这一矛盾引入动量，使本次参数值修改的方向不完全由当 前样本似然函数梯度方向决定，而是上一次参数值修改方向与本次梯 度方向的结合可以避免过早的收敛到局部最优点
激活函数
y f (x)
深度学习基础PPT幻灯片
Deep Learning
2020/4/2
1
目录
深度学习简介 深度学习的训练方法 深度学习常用的几种模型和方法 Convolutional Neural Networks卷积神经网络 卷积神经网络（CNN）在脑机接口中的应用源自2020/4/22
What is Deep Learning?
浅层结构的局限性在于有限的样本和计算单元情况下 对复杂的函数表示能力有限，针对复杂分类问题其泛 化能力受到一定的制约。
2020/4/2
9
受到大脑结构分层的启发，神经网络的研究发现多隐 层的人工神经网络具有优异的特征学习能力，学习得 到的特征对数据有更本质的刻画，从而有利于可视化 或分类；而深度神经网络在训练上的难度，可以通过 “逐层初始化”来有效克服。
A brief introduce of deep learning
2020/4/2
3
机器学习
机器学习（Machine Learning）是一门专门研究计算机 怎样模拟或实现人类的学习行为，以获取新的知识或 技能，重新组织已有的知识结构市值不断改善自身的 性能的学科，简单地说，机器学习就是通过算法，使 得机器能从大量的历史数据中学习规律，从而对新的 样本做智能识别或预测未来。
机器学习在图像识别、语音识别、自然语言理解、天 气预测、基因表达、内容推荐等很多方面的发展还存 在着没有良好解决的问题。
2020/4/2
4
特征的自学习
传统的模式识别方法：
通过传感器获取数据，然后经过预处理、特征提取、特 征选择、再到推理、预测或识别。 特征提取与选择的好坏对最终算法的确定性齐了非常关 键的作用。而特征的样式目前一般都是靠人工提取特征。 而手工选取特征费时费力，需要专业知识，很大程度上 靠经验和运气，那么机器能不能自动的学习特征呢？深 度学习的出现就这个问题提出了一种解决方案。
2020/4/2
1
目录
深度学习简介 深度学习的训练方法 深度学习常用的几种模型和方法 Convolutional Neural Networks卷积神经网络 卷积神经网络（CNN）在脑机接口中的应用源自2020/4/22
What is Deep Learning?
浅层结构的局限性在于有限的样本和计算单元情况下 对复杂的函数表示能力有限，针对复杂分类问题其泛 化能力受到一定的制约。
2020/4/2
9
受到大脑结构分层的启发，神经网络的研究发现多隐 层的人工神经网络具有优异的特征学习能力，学习得 到的特征对数据有更本质的刻画，从而有利于可视化 或分类；而深度神经网络在训练上的难度，可以通过 “逐层初始化”来有效克服。
A brief introduce of deep learning
2020/4/2
3
机器学习
机器学习（Machine Learning）是一门专门研究计算机 怎样模拟或实现人类的学习行为，以获取新的知识或 技能，重新组织已有的知识结构市值不断改善自身的 性能的学科，简单地说，机器学习就是通过算法，使 得机器能从大量的历史数据中学习规律，从而对新的 样本做智能识别或预测未来。
机器学习在图像识别、语音识别、自然语言理解、天 气预测、基因表达、内容推荐等很多方面的发展还存 在着没有良好解决的问题。
2020/4/2
4
特征的自学习
传统的模式识别方法：
通过传感器获取数据，然后经过预处理、特征提取、特 征选择、再到推理、预测或识别。 特征提取与选择的好坏对最终算法的确定性齐了非常关 键的作用。而特征的样式目前一般都是靠人工提取特征。 而手工选取特征费时费力，需要专业知识，很大程度上 靠经验和运气，那么机器能不能自动的学习特征呢？深 度学习的出现就这个问题提出了一种解决方案。
深度学习PPT课件
随后，建立带有梯度下降的BP模型，1981年首次NN得到应 用；
80年代末，基于BP训练的深度神经网络（Deep NNs）依然 很难实现，90年代开始成为研究主体；
1991， 通过无导学习的深度学习（Deep Learning，DL）在 实际中可以运用；
2009，有导师学习的DL在大部分国际模式识别竞赛中领先 于其他机器学习方法，并且第一个实现超人视觉模式识别， 从此赢得广泛关注。
.
深度学习
----许洛
1
.
深度学习（DL）
1 深度学习 介绍
• 1 DL历程 • 2 BP缺点
2 CNN应用
• 1 手写字体 识别
• 2 语音识别
3 CNN原理
• 卷积 • 池化 • 反向传输
2
.
深度学习（DL）
60、70年代，神经网络（NNs）最早可以追溯的时期，构建 出连续非线性层的神经元模型；
.
池化层
采样层是对上一层map的一个采样处理，相当 于对上一层map的相邻小区域进行聚合统计， 区域大小为scale*scale，有些是取小区域的最 大值，而ToolBox里面的实现是采用2*2小区域 的均值。CNN ToolBox里面也是用卷积来实现 采样的，卷积核是2*2，每个元素都是1/4。
C1有156个可训练参数（每个滤波器5*5=25个 unit 参数和一个 bias 参 数，一共6个滤波器，共(5*5+1)*6=156个参数）。
最后一层将4*4的map平铺成一条特征数组，用于训练。 10
.
卷积层
卷积层的每一个特 征map是不同的卷积 核在前一层所有map 上作卷积并将对应 元素累加后加一个 偏置，再求sigmod得 到的。
目前应用较普遍的是深度置信网络(deep belief network ,DBN)和卷积神经网络（CNN），DBN网 络可以看作是由多个受限 玻 尔 兹 曼 机叠加而 成，CNN通过local receptive fields（感受野）， shared weights（共享权值），subsampling（下 采样）概念来解决BP网络的三个问题。
80年代末，基于BP训练的深度神经网络（Deep NNs）依然 很难实现，90年代开始成为研究主体；
1991， 通过无导学习的深度学习（Deep Learning，DL）在 实际中可以运用；
2009，有导师学习的DL在大部分国际模式识别竞赛中领先 于其他机器学习方法，并且第一个实现超人视觉模式识别， 从此赢得广泛关注。
.
深度学习
----许洛
1
.
深度学习（DL）
1 深度学习 介绍
• 1 DL历程 • 2 BP缺点
2 CNN应用
• 1 手写字体 识别
• 2 语音识别
3 CNN原理
• 卷积 • 池化 • 反向传输
2
.
深度学习（DL）
60、70年代，神经网络（NNs）最早可以追溯的时期，构建 出连续非线性层的神经元模型；
.
池化层
采样层是对上一层map的一个采样处理，相当 于对上一层map的相邻小区域进行聚合统计， 区域大小为scale*scale，有些是取小区域的最 大值，而ToolBox里面的实现是采用2*2小区域 的均值。CNN ToolBox里面也是用卷积来实现 采样的，卷积核是2*2，每个元素都是1/4。
C1有156个可训练参数（每个滤波器5*5=25个 unit 参数和一个 bias 参 数，一共6个滤波器，共(5*5+1)*6=156个参数）。
最后一层将4*4的map平铺成一条特征数组，用于训练。 10
.
卷积层
卷积层的每一个特 征map是不同的卷积 核在前一层所有map 上作卷积并将对应 元素累加后加一个 偏置，再求sigmod得 到的。
目前应用较普遍的是深度置信网络(deep belief network ,DBN)和卷积神经网络（CNN），DBN网 络可以看作是由多个受限 玻 尔 兹 曼 机叠加而 成，CNN通过local receptive fields（感受野）， shared weights（共享权值），subsampling（下 采样）概念来解决BP网络的三个问题。
深度学习PPT幻灯片
❖ 案例：星光智能一号广泛应用于高清视频监控、智能驾驶辅助、无人机、 机器人等嵌入式机器视觉领域
14
深度学习硬件加速方式——ASIC
❖ 阻碍深度学习发展的瓶颈仍是算法速度 ❖ 传统处理器需要多条指令才能完成一个神经元的处理 ❖ ASIC根据深度学习算法定制：处理效率、能效均最高 ❖ 代表：Cambricon（寒武纪科技）DianNao芯片、谷歌的TPU芯片、
11
深度学习硬件加速方式——GPU
❖ SIMD方式，计算能力强，并行度支持好 ❖ 通用性，并非针对深度学习
➢ 运行效率受影响 ➢ 能耗仍较大 ❖ 代表： NVIDIA Tesla P100 GPU ❖ 案例：基于GPADAS)方面与众多车企进行合作
样思考
取新的知识技能，并
应用：国际跳棋程序
改善自身性能
应用：垃圾邮件过滤
深度学习
一种机器学习方法，模 拟人脑机制解释数据， 通过组合低层特征形成 更加抽象的高层属性类 别或特征
应用：谷歌视频寻猫
1950's 1960's 1970's 1980's 1990's 2000's 2010's
3
深度学习的流程
Horizon Robotics（地平线机器人）BPU芯片 ❖ 案例：基于TPU的AlphaGo与围棋冠军李世石人机大战，总比分4:1获胜
15
深度学习硬件加速方式比较
加速方式
优点
缺点
CPU
通用结构、可独立工作 通用性导致效率和能效比低
GPU FPGA DSP ASIC
强大的并行计算能力
通用性导致效率受影响、能耗大
灵活性好、设计空间大、 省去流片过程 改动小、计算能力较高
14
深度学习硬件加速方式——ASIC
❖ 阻碍深度学习发展的瓶颈仍是算法速度 ❖ 传统处理器需要多条指令才能完成一个神经元的处理 ❖ ASIC根据深度学习算法定制：处理效率、能效均最高 ❖ 代表：Cambricon（寒武纪科技）DianNao芯片、谷歌的TPU芯片、
11
深度学习硬件加速方式——GPU
❖ SIMD方式，计算能力强，并行度支持好 ❖ 通用性，并非针对深度学习
➢ 运行效率受影响 ➢ 能耗仍较大 ❖ 代表： NVIDIA Tesla P100 GPU ❖ 案例：基于GPADAS)方面与众多车企进行合作
样思考
取新的知识技能，并
应用：国际跳棋程序
改善自身性能
应用：垃圾邮件过滤
深度学习
一种机器学习方法，模 拟人脑机制解释数据， 通过组合低层特征形成 更加抽象的高层属性类 别或特征
应用：谷歌视频寻猫
1950's 1960's 1970's 1980's 1990's 2000's 2010's
3
深度学习的流程
Horizon Robotics（地平线机器人）BPU芯片 ❖ 案例：基于TPU的AlphaGo与围棋冠军李世石人机大战，总比分4:1获胜
15
深度学习硬件加速方式比较
加速方式
优点
缺点
CPU
通用结构、可独立工作 通用性导致效率和能效比低
GPU FPGA DSP ASIC
强大的并行计算能力
通用性导致效率受影响、能耗大
灵活性好、设计空间大、 省去流片过程 改动小、计算能力较高
深度学习基础-Python课件(附PPT)
深度学习基础——Python 课件(附PPT)
在这个课件中，我们将介绍深度学习的基础知识，并使用Python的各种库进 行实际操作。从Python基础语法回顾到神经网络实现，涵盖了深度学习的主 要内容。
深度学习简介
深度学习是一种机器学习算法，通过模拟人脑神经系统的结构和功能，实现 对复杂数据的高效处理和分析。它已经在各个领域取得了重大突破，如图像 识别、语音识别和自然语言处理。
Python基础语法回顾
Python是一种简洁而强大的编程语言，具有简单易懂的语法，适合初学者和专业开发者。本节将回顾Python的 基础语法，包括变量、数据类型、条件语句和循环结构。
Numpy库基础操作
Numpy是Python中用于数值计算的核心库，提供了高性能的多维数组对象和各种数学函数。我们将学习如何创 建数组、进行数学运算和处理矩阵，为后续的深度学习任务做好准备。
神经网络基础知识
神经网络是深度学习的基本模型，它由多个神经元和层组成，用于处理和学习复杂的非线性关系。我们将介绍 神经网络的基本结构和工作原理，以及常用的激活函数和损失函数。
激活函数及其性质
激活函数在神经网络中起着非常重要的作用，它将神经元的输入映射到输出。 我们将介绍常用的激活函数，如Sigmoid、ReLU和Softmax，以及它们的性质和 适用场景。
图像分类实现
图像分类是计算机视觉中一项重要任务，用于将图像划分到不同的类别中。我们将学习如何使用Python和相关 库实现图像分类模型，以解决图像识别、物体检测等问题。
Tensorflow库基础操作
Tensorflow是一个开源的深度学习框架，由Google开发。它提供了丰富的工具 和接口，用于构建、训练和部署机器学习和深度学习模型。我们将学习如何 使用Tensorflow进行模型的定义和训练。
在这个课件中，我们将介绍深度学习的基础知识，并使用Python的各种库进 行实际操作。从Python基础语法回顾到神经网络实现，涵盖了深度学习的主 要内容。
深度学习简介
深度学习是一种机器学习算法，通过模拟人脑神经系统的结构和功能，实现 对复杂数据的高效处理和分析。它已经在各个领域取得了重大突破，如图像 识别、语音识别和自然语言处理。
Python基础语法回顾
Python是一种简洁而强大的编程语言，具有简单易懂的语法，适合初学者和专业开发者。本节将回顾Python的 基础语法，包括变量、数据类型、条件语句和循环结构。
Numpy库基础操作
Numpy是Python中用于数值计算的核心库，提供了高性能的多维数组对象和各种数学函数。我们将学习如何创 建数组、进行数学运算和处理矩阵，为后续的深度学习任务做好准备。
神经网络基础知识
神经网络是深度学习的基本模型，它由多个神经元和层组成，用于处理和学习复杂的非线性关系。我们将介绍 神经网络的基本结构和工作原理，以及常用的激活函数和损失函数。
激活函数及其性质
激活函数在神经网络中起着非常重要的作用，它将神经元的输入映射到输出。 我们将介绍常用的激活函数，如Sigmoid、ReLU和Softmax，以及它们的性质和 适用场景。
图像分类实现
图像分类是计算机视觉中一项重要任务，用于将图像划分到不同的类别中。我们将学习如何使用Python和相关 库实现图像分类模型，以解决图像识别、物体检测等问题。
Tensorflow库基础操作
Tensorflow是一个开源的深度学习框架，由Google开发。它提供了丰富的工具 和接口，用于构建、训练和部署机器学习和深度学习模型。我们将学习如何 使用Tensorflow进行模型的定义和训练。
计算机视觉PPT课件：深度学习基础
C表示 loss function，δl表示第l層的殘差， 我們就得到第l層的殘差:
c
j f net j wk kj
k 1
38/48
池化層的誤差反向傳播
39/48
池化層的的誤差反向傳播
先考慮mean-pooling：得到的卷積層應該是 4×4大小，其值分佈為(等值複製)左圖：
由於需要滿足反向傳播時各層間殘差總和不 變，所以卷積層對應每個值需要平攤：
這種方法很好的解決了Adagrad過早結束的問 題，適合處理非平穩目標，對於RNN效果很 好。
這裏未必是遞增，通過參 數來協調當前和過往。
Adam
Adam 這個名字來源於 adaptive moment estimation，自適應矩估計。
Adam本質上是帶 有動量項的 RMSprop，它利用 梯度的一階矩估計 和二階矩估計動態 調整每個參數的學 習率。
CNN池化層
• 作用：特徵融合，降維 • 無參數需要學習 • 超參數
• 尺寸（size） • 步長（step） • 計算類別
• 最大化池化（Max pooling） • 平均池化（Average pooling）
36/48
卷積神經網路（CNN）
CNN-Softmax層
• 指數歸一化函數
• 將一個實數值向量壓縮到（0, 1） • 所有元素和為1
進 行調參。 3.充分瞭解數據——如果模型是非常稀疏的，那麼優先
考慮自適應學習率的演算法。 4. 根據需求來選擇——在模型設計實驗過程中，要快速
驗證新模型的效果，可以先用Adam；在模型上線或者 結果發佈前，可以用精調的SGD進行模型的極致優化。 5. 先用小數據集進行實驗。有論文研究指出，隨機梯度 下降演算法的收斂速度和數據集的大小的關係不大。因 此 可以先用一個具有代表性的小數據集進行實驗。
c
j f net j wk kj
k 1
38/48
池化層的誤差反向傳播
39/48
池化層的的誤差反向傳播
先考慮mean-pooling：得到的卷積層應該是 4×4大小，其值分佈為(等值複製)左圖：
由於需要滿足反向傳播時各層間殘差總和不 變，所以卷積層對應每個值需要平攤：
這種方法很好的解決了Adagrad過早結束的問 題，適合處理非平穩目標，對於RNN效果很 好。
這裏未必是遞增，通過參 數來協調當前和過往。
Adam
Adam 這個名字來源於 adaptive moment estimation，自適應矩估計。
Adam本質上是帶 有動量項的 RMSprop，它利用 梯度的一階矩估計 和二階矩估計動態 調整每個參數的學 習率。
CNN池化層
• 作用：特徵融合，降維 • 無參數需要學習 • 超參數
• 尺寸（size） • 步長（step） • 計算類別
• 最大化池化（Max pooling） • 平均池化（Average pooling）
36/48
卷積神經網路（CNN）
CNN-Softmax層
• 指數歸一化函數
• 將一個實數值向量壓縮到（0, 1） • 所有元素和為1
進 行調參。 3.充分瞭解數據——如果模型是非常稀疏的，那麼優先
考慮自適應學習率的演算法。 4. 根據需求來選擇——在模型設計實驗過程中，要快速
驗證新模型的效果，可以先用Adam；在模型上線或者 結果發佈前，可以用精調的SGD進行模型的極致優化。 5. 先用小數據集進行實驗。有論文研究指出，隨機梯度 下降演算法的收斂速度和數據集的大小的關係不大。因 此 可以先用一個具有代表性的小數據集進行實驗。
深度学习Deep-Learning【精品PPT文档】
• 减轻梯度消失问题的一个方法是使用线性激活函数（比如rectifier
函数）或近似线性函数（比如softplus 函数）。这样，激活函数的 导数为1，误差可以很好地传播，训练速度得到了很大的提高。
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
向量函数及其导数
按位计算的向量函数及其导数
logistic函数
softmax函数
softmax函数
softmax函数
softmax函数
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
机器学习中的一些概念
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
向量
向量的模和范数
常见的向量
矩阵
矩阵的基本运算
矩阵的基本运算
常见的矩阵
常见的矩阵
导数
向量导数
导数法则
导数法则
导数法则
常用函数及其导数
常用函数及其导数
深度学习Deep Learning
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
深度学习概念
• 机器学习（Machine Learning，ML）主要是研究如何使计算机从给定的 数据中学习规律，即从观测数据（样本）中寻找规律，并利用学习到的 规律（模型）对未知或无法观测的数据进行预测。目前，主流的机器学 习算法是基于统计的方法，也叫统计机器学习。 • 人工神经网络（Artificial Neural Network ，ANN），也简称神经网络， 是众多机器学习算法中比较接近生物神经网络特性的数学模型。人工神 经网络通过模拟生物神经网络（大脑）的结构和功能，由大量的节点 （或称“神经元”，或“单元”）和之间相互联接构成，可以用来对数 据之间的复杂关系进行建模。
一天搞懂深度学习演示教学ppt课件
= Multi-class Classifier
Softmax
1-2 基本思想
Neural Network
1-2 基本思想
……
……
……
……
……
……
y1
y2
y10
Cross Entropy
“1”
……
1
0
0
……
target
Softmax
……
Given a set of parameters
目标识别
目标分析
图像捕获 图像压缩 图像存储
图像预处理 图像分割
特征提取 目标分类 判断匹配
模型建立 行为识别
2-1 机器视觉
关键技术与应用
A)生物特征识别技术——安全领域应用广泛 生物特征识别技术是一种通过对生物特征识别和检测,对身伤实行鉴定的技术。从 统计意义上讲人类的指纹、虹膜等生理特征存在唯一性，可以作为鉴另用户身份 的依据。目前，生物特征识别技术主要用于身份识别，包括语音、指纹、人脸、 静脉，虹膜识别等。
1958: Perceptron (linear model) 1969: Perceptron has limitation 1980s: Multi-layer perceptron Do not have significant difference from DNN today 1986: Backpropagation Usually more than 3 hidden layers is not helpful 1989: 1 hidden layer is “good enough”, why deep? 2006: RBM initialization 2009: GPU 2011: Start to be popular in speech recognition 2012: win ILSVRC image competition 2015.2: Image recognition surpassing human-level performance 2016.3: Alpha GO beats Lee Sedol 2016.10: Speech recognition system as good as humans
Softmax
1-2 基本思想
Neural Network
1-2 基本思想
……
……
……
……
……
……
y1
y2
y10
Cross Entropy
“1”
……
1
0
0
……
target
Softmax
……
Given a set of parameters
目标识别
目标分析
图像捕获 图像压缩 图像存储
图像预处理 图像分割
特征提取 目标分类 判断匹配
模型建立 行为识别
2-1 机器视觉
关键技术与应用
A)生物特征识别技术——安全领域应用广泛 生物特征识别技术是一种通过对生物特征识别和检测,对身伤实行鉴定的技术。从 统计意义上讲人类的指纹、虹膜等生理特征存在唯一性，可以作为鉴另用户身份 的依据。目前，生物特征识别技术主要用于身份识别，包括语音、指纹、人脸、 静脉，虹膜识别等。
1958: Perceptron (linear model) 1969: Perceptron has limitation 1980s: Multi-layer perceptron Do not have significant difference from DNN today 1986: Backpropagation Usually more than 3 hidden layers is not helpful 1989: 1 hidden layer is “good enough”, why deep? 2006: RBM initialization 2009: GPU 2011: Start to be popular in speech recognition 2012: win ILSVRC image competition 2015.2: Image recognition surpassing human-level performance 2016.3: Alpha GO beats Lee Sedol 2016.10: Speech recognition system as good as humans
深度学习课件-第2讲：深度学习基础
=
1
exp
2 2
1
− 2
2
−
2
由精度参数化（Parametrized by precision）:
; , −1
=
exp
2
1
−
2
−
2
高斯分布
多元高斯分布
由协方差矩阵参数化（Parametrized by covariance
matrix）:
1
exp
(2) det(σ)
摩尔-彭若斯广义逆
+
=
• 方程组解的情况包括:
― 仅有一个解：此时摩尔-彭若斯广义逆矩阵与逆矩阵相
同
― 无解：此时会给出解的最小误差 −
― 多个解：此时会给出范数最小的解
2
迹（Trace）
= ,
矩阵的迹的性质：
+ = +
自信息:
= −log ()
信息熵:
H = ~
= ~ log ()
KL散度:
∥ = ~
= ~ − ()
KL散度是不对称的
∗ = ∥
∗ = ∥
1979 – deep neocognitron, convolution, Fukushima
1987 – autoencoder, Ballard
1989 – convolutional neural networks (CNN), Lecun
1991 – deep recurrent neural networks (RNN), Schmidhuber
深度学习PPT幻灯片
❖ 配套首个深度学习指令集Cambricon(DianNaoYu) ➢ 直接面对大规模神经元和突触的处理 ➢ 一条指令即可完成一组神经元的处理 ➢ 对神经元和突触数据传输提供一系列支持
25
典型神经网络芯片——寒武纪DianNao
❖ 片上存储：芯片内含三块片上存储，用于存储input的NBin、output的 NBout和神经网络模型权重参数的SB；片上存储与片外通过DMA通信
❖ 案例：星光智能一号广泛应用于高清视频监控、智能驾驶辅助、无人机、 机器人等嵌入式机器视觉领域
14
深度学习硬件加速方式——ASIC
❖ 阻碍深度学习发展的瓶颈仍是算法速度 ❖ 传统处理器需要多条指令才能完成一个神经元的处理 ❖ ASIC根据深度学习算法定制：处理效率、能效均最高 ❖ 代表：Cambricon（寒武纪科技）DianNao芯片、谷歌的TPU芯片、
19
典型神经网络芯片——IBM TrueNorth
❖ TrueNorth芯片结构、功能、物理形态图
20
典型神经网络芯片——IBM TrueNorth
❖ 人脑分成三个层次——神经突触、脑功能区和脑皮层 ➢ 每个突触由诸多神经元组成，每个脑功能区由诸多突触组成，一个 能完整执行任务的皮层由诸多个功能区组成
❖ 谷歌TensorFlow占绝对优势
➢ 强大的人工智能研发水平、快速的迭代更新
7
深度学习的开源框架
❖ 谷歌2015年底发布开源深度学习框架TensorFlow
➢ Tensor（张量）：多维数组在高维空间的数学运算 ➢ Flow（流）：基于数据流图的计算 ❖ TensorFlow关键特性 ➢ 代码简洁多语言支持 ➢ 分布式算法执行效率高 ➢ 移值灵活伸缩性好 ➢ 支持多种神经网络算法
25
典型神经网络芯片——寒武纪DianNao
❖ 片上存储：芯片内含三块片上存储，用于存储input的NBin、output的 NBout和神经网络模型权重参数的SB；片上存储与片外通过DMA通信
❖ 案例：星光智能一号广泛应用于高清视频监控、智能驾驶辅助、无人机、 机器人等嵌入式机器视觉领域
14
深度学习硬件加速方式——ASIC
❖ 阻碍深度学习发展的瓶颈仍是算法速度 ❖ 传统处理器需要多条指令才能完成一个神经元的处理 ❖ ASIC根据深度学习算法定制：处理效率、能效均最高 ❖ 代表：Cambricon（寒武纪科技）DianNao芯片、谷歌的TPU芯片、
19
典型神经网络芯片——IBM TrueNorth
❖ TrueNorth芯片结构、功能、物理形态图
20
典型神经网络芯片——IBM TrueNorth
❖ 人脑分成三个层次——神经突触、脑功能区和脑皮层 ➢ 每个突触由诸多神经元组成，每个脑功能区由诸多突触组成，一个 能完整执行任务的皮层由诸多个功能区组成
❖ 谷歌TensorFlow占绝对优势
➢ 强大的人工智能研发水平、快速的迭代更新
7
深度学习的开源框架
❖ 谷歌2015年底发布开源深度学习框架TensorFlow
➢ Tensor（张量）：多维数组在高维空间的数学运算 ➢ Flow（流）：基于数据流图的计算 ❖ TensorFlow关键特性 ➢ 代码简洁多语言支持 ➢ 分布式算法执行效率高 ➢ 移值灵活伸缩性好 ➢ 支持多种神经网络算法
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
人工智能深度讲座
个人简介 人工智能简史 深度学习基本思想 深度学习在各行业的应用 我能学懂深度学习吗？ 培训简介
PART 01 个人简介
PART 2 人工智能简史
孕育时期
公元前384-322 亚里 士多德（Aristotle） 形式逻辑 三段论
A
20世纪40年代，麦卡洛 克和皮茨 神经网络模 型 →连接主义学派
6. 农业上，可以用于发现农作物的病虫害，还可以用来识别哪些地方的环境适合种植
7.利用深度学习，可以将抓拍到的珍稀动物（比如鲸鱼）照片进行分类，从而更好地估算某种动物的存 活数量
深度学习在各个
深度学习的基本思想
深度学习的基本思想
深度学习在各个行业的应用
2. 无人驾驶
3.在医疗领域，可以用于识别癌细胞，发现新药物等
4.金融领域可以用来预测股价，还可以用来识别欺诈。摩根大通利用AI开发了一款金融合同解析软件。 经测试，原先律师和贷款人员每年需要360000小时才能完成的工作，这款软件只需几秒就能完成。而 且，不仅错误率大大降低，重要的是它还从不放假
5. 精准营销，为用户推荐感兴趣的产品广告
如何学习深度学习
1. 要懂得基本的原理，包括前向计算，反向传播的 数学原理 2. 要多写代码练习 3. 要多阅读论文，尤其是引用率比较大的论文 4. 要多和同行进行交流
谢谢！
THANK YOU FOR YOUR WATCHING
1、Genius only means hard-working all one's life. (Mendeleyer, Russian Chemist) 天才只意味着终身不懈的努力。20.8.58.5.202011:0311:03:10Aug-2011:03
B
1997年，IBM研发的 “深蓝”击败了国际象棋
冠军卡斯帕罗夫 D
深度学习的发展历史
1. 神经网络的原创文章发表于1943年，两位作者都是传奇人物，麦卡洛可 （McCulloch）和皮茨（Pitts)，“A Logical Calculus of Ideas Immanent in Nervous Activity”, 发表在《数学生物物理期刊》
A
1969年召开了第一届人 工智能联合会议，此后
每两年举行一次
C
1965年诞生了第一个专家 系统 DENDRAL，可以帮
助化学家分析分子结构
B
1970年，《人工智能》 国际杂志创刊
D
暗淡期(1966 ~ 1976)
过高预言的失败，给AI 的声誉造成了重大伤害
A
出现了很离谱的翻译结果， 把“心有力而余不足”翻译 成“酒是好的，但肉变质了”
图片取自何凯明的ppt
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
PART 3 深度学习在各行业的应用
深度学习在各个行业的应用
1. AlphaGo Zero的提升，让DeepMind看到了利用人工智能技术改变人类命运的突破。他们目前正积极 与英国医疗机构和电力能源部门合作，提高看病效率和能源效率。同时类似的技术应用在其他结构性 问题，比如蛋白质折叠、减少能耗和寻找新材料上，就能创造出有益于社会的突破。
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012:1097-1105.
深度学习的发展历史
2. 1982年，Hopfield模型提出。1984年， J. Hopfield设计研制了 Hopfield网的电路，较好地解决了著名的旅行商问题，引起了较大的轰动。
3. 1986年， Rumelhart, Hinton 提出多层感知机与反向传播(BP) 学习算 法，该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新 的希望。
图片取自lecun的ppt
PART 5 我能学懂深度学习吗？
需要具备的基础知识
● 微积分、线性代数、概率论 ● 基础的编程知识，最好有python基础 ● 良好的英文文献阅读能力
BP网络
卷积
深度学习网络的训练步骤
1. 导入数据
2. 把数据分成多个batch 3. 定义网络的参数，包括神经元的数量，卷积核的大小，学习率，迭代次数等 4. 定义网络结构 5. 初始化网络参数 6. 定义反向传播(主要是梯度下降法，如果用pytorch, tensorflow 等框架，只需 要调用相关函数即可) 7. 把训练数据按batch大小依次送入网络进行训练 8. 保存模型，进行测试
C
下棋程序在与世界冠军 对弈时以1:4告负
B
剑桥大学数学家詹姆士按照英 国政府的旨意发表报告，称AI 即便不是骗局也是庸人自扰
D
发展期(1976 ~ 1998)
MYCIN专家系统，用于 协助内科医生诊断细菌
感染疾病 A
计算机视觉、机器人、 自然语言理解、机器翻 译等取得了长足进步
C
斯坦福大学研制成功地 质勘探专家系统
C
20世纪30年代，数理逻辑、维纳弗雷 治、罗素等为代表对发展数理逻辑学 科的贡献，丘奇、图灵和其它一些人 关于计算本质的思想，为人工智能的 形成产生了重要影响
B
1948年，维纳创立了 控制论，行为主义学派
D
形成时期(1956 ~ 1970)
1956年，在美国的达特茅斯大 学召开了第一次人工智能研讨 会，标志人工智能学科的诞生
促进深度学习发展的2个因素：
1. 计算能力的增强，尤其是 GPU的出现，极大的提升了深 度学习的计算速度
2. 数据的迅猛增加
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
图片取自何凯明的ppt
深度学习的发展历史
图片取自何凯明的ppt
深度学习的发展历史
2、Our destiny offers not only the cup of despair, but the chalice of opportunity. (Richard Nixon, American President )命运给予我们的不是失望之酒，而是机会之杯。二〇二〇年八月五日 2020年8月5日星期三
个人简介 人工智能简史 深度学习基本思想 深度学习在各行业的应用 我能学懂深度学习吗？ 培训简介
PART 01 个人简介
PART 2 人工智能简史
孕育时期
公元前384-322 亚里 士多德（Aristotle） 形式逻辑 三段论
A
20世纪40年代，麦卡洛 克和皮茨 神经网络模 型 →连接主义学派
6. 农业上，可以用于发现农作物的病虫害，还可以用来识别哪些地方的环境适合种植
7.利用深度学习，可以将抓拍到的珍稀动物（比如鲸鱼）照片进行分类，从而更好地估算某种动物的存 活数量
深度学习在各个
深度学习的基本思想
深度学习的基本思想
深度学习在各个行业的应用
2. 无人驾驶
3.在医疗领域，可以用于识别癌细胞，发现新药物等
4.金融领域可以用来预测股价，还可以用来识别欺诈。摩根大通利用AI开发了一款金融合同解析软件。 经测试，原先律师和贷款人员每年需要360000小时才能完成的工作，这款软件只需几秒就能完成。而 且，不仅错误率大大降低，重要的是它还从不放假
5. 精准营销，为用户推荐感兴趣的产品广告
如何学习深度学习
1. 要懂得基本的原理，包括前向计算，反向传播的 数学原理 2. 要多写代码练习 3. 要多阅读论文，尤其是引用率比较大的论文 4. 要多和同行进行交流
谢谢！
THANK YOU FOR YOUR WATCHING
1、Genius only means hard-working all one's life. (Mendeleyer, Russian Chemist) 天才只意味着终身不懈的努力。20.8.58.5.202011:0311:03:10Aug-2011:03
B
1997年，IBM研发的 “深蓝”击败了国际象棋
冠军卡斯帕罗夫 D
深度学习的发展历史
1. 神经网络的原创文章发表于1943年，两位作者都是传奇人物，麦卡洛可 （McCulloch）和皮茨（Pitts)，“A Logical Calculus of Ideas Immanent in Nervous Activity”, 发表在《数学生物物理期刊》
A
1969年召开了第一届人 工智能联合会议，此后
每两年举行一次
C
1965年诞生了第一个专家 系统 DENDRAL，可以帮
助化学家分析分子结构
B
1970年，《人工智能》 国际杂志创刊
D
暗淡期(1966 ~ 1976)
过高预言的失败，给AI 的声誉造成了重大伤害
A
出现了很离谱的翻译结果， 把“心有力而余不足”翻译 成“酒是好的，但肉变质了”
图片取自何凯明的ppt
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
PART 3 深度学习在各行业的应用
深度学习在各个行业的应用
1. AlphaGo Zero的提升，让DeepMind看到了利用人工智能技术改变人类命运的突破。他们目前正积极 与英国医疗机构和电力能源部门合作，提高看病效率和能源效率。同时类似的技术应用在其他结构性 问题，比如蛋白质折叠、减少能耗和寻找新材料上，就能创造出有益于社会的突破。
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012:1097-1105.
深度学习的发展历史
2. 1982年，Hopfield模型提出。1984年， J. Hopfield设计研制了 Hopfield网的电路，较好地解决了著名的旅行商问题，引起了较大的轰动。
3. 1986年， Rumelhart, Hinton 提出多层感知机与反向传播(BP) 学习算 法，该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新 的希望。
图片取自lecun的ppt
PART 5 我能学懂深度学习吗？
需要具备的基础知识
● 微积分、线性代数、概率论 ● 基础的编程知识，最好有python基础 ● 良好的英文文献阅读能力
BP网络
卷积
深度学习网络的训练步骤
1. 导入数据
2. 把数据分成多个batch 3. 定义网络的参数，包括神经元的数量，卷积核的大小，学习率，迭代次数等 4. 定义网络结构 5. 初始化网络参数 6. 定义反向传播(主要是梯度下降法，如果用pytorch, tensorflow 等框架，只需 要调用相关函数即可) 7. 把训练数据按batch大小依次送入网络进行训练 8. 保存模型，进行测试
C
下棋程序在与世界冠军 对弈时以1:4告负
B
剑桥大学数学家詹姆士按照英 国政府的旨意发表报告，称AI 即便不是骗局也是庸人自扰
D
发展期(1976 ~ 1998)
MYCIN专家系统，用于 协助内科医生诊断细菌
感染疾病 A
计算机视觉、机器人、 自然语言理解、机器翻 译等取得了长足进步
C
斯坦福大学研制成功地 质勘探专家系统
C
20世纪30年代，数理逻辑、维纳弗雷 治、罗素等为代表对发展数理逻辑学 科的贡献，丘奇、图灵和其它一些人 关于计算本质的思想，为人工智能的 形成产生了重要影响
B
1948年，维纳创立了 控制论，行为主义学派
D
形成时期(1956 ~ 1970)
1956年，在美国的达特茅斯大 学召开了第一次人工智能研讨 会，标志人工智能学科的诞生
促进深度学习发展的2个因素：
1. 计算能力的增强，尤其是 GPU的出现，极大的提升了深 度学习的计算速度
2. 数据的迅猛增加
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
深度学习的发展历史
图片取自何凯明的ppt
深度学习的发展历史
图片取自何凯明的ppt
深度学习的发展历史
2、Our destiny offers not only the cup of despair, but the chalice of opportunity. (Richard Nixon, American President )命运给予我们的不是失望之酒，而是机会之杯。二〇二〇年八月五日 2020年8月5日星期三