深度学习Deep Learning
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
深度学习概念
• 机器学习(Machine Learning,ML)主要是研究如何使计算机从给定的 数据中学习规律,即从观测数据(样本)中寻找规律,并利用学习到的 规律(模型)对未知或无法观测的数据进行预测。目前,主流的机器学 习算法是基于统计的方法,也叫统计机器学习。 • 人工神经网络(Artificial Neural Network ,ANN),也简称神经网络, 是众多机器学习算法中比较接近生物神经网络特性的数学模型。人工神 经网络通过模拟生物神经网络(大脑)的结构和功能,由大量的节点 (或称“神经元”,或“单元”)和之间相互联接构成,可以用来对数 据之间的复杂关系进行建模。
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
向量
向量的模和范数
常见的向量
矩阵
矩阵的基本运算
矩阵的基本运算
导数法则
导数法则
导数法则
常用函数及其导数
常用函数及其导数
深度学习历史
• • • • • • • • 1958 年Rosenblatt 感知器 1969 年Minsky XOR 1986 年Hinton、LeCun 人工神经网络(BP算法) 1998 年LeCun 卷积神经网络 2006 Hinton在DBN中提出了一种逐层预训练方法, 解决了梯度弥散问题 2008 Vincent等提出了降噪自编码器 2011 Rafir等提出了收缩自编码器 2012 微软研究员建立深度神经网络–隐马尔科夫混合模型, 在语音识别领域取得 突