下载文档原格式
第一章深度学习概念1.1 机器学习的定义（machine Learning ML ）：机器学习是涉及多门复杂理论的学科，包括了概率统计、数值分析、算法复杂理论等多门学科。
是专门研究计算机怎样模拟人类行为，以人类行为研究来赋予机器独自拥有自主学习和思考的技术方法，使机器拥有自己组织已有的知识架构，使自身性能不断完善的技术理论。
1.2 深度学习：源于人工神经网络的研究，含多隐层的多层感知就是一种深度学习的结构，深度学习通过组合底层特征形成的更加抽象的高层属性类别或特征，一发现数据分布式特征表示。
1.4 深度学习、机器学习、AI 之间的关系如右图示1-1所示。
1.5 一个事实和一个道理：事实：这几年深度学习的发展并不完全得益于机器学习理论研究的新突破，主要是因为支撑理论的外部条件有了很大的提升。
道理：机器学习理论十年没有本质的变化，从某种意义上来说是一种好事，说明这个思维框架经得住时间的考验，也就是说他有被学习的价值。
1.6 描述意见事物可以多角度，是一对多的映射过程，机器学习得懂如何去观察一个对机器深度学习AI图示1-1象的特征，懂得不同角度对同一事物做不同的描述（看事物的方法千千万，就看你是从那个角度去看待这个问题）。
1.7 被计算机使用的描述信息，这个信息在机器学习中一般被称作特征（Feature）。
1.8 特征描述举例中文词语的编码（One Hot编码）One Hot Endcoding：假设有N个词语待编码方法：1、建立N维空间；2、确定词语之间的距离；（有排列组合相关知识知道，N个不同的词语间有N N种组合方式，即可以映射到N维空间中去，在N维空间中的每个单元存放1和0两种状态，和真假对应）1.9 同一件事物可以从不同的细致程度被描述。
1.10 机器模型雏形：获得特征模型期望结果【注：其中模型相当于数学中的函数；】绝大多数的机器学习都遵循这个模式，拥有输入和输出，剩下的工作就是确定这个中间的映射，也就是这个模型。
深度学习基础总结（附完整思维导图）来源：Python与算法社区本文为读者详细总结了深度学习的基础知识。
1 线型回归预测气温、预测销售额、预测商品价格等模型：权重，偏差模型训练：feed 数据学习模型参数值，使得误差尽可能小训练集、测试集、验证集、样本、标签、特征损失函数：回归常用平方误差函数；优化算法：小批量随机梯度下降（每次选一小批样本训练参数），每批样本大小叫做 batch size学习率：正数超参数：不是通过训练学出的，如学习率，批量大小网络输出层只有一个神经元节点全连接层：输出层中的神经元和输入层中各个输入完全连接基本要素：模型、训练数据、损失函数和优化算法2 softmax 回归图像分类、垃圾邮件识别、交易诈骗识别、恶意软件识别等softmax运算符将输出值变换成值为正，且和为1的概率分布交叉熵损失函数：更适合衡量两个概率分布差异softmax 回归是一个单层神经网络，输出个数等于类别个数3 多层神经网络激活函数：一种非线性函数ReLU函数：只保留正数元素，负数元素清零sigmoid函数：将元素值变换到0到1tanh(双曲正切)：元素值变换到-1到14 模型选择模型在训练集上更准确时，不代表在测试集上就一定准确训练误差：训练数据集上表现出的误差；泛化误差：模型在测试集上表现的误差期望机器学习需要关注降低泛化误差模型选择：评估若干候选模型的表现并从中选择模型候选模型可以是有着不同超参数的同类模型验证集：预留训练和测试集之外的数据；折交叉验证：训练集分成份，共次轮询训练集欠拟合：模型无法得到较低的训练误差过拟合：模型的训练误差远小于测试集上的误差模型复杂度：低，容易欠拟合；高，容易过拟合数据集大小：训练样本少，尤其少于学习参数数时，容易过拟合；层数多时尽量数据大些5 必知技巧过拟合解决措施之一：权重衰减，常用L2正则L2惩罚系数越大，惩罚项在损失函数中比重就越大丢弃法(dropout)：一定概率丢弃神经元正向传播：沿着输入层到输出层的顺序，依次计算并存储模型的中间变量反向传播：从输出层到输入层参数调整过程训练深度学习模型时，正向传播和反向传播间相互依赖数值稳定性的问题：衰减和爆炸层数较多时容易暴露，如每层都是一个神经元的30层网络，如果权重参数为0.2，会出现衰减；如果权重参数为2，会出现爆炸权重参数初始化方法：正态分布的随机初始化；Xavier 随机初始化。
Python深度学习02：神经网络的数学基础2.1 初始神经网络MNIST数据集：手写数字的灰度图像（28 像素×28 像素），包含 60 000 张训练图像和 10 000 张测试图像。
类：分类问题中的某个类别叫作类（class）样本：数据点叫作样本（sample）标签：某个样本对应的类叫作标签（label）损失函数（loss function）：网络如何衡量在训练数据上的性能，即网络如何朝着正确的方向前进。
优化器（optimizer）：基于训练数据和损失函数来更新网络的机制。
在训练和测试过程中需要监控的指标（metric）：本例只关心精度，即正确分类的图像所占的比例使用 Keras 库，加载数据集，代码如下：1 from keras.datasets import mnist2 from keras import models3 from keras import layers4 from keras.utils import to_categorical56 # 加载 Keras 中的 MNIST 数据集7 (train_images, train_labels), (test_images, test_labels) = mnist.load_data()89 #标签10 train_labels = to_categorical(train_labels)11 test_labels = to_categorical(test_labels)1213 #准备图像数据14 train_images = train_images.reshape((60000, 28 * 28))15 train_images = train_images.astype('float32') / 25516 test_images = test_images.reshape((10000, 28 * 28))17 test_images = test_images.astype('float32') / 2551819 #构建网络模型20 network = models.Sequential()21 network.add(layers.Dense(512, activation='relu', input_shape=(28 * 28,)))22 network.add(layers.Dense(10, activation='softmax'))2324 #编译的三个参数25 pile(optimizer='rmsprop',26 loss='categorical_crossentropy',27 metrics=['accuracy'])2829 #拟合模型30 network.fit(train_images, train_labels, epochs=5, batch_size=128)3132 #查看测试集性能33 test_loss, test_acc = network.evaluate(test_images, test_labels)2.2 神经网络的数据表示张量：当前所有机器学习系统都使用张量作为基本数据结构，张量的维度（dimension）通常叫作轴（axis）。
深度学习的数学基础微积分o无穷小在17世纪下半叶，数学史上出现了无穷小的概念，而后发展处极限的概念o极限o数列的极限o函数的极限导数微分积分o不定积分也称为原函数或反导数o定积分o定积分中值定理牛顿-莱布尼茨公式偏导数概率统计样本空间定义：随机试验E 的所有结果构成的集合称为E 的样本空间，记为S={e} 称S 中的元素e 为样本点，一个元素的单点集称为基本事件．概率条件概率/后验概率P（A|B）边缘概率/先验概率A的边缘概率表示为P（A）,B的边缘概率表示为P（B）联合概率全概率公式贝叶斯公式随机变量离散型随机变量对离散随机变量用求和得全概率定义(0-1)分布/两点分布/伯努利分布二项分布泊松分布(Poisson分布)连续型随机变量对连续随机变量用积分得全概率概率分布函数F(x)概率密度函数f(x)均匀分布X~U（a，b）指数分布正态分布/高斯分布是研究误差分布的一个理论期望离散型随机变量的期望连续型随机变量的期望方差(Variance)一个随机变量的方差（Variance ）描述的是它的离散程度，也就是该变量离其期望值的距离标准差(Standard Deviation)方差的算术平方根称为该随机变量的标准差。
样本标准差协方差相关系数(Correlation coefficient)协方差矩阵主成分分析(PCA)在统计学中被称为主成分分析(principal components analysis ，简称PCA) ，在图像处理中称为Karhunen-Loève 变换(KL- 变换) 。
大数定律大数定律负责给出估计——期望中心极限定理中心极限定理负责给出大数定律的估计的误差——标准差乘以标准正态分布大量相互独立的随机变量，其均值（或者和）的分布以正态分布为极限（意思就是当满足某些条件的时候，比如Sample Size 比较大，采样次数区域无穷大的时候，就越接近正态分布）。
而这个定理amazing 的地方在于，无论是什么分布的随机变量，都满足这个定理。
深度学习入门数学基础之线性代数篇线性代数的概念对理解机器学习背后的理论至关重要，特别是对于深度学习。
它让你更直观地了解算法如何在真正的工作环境下工作，从而使你能够做出更好的决策。
所以如果你真的想成为这个领域的专业人士，你就不会掌握它的一些概念。
本文将介绍线性代数最重要的概念，这些概念用于机器学习。
线性代数是一种连续的数学形式，它在整个科学和工程中得到应用，因为它允许你对自然现象建模并有效计算它们。
因为它是一种连续的而不是离散的数学形式，很多计算机科学家并没有太多的经验。
线性代数也是数学几乎所有领域的核心，如几何和功能分析。
它的概念是理解机器学习背后的理论的一个重要先决条件，尤其是在你使用深度学习算法的情况下。
在开始使用机器学习之前，你不需要了解线性代数，但是在某些时候，希望更好地理解不同的机器学习算法如何真正在底层工作。
这将有助于你在机器学习系统的开发过程中做出更好的决策。
所以如果你真的想成为这个领域的专业人士，那么你不会掌握对机器学习很重要的零件线性代数。
在线性代数中，数据由线性方程表示，以矩阵和向量的形式表示。
因此，你主要处理的是矩阵和向量，而不是标量（我们将在下一节介绍这些术语）。
如果你的建议中有像Numpy这样的正确库，则只需几行代码即可轻松计算复杂的矩阵乘法。
这篇文章会忽略对机器学习不重要的线性代数的概念。
数学对象标量标量只是一个单一的数字。
例如24。
向量向量是一个有序的数字数组，可以在一行或一列中。
它只有一个索引，可以指向矢量中的特定值。
例如，V2代表向量的第二个值，在上面的黄色图片中为“-8”。
矩阵矩阵是一个有序的二维数组，它有两个索引。
第一个指向该行，第二个指向该列。
例如，M23表示第二行和第三列的值，在上面的黄色图片中为“8”。
矩阵可以有多个行和列。
请注意，向量也是一个矩阵，但只有一行或一列。
在黄色图片的例子中的矩阵也是2×3维的矩阵（行*列）。
下面你可以看到矩阵的另一个例子及其符号：张量张量是一组数字，排列在一个规则的网格上，具有不同数量的轴。
文章主题：探究深度学习中的deepsort与yolov5涉及的数学公式1. 深度学习算法的数学基础深度学习在计算机视觉领域扮演着越来越重要的角色，其中deepsort 和yolov5作为两种经典的算法，在目标跟踪和目标检测领域具有广泛的应用。
要详细探究deepsort和yolov5，首先需要了解它们涉及的数学公式和原理。
2. 目标跟踪算法deepsort在深度学习算法中，目标跟踪是一个重要的课题，而deepsort算法作为一种端到端的目标跟踪算法，在多目标跟踪方面表现出色。
其核心思想是结合深度学习网络和卡尔曼滤波器，以实现对目标的持续跟踪。
在深入探讨deepsort算法之前，首先需要了解其涉及的数学公式，如深度学习网络的损失函数、卡尔曼滤波器的状态转移方程和观测方程等。
3. 目标检测算法yolov5yolov5作为一个快速高效的目标检测算法，其性能出色，并在实时目标检测领域有着广泛的应用。
要深入理解yolov5算法，需要深入研究其中涉及的数学公式和原理。
yolov5的目标检测损失函数、边界框回归的计算方法等，都是需要重点关注的数学细节。
4. 个人观点和总结了解深度学习算法中涉及的数学公式对于理解算法原理和优化算法性能至关重要。
在学习和应用deepsort和yolov5算法时，不仅需要熟悉其代码实现，更需要深入理解其中的数学原理。
只有通过深入的数学探索，才能真正掌握并灵活运用这些算法。
总结而言，通过全面评估deepsort和yolov5涉及的数学公式和原理，可以更好地理解这两种算法的优势和局限性，从而更好地应用于实际项目中。
写手：(在普通文本中进行以上内容的撰写)（文章总字数大于3000字）文章的完成内容将以非Markdown格式的普通文本呈现。
文章将详细解释关于深度学习算法的数学公式，帮助读者更深入地理解deepsort 和yolov5算法的原理和性能。
文章将以从简到繁的方式探讨主题，包含有关deepsort和yolov5算法的数学公式，以及个人观点和总结性内容。
