第2章 深度学习的数学基础
- 格式:pptx
- 大小:6.35 MB
- 文档页数:41
小学数学深度学习心得体会小学数学深度学习心得体会一、前言随着科学技术的不断发展,深度学习已逐渐成为人工智能领域的热门话题。
深度学习通过建立多层的神经网络模型,让计算机可以像人类一样进行自主学习和解决问题。
数学作为深度学习的基石,给予了深度学习强大的力量。
本文将结合小学数学的学习经验,探讨数学与深度学习的关系,并总结深度学习对我的影响和启示。
二、数学是深度学习的基础1. 数学的基本概念和方法在学习数学的过程中,我们学习了很多基本概念和方法,如数字、加减乘除、分数、小数等。
这些基本概念和方法为我们理解和运用深度学习提供了坚实的基础。
比如,在深度学习中,我们经常需要对数据进行计算和运算,而加减乘除等数学方法则可以帮助我们准确和快速地完成这些操作。
2. 数学的逻辑思维和推理能力数学的学习过程,培养了我们的逻辑思维和推理能力。
深度学习同样需要我们具备良好的逻辑思维和推理能力,只有这样才能高效地分析和处理大量的数据。
举个例子,当我们在深度学习中遇到问题时,需要根据现有的数据和信息进行推理和分析,找出解决问题的方法和路径。
这就需要我们基于数学的推理能力,解决问题并取得最优结果。
3. 数学的抽象思维和模型构建能力数学的学习过程,也提高了我们的抽象思维和模型构建能力。
在数学中,我们经常遇到需要抽象和建立模型的问题,比如在解决应用题时,我们需要将实际问题抽象为数学模型进行求解。
同样,在深度学习中,我们需要将现实生活中的问题抽象为数学模型,并通过建立神经网络模型进行求解。
数学的抽象思维和模型构建能力对于深度学习的学习和应用都非常重要。
三、深度学习对我的影响和启示1. 提高解决问题的能力深度学习的学习过程中,我们需要根据现实问题进行建模和求解。
这一过程提高了我解决问题的能力,使我能够更加灵活地运用数学知识和方法,快速找到解决问题的路径和方法。
深度学习的思维方式也让我从多角度去思考和解决问题,培养了我的创新思维和解决问题的能力。
第一章深度学习概念1.1 机器学习的定义(machine Learning ML ):机器学习是涉及多门复杂理论的学科,包括了概率统计、数值分析、算法复杂理论等多门学科。
是专门研究计算机怎样模拟人类行为,以人类行为研究来赋予机器独自拥有自主学习和思考的技术方法,使机器拥有自己组织已有的知识架构,使自身性能不断完善的技术理论。
1.2 深度学习:源于人工神经网络的研究,含多隐层的多层感知就是一种深度学习的结构,深度学习通过组合底层特征形成的更加抽象的高层属性类别或特征,一发现数据分布式特征表示。
1.4 深度学习、机器学习、AI 之间的关系如右图示1-1所示。
1.5 一个事实和一个道理:事实:这几年深度学习的发展并不完全得益于机器学习理论研究的新突破,主要是因为支撑理论的外部条件有了很大的提升。
道理:机器学习理论十年没有本质的变化,从某种意义上来说是一种好事,说明这个思维框架经得住时间的考验,也就是说他有被学习的价值。
1.6 描述意见事物可以多角度,是一对多的映射过程,机器学习得懂如何去观察一个对机器深度学习AI图示1-1象的特征,懂得不同角度对同一事物做不同的描述(看事物的方法千千万,就看你是从那个角度去看待这个问题)。
1.7 被计算机使用的描述信息,这个信息在机器学习中一般被称作特征(Feature)。
1.8 特征描述举例中文词语的编码(One Hot编码)One Hot Endcoding:假设有N个词语待编码方法:1、建立N维空间;2、确定词语之间的距离;(有排列组合相关知识知道,N个不同的词语间有N N种组合方式,即可以映射到N维空间中去,在N维空间中的每个单元存放1和0两种状态,和真假对应)1.9 同一件事物可以从不同的细致程度被描述。
1.10 机器模型雏形:获得特征模型期望结果【注:其中模型相当于数学中的函数;】绝大多数的机器学习都遵循这个模式,拥有输入和输出,剩下的工作就是确定这个中间的映射,也就是这个模型。
Python深度学习02:神经网络的数学基础2.1 初始神经网络MNIST数据集:手写数字的灰度图像(28 像素×28 像素),包含 60 000 张训练图像和 10 000 张测试图像。
类:分类问题中的某个类别叫作类(class)样本:数据点叫作样本(sample)标签:某个样本对应的类叫作标签(label)损失函数(loss function):网络如何衡量在训练数据上的性能,即网络如何朝着正确的方向前进。
优化器(optimizer):基于训练数据和损失函数来更新网络的机制。
在训练和测试过程中需要监控的指标(metric):本例只关心精度,即正确分类的图像所占的比例使用 Keras 库,加载数据集,代码如下:1 from keras.datasets import mnist2 from keras import models3 from keras import layers4 from keras.utils import to_categorical56 # 加载 Keras 中的 MNIST 数据集7 (train_images, train_labels), (test_images, test_labels) = mnist.load_data()89 #标签10 train_labels = to_categorical(train_labels)11 test_labels = to_categorical(test_labels)1213 #准备图像数据14 train_images = train_images.reshape((60000, 28 * 28))15 train_images = train_images.astype('float32') / 25516 test_images = test_images.reshape((10000, 28 * 28))17 test_images = test_images.astype('float32') / 2551819 #构建网络模型20 network = models.Sequential()21 network.add(layers.Dense(512, activation='relu', input_shape=(28 * 28,)))22 network.add(layers.Dense(10, activation='softmax'))2324 #编译的三个参数25 pile(optimizer='rmsprop',26 loss='categorical_crossentropy',27 metrics=['accuracy'])2829 #拟合模型30 network.fit(train_images, train_labels, epochs=5, batch_size=128)3132 #查看测试集性能33 test_loss, test_acc = network.evaluate(test_images, test_labels)2.2 神经网络的数据表示张量:当前所有机器学习系统都使用张量作为基本数据结构,张量的维度(dimension)通常叫作轴(axis)。
深度学习的数学基础1.线性代数:标量、向量、矩阵和张量一、标量、向量、矩阵与张量1. 标量(scalar)•一个标量就是一个单独的数。
标量用斜体表示。
•标量通常使用小写变量名称。
在介绍标量时,会明确它是哪种类型的数,如:•定义实数标量时,可能会说:“令s ∈ R 表示一条线的斜率”;•在定义自然数标量时,可能会说“令n ∈ N ”表示元素的数目。
2. 向量(vector)•一个向量是一列数,这些数是有序排列的。
向量中的元素可以用x1这样来表示。
3. 行列式行列式在数学中,是一个函数,其定义域为det的矩阵A,取值为一个标量,写作det(A)或 | A | 。
无论是在线性代数、多项式理论,还是在微积分学中(比如说换元积分法中),行列式作为基本的数学工具,都有着重要的应用。
行列式可以看做是有向面积或体积的概念在一般的欧几里得空间中的推广。
或者说,在n 维欧几里得空间中,行列式描述的是一个线性变换对'体积'所造成的影响。
4. 矩阵(matrix)5. 张量(tensor)二、一些运算1. 转置(transpose)转置是以对角线为轴的矩阵的镜像,从左上到右下称为主对角线(main diagonal)。
公式定义为:向量可以看作只有一列的矩阵,对应地,向量的转置可以看作只有一行的矩阵。
标量的转置等于自身。
2. 矩阵运算矩阵可以进行加法、乘法计算。
深度学习中,允许矩阵和向量相加:3. 矩阵乘法两个矩阵的标准乘积不是两个矩阵中对应元素的乘积。
两个矩阵 A A A 和 B B B 的矩阵乘积(matrix product)是第三个矩阵 C C C 。
为了使乘法可被定义,矩阵 A A A的列数和矩阵 B B B的行数相等。
如果矩阵 A A A的形状是 m ∗ n m*n m∗n,矩阵 B B B 的形状是 m ∗ p m*p m∗p ,我们可以通过将两个或多个矩阵并列放置以书写矩阵乘法。
例如:具体地,该乘法操作定义为示例:元素对应乘积(Hadamard乘积)如果是元素对应乘积(element-wise product)或者Hadamard 乘积,记为 : [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6oVQitIc-1607997146629)(/api/rest_v1/media/math/render/svg/c341d3106d2763836b 32f992b74e73f4cef0d24d)]点积矩阵乘法分配律矩阵乘积结合律矩阵乘积并不满足交换律,然而两个向量的点积满足交换律:矩阵乘积的转置有着简单的形式:4. 单位矩阵(identity matrix)从形式上看,单位矩阵所有沿对角线的元素都是1,而其它位置的所有元素都是0.如:5. 逆矩阵6. 求解 A x = b三、使用Python Numpy进行一些矩阵定义1. 矩阵定义与矩阵形状import numpy as np# 创建一维的narray对象 a = np.array([1,2,3,4,5])# 创建二维的narray对象a2 = np.array([[1,2,3,4,5],[6,7,8,9,10]])print(a)print(a2)# 打印a2的形状print(a2.shape)# 行数print(a2.shape[0])# 列数print(a2.shape[1]) 输出结果:2. 矩阵的截取import numpy as npa = np.array([[1,2,3,4,5],[6,7,8,9,10]])# 截取第一行,返回 [[1 2 3 4 5]]print(a[0:1]) # 截取第二行,第三到六列,返回[8 9 10]print(a[1,2:5]) # 截取第二行,返回[ 6 7 8 9 10]print(a[1,:])3. 按条件截取import numpy as npa = np.array([[1,2,3,4,5],[6,7,8,9,10]])# 截取矩阵a中大于6的元素,范围的是一维数组返回[ 7 8 9 10]b = a[a>6] print(b) # 通过布尔语句生成一个布尔矩阵(其次将布尔矩阵传入[](方括号)实现上面截取运算)print(a>6)4. 条件截取后赋值import numpy as npa = np.array([[1,2,3,4,5],[6,7,8,9,10]])print(a)a[a>6] = 0print(a)5. 矩阵合并import numpy as npa1 = np.array([[1,2],[3,4]])a2 = np.array([[5,6],[7,8]])#参数传入时要以列表list或元组tuple的形式传入# 横向合并print(np.hstack([a1,a2])) # 或np.concatenate( (a1,a2), axis=1 )# 纵向合并print(np.vstack((a1,a2))) # 或 np.concatenate( (a1,a2), axis=0 ) 6. 通过函数创建矩阵arange 递增矩阵import numpy as npa = np.arange(10) # 默认从0开始到10(不包括10),步长为1print(a) # 返回 [0 1 2 3 4 5 6 7 8 9]a1 = np.arange(5,10) # 从5开始到10(不包括10),步长为1print(a1) # 返回 [5 6 7 8 9]a2 = np.arange(5,20,2) # 从5开始到20(不包括20),步长为2print(a2) # 返回 [ 5 7 9 11 13 15 17 19]linspace 等差数列import numpy as npa = np.linspace(0,10,7) # 生成首位是0,末位是10,含7个数的等差数列print(a)logspace 等比数列import numpy as npa = np.logspace(0,2,5) # 生成首位是10^0,末位是10^2,含5个数的等比数列print(a)其它特殊矩阵•ones 全1矩阵•zeros 全0矩阵•eye 单位矩阵•empty 全空矩阵(未初始化值状态,值不可预测)•fromstring 从字符串转ndarray对象•fromfunction 通过函数生成矩阵元素,可指定每个元素的生成算法四、Python Numpy里一些矩阵运算1. 基础运算运算符说明+矩阵对应元素相加-矩阵对应元素相减*矩阵对应元素相乘/矩阵对应元素相除,如果都是整数则取商%矩阵对应元素相除后取余数**矩阵每个元素都取n次方,如**2:每个元素都取平方示例:import numpy as npa1 = np.array([[4,5,6],[1,2,3]])a2 = np.array([[6,5,4],[3,2,1]])print(a1+a2) # 相加print(a1/a2) # 整数相除取商print(a1%a2) # 相除取余数2. 一些运算函数•np.sin(a) 每个元素取正弦•np.cos(a) 每个元素取余弦•np.tan(a) 每个元素取正切•np.arcsin(a) 每个元素取反正弦•np.arccos(a) 每个元素取反余弦•np.arctan(a) 每个元素取反正切•np.exp(a) 每个元素取指数函数, e x e^x ex•np.sqrt(a) 每个元素开根号√x3. 矩阵乘法(点乘) dotimport numpy as npa1 = np.array([[1,2,3],[4,5,6]]) # a1为2*3矩阵a2 = np.array([[1,2],[3,4],[5,6]]) # a2为3*2矩阵print(a1.shape[1]==a2.shape[0]) # True, 满足矩阵乘法条件,即第一个矩阵的列数等于第二个矩阵的行数print(a1.dot(a2)) print(a2.dot(a1))可以看到点乘不满足乘法交换率。
深度学习入门数学基础之线性代数篇线性代数的概念对理解机器学习背后的理论至关重要,特别是对于深度学习。
它让你更直观地了解算法如何在真正的工作环境下工作,从而使你能够做出更好的决策。
所以如果你真的想成为这个领域的专业人士,你就不会掌握它的一些概念。
本文将介绍线性代数最重要的概念,这些概念用于机器学习。
线性代数是一种连续的数学形式,它在整个科学和工程中得到应用,因为它允许你对自然现象建模并有效计算它们。
因为它是一种连续的而不是离散的数学形式,很多计算机科学家并没有太多的经验。
线性代数也是数学几乎所有领域的核心,如几何和功能分析。
它的概念是理解机器学习背后的理论的一个重要先决条件,尤其是在你使用深度学习算法的情况下。
在开始使用机器学习之前,你不需要了解线性代数,但是在某些时候,希望更好地理解不同的机器学习算法如何真正在底层工作。
这将有助于你在机器学习系统的开发过程中做出更好的决策。
所以如果你真的想成为这个领域的专业人士,那么你不会掌握对机器学习很重要的零件线性代数。
在线性代数中,数据由线性方程表示,以矩阵和向量的形式表示。
因此,你主要处理的是矩阵和向量,而不是标量(我们将在下一节介绍这些术语)。
如果你的建议中有像Numpy这样的正确库,则只需几行代码即可轻松计算复杂的矩阵乘法。
这篇文章会忽略对机器学习不重要的线性代数的概念。
数学对象标量标量只是一个单一的数字。
例如24。
向量向量是一个有序的数字数组,可以在一行或一列中。
它只有一个索引,可以指向矢量中的特定值。
例如,V2代表向量的第二个值,在上面的黄色图片中为“-8”。
矩阵矩阵是一个有序的二维数组,它有两个索引。
第一个指向该行,第二个指向该列。
例如,M23表示第二行和第三列的值,在上面的黄色图片中为“8”。
矩阵可以有多个行和列。
请注意,向量也是一个矩阵,但只有一行或一列。
在黄色图片的例子中的矩阵也是2×3维的矩阵(行*列)。
下面你可以看到矩阵的另一个例子及其符号:张量张量是一组数字,排列在一个规则的网格上,具有不同数量的轴。
文章主题:探究深度学习中的deepsort与yolov5涉及的数学公式1. 深度学习算法的数学基础深度学习在计算机视觉领域扮演着越来越重要的角色,其中deepsort 和yolov5作为两种经典的算法,在目标跟踪和目标检测领域具有广泛的应用。
要详细探究deepsort和yolov5,首先需要了解它们涉及的数学公式和原理。
2. 目标跟踪算法deepsort在深度学习算法中,目标跟踪是一个重要的课题,而deepsort算法作为一种端到端的目标跟踪算法,在多目标跟踪方面表现出色。
其核心思想是结合深度学习网络和卡尔曼滤波器,以实现对目标的持续跟踪。
在深入探讨deepsort算法之前,首先需要了解其涉及的数学公式,如深度学习网络的损失函数、卡尔曼滤波器的状态转移方程和观测方程等。
3. 目标检测算法yolov5yolov5作为一个快速高效的目标检测算法,其性能出色,并在实时目标检测领域有着广泛的应用。
要深入理解yolov5算法,需要深入研究其中涉及的数学公式和原理。
yolov5的目标检测损失函数、边界框回归的计算方法等,都是需要重点关注的数学细节。
4. 个人观点和总结了解深度学习算法中涉及的数学公式对于理解算法原理和优化算法性能至关重要。
在学习和应用deepsort和yolov5算法时,不仅需要熟悉其代码实现,更需要深入理解其中的数学原理。
只有通过深入的数学探索,才能真正掌握并灵活运用这些算法。
总结而言,通过全面评估deepsort和yolov5涉及的数学公式和原理,可以更好地理解这两种算法的优势和局限性,从而更好地应用于实际项目中。
写手:(在普通文本中进行以上内容的撰写)(文章总字数大于3000字)文章的完成内容将以非Markdown格式的普通文本呈现。
文章将详细解释关于深度学习算法的数学公式,帮助读者更深入地理解deepsort 和yolov5算法的原理和性能。
文章将以从简到繁的方式探讨主题,包含有关deepsort和yolov5算法的数学公式,以及个人观点和总结性内容。