机器学习与深度学习的关系

龙源期刊网

浅谈机器学习与深度学习的概要及应用

作者：宁志豪 周璐雨 陈豪文

来源：《科技风》2019年第15期

摘;要：在20世纪五六十年代，“人工智能”这个术语就早已被正式提出。经历了几十个年代的发展，在AlphaGo击败李世乭时，人工智能（Artificial Intelligence）又受到了学者们的广泛关注和研究，同时机器学习（Machine Learning）和深度学习（deep learning）也相应的被提及到，甚至作为了人工智能其中的一个发展方向去拓展。本文对机器学习和深度学习的概念进行了解释与区分，从实际应用出发阐述了机器学习和深度学习的方向与应用，以及机器学习算法的分类。鉴于没有系统的学习过，可能在许多地方会有出入，还望更多的人能够有自己的思考。

关键词：机器学习;深度学习;算法

1 定义与区分

随着愈来愈多的学者对机器学习领域的深入探索，机器学习这个词的不同解释也出现了很多。其中，Arthur Samuel对机器学习的定义是指在没有明确的设定情况下，使计算机具有学习能力的研究领域。计算机程序从经验E中学习，为了解决某一任务T进行某一性能度量P，通过P测定在T上的表现因经验E而提高，这是Tom Mitchell对机器学习的定义。[1]其实简单来说，它是对数据分布进行建模，然后从大量看似无规律的数据中抽象出共性的模式。而深度学习是机器学习的一个子类，可以把它看作一种特殊的机器学习。深度学习的概念源于人工神经网络的研究。深度学习是机器学习中一种基于对数据进行表征学习的方法，是一种能够模拟出人脑的神经结构的机器学习方法。

先举个例子来区分机器学习和深度学习，比如在识别猫和狗时，机器学习需要人工的将区别猫、狗的一些特征进行提取，而深度学习则自动找出分类问题的特征。因此，对于大量数据，使用深度学习较好，数据量少时，传统机器学习更适用。机器学习在解决问题时需把问题的步骤分解，而深度学习直接得到结果，可以实现实时的效果。当然，深度学习在具备高效能的优点时，它对硬件的要求也很高，尤其对GPU的要求。

机器学习与深度学习问题总结

Part1

深度学习

1、神经网络基础问题

（1）BP，Back-propagation（要能推倒）

后向传播是在求解损失函数L对参数w求导时候用到的方法，目的是通过链式法则对参数进行一层一层的求导。这里重点强调：要将参数进行随机初始化而不是全部置0，否则所有隐层的数值都会与输入相关，这称为对称失效。 大致过程是:

首先前向传导计算出所有节点的激活值和输出值，

计算整体损失函数：

然后针对第L层的每个节点计算出残差（这里是因为UFLDL中说的是残差，本质就是整体损失函数对每一层激活值Z的导数），所以要对W求导只要再乘上激活函数对W的导数即可

（2）梯度消失、梯度爆炸

梯度消失：这本质上是由于激活函数的选择导致的， 最简单的sigmoid函数为例，在函数的两端梯度求导结果非常小（饱和区），导致后向传播过程中由于多次用到激活函数的导数值使得整体的乘积梯度结果变得越来越小，也就出现了梯度消失的现象。

梯度爆炸：同理，出现在激活函数处在激活区，而且权重W过大的情况下。但是梯度爆炸不如梯度消失出现的机会多。 （3）常用的激活函数

（5）解决overfitting的方法

dropout， regularization， batch normalizatin，但是要注意dropout只在训练的时候用，让

机器学习与深度学习的区别

1.机器学习简介

为了实现人工智能，我们会使用机器学习。我们有几种用于机器学习的算法。例如：

 Find-S

 决策树（Decision trees）

 随机森林（Random forests）

 人工神经网络（Artificial Neural Networks）

通常，有3类学习算法：

1. 监督机器学习算法进行预测。此外，该算法在分配给数据点的值标签中搜索模式。

2. 无监督机器学习算法：没有标签与数据关联。并且，这些 ML 算法将数据组成簇。此外，他需要描述其结构，并使复杂的数据看起来简单且能有条理的分析。

3. 增强机器学习算法：我们使用这些算法选择动作。并且，我们能看到它基于每个数据点。一段时间后，算法改变策略来更好地学习。 2.深度学习简介

机器学习只关注解决现实问题。它还需要人工智能的一些想法。机器学习通过旨在模仿人类决策能力的神经网络。ML工具和技术是两个主要的仅关注深度学习的窄子集。我们需要应用它来解决任何需要思考的问题 —— 人类的或人为的。任何深度神经网络都将包含以下三层：

 输入层

 隐藏层

 输出层

我们可以说深度学习是机器学习领域的最新术语。这是实现机器学习的一种方式。

3.深度学习与机器学习

我们用机器算法来解析数据，学习数据，并从中做出理智的判定。根本上讲，深度学习用于创建可自我学习和可理智判定的人工“神经网络”。我们可以说深度学习是机器学习的子领域。 4.机器学习与深度学习对比

4.1.数据依赖

性能是区别二者的最主要之处。当数据量小时，深度学习算法表现不佳。这就是DL算法需要大量的数据才能完美理解的唯一原因。

我们可以看到，人工创立的该场景之下算法占据上风。上图总结了该情况。

4.2.硬件依赖

通常，深度学习依赖于高端设备，而传统学习依赖于低端设备。因此，深度学习要求包含 GPU。这是它工作中不可或缺的一部分。它们还需要进行大量的矩阵乘法运算。

我对⼈⼯智能的理解与看法

⼈⼯智能 研究让计算机具备模拟、延伸和扩展⼈的智能的⼀门技术科学。主要是来源于⼤量的数据来使机器学习能⽐⼈更快的计算出结果,这可能就是我眼中的⼤数据.

或许⼤数据分析出结果,再往上⼀个级别的建模就叫做⼈⼯智能吧!鄙⼈理解尚浅,还请多多指教,⾃学总结笔记不易.机器学习 是利⽤算法或逻辑，在⼤量的数据上进⾏运算（从数据中学习如何完成任务即学习训练的过程），产⽣模型，通过模型对真实事件做出决策和预测。

1.机器学习从⽅法上来分，机器学习算法可以分为监督学习（如分类问题）、⽆监督学习（如聚类问题）、半监督学习。

2.传统的算法包括k-邻近算法、决策树、贝叶斯分类、聚类、⽀持向量机等。

深度学习 是利⽤包含多个隐含层的神经⽹络结构的⼈⼯神经⽹络（深度神经⽹络），通过优化神经元的连接⽅法和激活函数等⽅⾯，来提⾼训练效果，产⽣模型后，通过模型对真实事件作出决策和预测。机器学习与深度学习的关系 机器学习是⼀种实现⼈⼯智能的⽅法。深度学习是⼀种实现机器学习的技术（新算法）。

机器学习与深度学习的对⽐1、应⽤场景：应⽤场景

机器学习在指纹识别、特征物体，检测等领域的应⽤基本达到了商业化的要求。

深度学习主要应⽤于⽂字识别、⼈脸技术、语义分析、智能监控等领域。⽬前在智能硬件、教育、医疗等⾏业也在快速布局。

2、数据依赖性

机器学习能够适应各种数据量，特别是数据量较⼩的场景。在这种情况下，传统的机器学习算法使⽤制定的规则，性能会⽐较好。

深度学习的精准度，需要⼤量的数据来训练，当数据量很少时，深度学习算法的性能并不好。

3、硬件依赖

深度学习算法需要进⾏⼤量的矩阵运算，GPU主要⽤来⾼效优化矩阵运算，所以GPU是深度学习正常⼯作的必须硬件。

机器学习对硬件配置要求相对，深度学习没有那么⾼！

4、训练算法时间

深度学习算法，因为包含有很多参数，需要⼤量时间进⾏训练，完整地训练⼀次可能需要消耗两周的时间或更长时间！