机器学习 深度学习 笔记 (6)

深度学习知识点总结深度学习是一种人工智能（AI）的子领域，它的目标是让计算机系统像人类一样具有分析、理解和解释数据的能力。

通过模拟人脑中神经元的工作原理，深度学习算法可以学习和理解数据中的复杂模式，并进行非常准确的分类和预测。

本文将系统地总结深度学习的基本概念和常见技术，帮助读者全面了解深度学习的核心知识点。

一、基本概念1. 神经网络神经网络是深度学习的基础，它模拟了人脑中神经元之间的连接关系。

一个神经网络由许多神经元组成，并通过神经元之间的连接来传递信息。

通常，神经网络被组织成多个层次，包括输入层、隐藏层和输出层。

每个神经元接收来自上一层神经元的输入，通过加权求和和激活函数的处理后产生输出。

神经网络可以通过训练来学习适应不同的数据模式和特征。

2. 深度学习深度学习是一种使用多层神经网络进行学习的机器学习技术。

与传统的浅层神经网络相比，深度学习能够更好地处理大规模高维度的数据，并学习到更加复杂的特征和模式。

深度学习已经广泛应用在图像识别、语音识别、自然语言处理等领域，取得了显著的成果。

3. 监督学习监督学习是一种常见的机器学习方法，它通过使用有标签的数据样本来训练模型。

在监督学习中，模型通过学习输入和输出之间的关系来进行预测。

常见的监督学习算法包括：神经网络、决策树、支持向量机等。

4. 无监督学习无监督学习是一种不使用标签数据的机器学习方法，它通过学习数据之间的内在结构和模式来进行数据分析和分类。

无监督学习常用的算法包括聚类、关联规则、降维等。

5. 强化学习强化学习是一种通过与环境交互来学习最优决策策略的机器学习方法。

在强化学习中，智能体通过观察环境的反馈和奖励来调整自身的行为，并不断优化决策策略。

强化学习在机器人控制、游戏AI等领域有着广泛应用。

6. 深度学习框架深度学习框架是一种方便开发者进行深度学习模型搭建和训练的软件工具。

常见的深度学习框架包括：TensorFlow、PyTorch、Keras、Caffe等。

sklearn 1.17. Neural network models (supervised)神经网络模型(监督学习)Warning :This implementation is not intended for large-scale applications. In particular, scikit-learn offers no GPU support. For much faster, GPU-based implementations, as well as frameworks offering much more flexibility to build deep learning architectures, see Related Projects.警告:此实现不适用于大规模应用。

特别是scikit-learn 不提供图形处 理器支持。

有关更快、基于GPU 的实现，以及为构建深度学习架构 提供更大灵活性的框架，请参见相关项目。

Deep neural networks etc.深度神经网络pylearn2: A deep learning and neural network library build on theano with scikit-learn like interface.pylearn2: 一个深度学习和神经网络库建立在具有scikit- learn 类接口的theano 之上。

sklearn_theano: scikit-learn compatible estimators, transformers, and datasets which use Theano internallysklearn_theano: sklearn 在内部使用theano 的兼容估计 器、转换器和数据集.nolearn: A number of wrappers and abstractions around existing neural network librariesnolearn:围绕现有神经网络库的许多包装器和抽象keras : Deep Learning library capable of running on top of either TensorFlow or Theano.keras :能够在tensorflow 或thetano 上运行的深度学习库。

机器学习的知识重点机器学习是一门涵盖统计学、人工智能和计算机科学等多个领域的交叉学科，它研究如何设计和开发能够自动学习和改进的算法和模型。

在机器学习中，有一些重要的知识点需要特别关注和掌握。

本文将介绍机器学习的知识重点，帮助读者更好地理解和应用机器学习。

一、数据预处理在机器学习中，数据预处理是一个非常重要的步骤。

它包括数据清洗、特征选择、特征变换和数据集划分等过程。

数据清洗主要是处理缺失值、异常值和重复值等问题，确保数据的质量和完整性。

特征选择是从原始数据中选择最具代表性的特征，以提高模型的性能和泛化能力。

特征变换是将原始数据转化为适合模型输入的形式，如标准化、归一化和离散化等。

数据集划分是将数据集划分为训练集、验证集和测试集，用于模型的训练、调优和评估。

二、监督学习监督学习是机器学习中最常用的一种学习方式，它通过已有的标记数据来训练模型，然后对未知数据进行预测或分类。

在监督学习中，有一些重要的算法需要了解，如线性回归、逻辑回归、决策树、支持向量机和朴素贝叶斯等。

线性回归用于建立连续型变量之间的线性关系模型，逻辑回归用于建立二分类模型，决策树用于建立基于特征划分的分类模型，支持向量机用于建立最优间隔分类模型，朴素贝叶斯用于建立基于贝叶斯定理的分类模型。

三、无监督学习无监督学习是机器学习中另一种常用的学习方式，它通过未标记的数据来学习数据的结构和模式。

在无监督学习中，有一些重要的算法需要了解，如聚类、关联规则和降维等。

聚类是将相似的样本归为一类，不相似的样本归为不同类别，常用的聚类算法有K均值聚类和层次聚类等。

关联规则是挖掘数据集中的频繁项集和关联规则，常用的关联规则算法有Apriori算法和FP-growth算法等。

降维是将高维数据映射到低维空间，常用的降维算法有主成分分析和线性判别分析等。

四、模型评估与选择在机器学习中，模型的评估和选择是非常重要的，它决定了模型的性能和泛化能力。

常用的评估指标有准确率、精确率、召回率、F1值和ROC曲线等。

《机器学习》（周志华）西⽠书读书笔记（完结）⼤部分基础概念知识已经在这篇博客中罗列,因此本⽂仅对感觉重要或不曾了解的知识点做摘记第1章绪论对于⼀个学习算法a,若它在某问题上⽐学习算法b好,则必然存在另⼀些问题,在那⾥b⽐a好.即"没有免费的午餐"定理(No FreeLunch Theorem,NFL).因此要谈论算法的相对优劣,必须要针对具体的学习问题第2章模型评估与选择m次n折交叉验证实际上进⾏了m*n次训练和测试可以⽤F1度量的⼀般形式Fβ来表达对查准率/查全率的偏好:偏差度量了学习算法的期望预测与真实结果的偏离程度,即学习算法本⾝的拟合能⼒,⽅差度量了同样⼤⼩的训练集的变动所导致的学习性能的变化,即数据扰动造成的影响.噪声表达了当前任务上任何学习算法所能达到的期望泛化误差的下界,即学习问题本⾝的难度.第3章线性模型线性判别分析(LDA)是⼀种经典的监督线性降维⽅法:设法将训练样例投影到⼀条直线上,使同类样例的投影点尽可能接近,异类样例的投影点尽可能远离.对新样本分类时根据投影点的位置来确定类别.多分类学习的分类器⼀般有以下三种策略:1. ⼀对⼀(OvO),N个类别产⽣N * (N - 1) / 2种分类器2. ⼀对多(OvR或称OvA),N个类别产⽣N - 1种分类器3. 多对多(MvM),如纠错输出码技术解决类别不平衡问题的三种⽅法:1. 过采样法,增加正例使正负例数⽬接近,如SMOTE:思想是合成新的少数类样本,合成的策略是对每个少数类样本a,从它的最近邻中随机选⼀个样本b,然后在a、b之间的连线上随机选⼀点作为新合成的少数类样本.2. ⽋采样法,减少负例使正负例数⽬接近,如EasyEnsemble:每次从⼤多数类中抽取和少数类数⽬差不多的重新组合,总共构成n个新的训练集,基于每个训练集训练出⼀个AdaBoost分类器（带阈值）,最后结合之前训练分类器结果加权求和减去阈值确定最终分类类别.3. 再缩放法第4章决策树ID3决策树选择信息增益最⼤的属性来划分:1. 信息熵:2. 信息增益:C4.5决策树选择增益率⼤的属性来划分,因为信息增益准则对可取值数⽬较多的属性有所偏好.但增益率会偏好于可取值数⽬较少的属性,因此C4.5算法先找出信息增益⾼于平均⽔平的属性,再从中选择增益率最⾼的.另外,C4.5决策树采⽤⼆分法对连续值进⾏处理,使⽤时将划分阈值t作为参数,选择使信息增益最⼤的t划分属性.采⽤样本权值对缺失值进⾏处理,含有缺失值的样本同时划⼊所有结点中,但相应调整权重.1. 增益率:2. a的固有值:CART决策树则选择基尼指数最⼩的属性来划分,基尼系数反映了从数据集中随机抽取的两个样本类别不⼀致的概率,注意CART是⼆叉树,其余两种都为多叉树.1. 基尼值衡量的纯度:2. 基尼指数:剪枝是决策树对付过拟合的主要⼿段,分为预剪枝和后剪枝.1. 预剪枝对每个结点在划分前先进⾏估计,若该结点的划分不能带来决策树泛化性能提升,则停⽌划分.预剪枝基于"贪⼼"本质,所以有⽋拟合的风险.2. 后剪枝是先⽣成⼀棵完整的决策树,然后⾃底向上对⾮叶结点考察,若该结点替换为叶结点能带来决策树泛化性能提升,则将⼦树替换为叶结点.缺点是时间开销⼤.决策树所形成的分类边界是轴平⾏的,多变量决策树(斜决策树)的每⼀个⾮叶结点都是⼀个线性分类器,因此可以产⽣斜的划分边界.第5章神经⽹络误差逆传播算法(BP算法)是迄今为⽌最成功的神经⽹络学习算法.关键点在于通过计算误差不断逆向调整隐层神经元的连接权和阈值.标准BP算法每次仅针对⼀个训练样例更新,累积BP算法则根据训练集上的累积误差更新.缓解BP神经⽹络过拟合有两种常见策略:1. 早停:若训练集误差降低但验证集误差升⾼则停⽌训练.2. 正则化:在误差⽬标函数中增加⼀个描述⽹络复杂度的部分(较⼩的连接权和阈值将使神经⽹络较为平滑).跳出局部最⼩,寻找全局最⼩的常⽤⽅法:1. 以多组不同参数初始化多个神经⽹络,选择最接近全局最⼩的2. 模拟退⽕3. 随机梯度下降典型的深度学习模型就是很深层的神经⽹络.但是多隐层神经⽹络难以直接⽤经典算法进⾏训练,因为误差在多隐层内逆传播时往往会发散.⽆监督逐层训练(如深层信念⽹络,DBN)和权共享(如卷积神经⽹络,CNN)是常⽤的节省训练开销的策略.第6章⽀持向量机⽀持向量机中的原始样本空间不⼀定存在符合条件的超平⾯,但是如果原始空间是有限维,则总存在⼀个⾼维特征空间使样本线性可分.核函数就是⽤来简化计算⾼维特征空间中的内积的⼀种⽅法.核函数选择是⽀持向量机的最⼤变数.常⽤的核函数有线性核,多项式核,⾼斯核(RBF核),拉普拉斯核,Sigmoid核.对⽂本数据常⽤线性核,情况不明时可先尝试⾼斯核.软间隔是缓解⽀持向量机过拟合的主要⼿段,软间隔允许某些样本不满⾜约束.⽀持向量回归可以容忍预测输出f(x)和真实输出y之间存在ε的偏差,仅当偏差绝对值⼤于ε时才计算损失.⽀持向量机中许多规划问题都使⽤拉格朗⽇对偶算法求解,原因在于改变了算法复杂度.原问题的算法复杂度与样本维度有关,对偶问题的样本复杂度与样本数量有关.如果使⽤了升维的⽅法,则此时样本维度会远⼤于样本数量,在对偶问题下求解会更好.第7章贝叶斯分类基于贝叶斯公式来估计后验概率的困难在于类条件概率是所有属性上的联合概率,难以从有限的训练样本直接估计⽽得.因此朴素贝叶斯分类器采⽤了"属性条件独⽴性假设"来避开这个障碍.朴素贝叶斯分类器中为了避免其他属性携带的信息被训练集中未出现的属性值"抹去",在估计概率值时通常要进⾏"平滑",常⽤拉普拉斯修正.属性条件独⽴性假设在现实中往往很难成⽴,于是半朴素贝叶斯分类器采⽤"独依赖估计(ODE)",即假设每个属性在类别之外最多仅依赖于⼀个其他属性.在此基础上有SPODE,TAN,AODE等算法.贝叶斯⽹⼜称信念⽹,借助有向⽆环图来刻画属性之间的依赖关系,并⽤条件概率表来描述属性的联合概率分布.半朴素贝叶斯分类器是贝叶斯⽹的⼀种特例.EM(Expectation-Maximization)算法是常⽤的估计参数隐变量的⽅法.基本思想是:若参数θ已知,则可根据训练数据推断出最优隐变量Z的值(E);若Z的值已知,则可⽅便地对参数θ做极⼤似然估计(M).第8章集成学习集成学习先产⽣⼀组个体学习器,再⽤某种策略将它们结合起来.如果集成中只包含同种类型的个体学习器则叫同质集成,其中的个体学习器称为基学习器,相应的学习算法称为基学习算法.如果包含不同类型的个体学习器则叫异质集成,其中的学习器常称为组件学习器.要获得好的集成,个体学习器应"好⽽不同".即要有⼀定的准确性,并且要有多样性.⽬前的集成学习⽅法⼤致分为两⼤类:1. 序列化⽅法:个体学习器间存在强依赖关系,必须串⾏⽣成.2. 并⾏化⽅法:个体学习器间不存在强依赖关系,可同时⽣成.Boosting先从初始训练集训练出⼀个基学习器,再根据基学习器的表现对训练样本分布进⾏调整,使做错的训练样本在后续受到更多关注(给予更⼤的权重或重采样).然后基于调整后的样本分布来训练下⼀个基学习器;直到基学习器的数⽬达到指定值T之后,将这T个基学习器加权结合.Boosting主要关注降低偏差,因此能基于泛化性能相当弱的学习器构建出很强的集成.代表算法有AdaBoost.Bagging是并⾏式集成学习⽅法最著名的代表.它基于⾃助采样法,采样出T个含m个训练样本的采样集,基于每个采样集训练出⼀个基学习器,再将这些基学习器进⾏简单结合.在对预测输出进⾏结合时,常对分类任务使⽤投票法,对回归任务使⽤平均法.Bagging主要关注降低⽅差,因此在不剪枝决策树,神经⽹络等易受样本扰动的学习器上效⽤更明显.代表算法有随机森林.随机森林在以决策树为基学习器构建Bagging的基础上,进⼀步引⼊了随机属性选择.即先从属性集合(假定有d个属性)中随机选择⼀个包含k个属性的⼦集,再从这个⼦集中选择⼀个最优属性进⾏划分.当k=d时,基决策树与传统决策树相同.当k=1时,则随机选择⼀个属性⽤于划分.⼀般推荐k=log2d.学习器结合可能会从三个⽅⾯带来好处:1. 统计:可能有多个假设在训练集上达到同等性能,单学习器可能因误选⽽导致泛化性能不佳,结合多个学习器会减⼩这⼀风险.2. 计算:通过多次运⾏之后进⾏结合,降低陷⼊糟糕局部极⼩点的风险.3. 表⽰:结合多个学习器,相应的假设空间有所扩⼤,有可能学得更好的近似.结合策略:1. 平均法:对数值型输出,最常见的策略是平均法.⼀般⽽⾔,在个体学习器性能相差较⼤时使⽤加权平均法,性能相近时使⽤简单平均法.权重⼀般也是从训练数据中学习⽽得.2. 投票法:对分类任务来说,最常见的策略是投票法.⼜可细分为绝对多数投票法,相对多数投票法,加权投票法.绝对多数投票法允许"拒绝预测",若必须提供预测结果则退化为相对多数投票法.若基学习器的类型不同,则类概率值不能直接⽐较,需要将类概率输出转化为类标记输出后再投票.3. 学习法:当训练数据很多时,⼀种更强⼤的策略是通过另⼀个学习器来结合.Stacking是学习法的典型代表.我们把个体学习器称为初级学习器,⽤于结合的学习器称为次级学习器或元学习器.Stacking⽤初级学习器的输出作为样例输⼊特征,⽤初始样本的标记作为样例标记,然后⽤这个新数据集来训练次级学习器.⼀般⽤初级学习器的输出类概率作为次级学习器的输⼊属性,⽤多响应线性回归(Multi-response Linear Regression,MLR)作为次级学习算法效果较好.多样性增强常⽤的⽅法有:数据样本扰动,输⼊属性扰动,输出表⽰扰动,算法参数扰动.第9章聚类聚类既能作为⼀个找寻数据内在分布结构的单独过程,也可以作为其他学习任务的前驱过程.我们希望"物以类聚",也就是聚类结果的"簇内相似度"⾼且"簇间相似度"低.聚类性能度量⼤致有两类.⼀类是将聚类结果与参考模型进⾏⽐较,称为外部指标,常⽤的有JC,FMI,RI;另⼀类是直接考察聚类结果,称为内部指标,常⽤的有DBI,DI.有序属性距离计算最常⽤的是闵可夫斯基距离,当p=2时即欧⽒距离,当p=1时即曼哈顿距离.对⽆序属性可采⽤VDM(Value Difference Metric),将闵可夫斯基距离和VDM结合即可处理混合属性,当不同属性的重要性不同时可使⽤加权距离.我们基于某种形式的距离来定义相似度度量,但是⽤于相似度度量的距离未必⼀定要满⾜距离度量的基本性质,尤其是直递性.在现实任务中有必要通过距离度量学习来基于数据样本确定合适的距离计算式.原型聚类假设聚类结构能通过⼀组原型刻画.通常算法先对原型进⾏初始化,然后对原型进⾏迭代更新求解.常⽤的原型聚类算法有k均值算法,学习向量量化,⾼斯混合聚类.密度聚类假设聚类结构能通过样本分布的紧密程度确定.通常从样本密度的⾓度来考察样本之间的可连接性,并基于可连接样本不断扩展聚类簇.常⽤算法有DBSCAN层次聚类试图在不同层次对数据集进⾏划分,从⽽形成树形的聚类结构.代表算法有AGNES.第10章降维与度量学习懒惰学习在训练阶段只把样本保存起来,训练时间开销为零,待收到测试样本后再进⾏处理,如k近邻学习(kNN).急切学习则在训练阶段就对样本进⾏学习处理.若任意测试样本x附近任意⼩的δ距离范围内总能找到⼀个训练样本,即训练样本的采样密度⾜够⼤,或称为密采样,则最近邻分类器(1NN)的泛化错误率不超过贝叶斯最优分类器的错误率的两倍.在⾼维情形下出现的数据样本稀疏,距离计算困难等问题称为"维数灾难".处理⾼维数据的两⼤主流技术是降维和特征选择.降维亦称维数约简,即通过某种数学变换将原始⾼维属性空间转变为⼀个低维⼦空间.能进⾏降维的原因是与学习任务密切相关的或许仅仅是数据样本的某个低维分布,⽽不是原始⾼维空间的样本点.多维缩放是⼀种经典的降维⽅法.它使原始空间中样本之间的距离在低维空间中得以保持.主成分分析(PCA)是最常⽤的⼀种降维⽅法.如果要⽤⼀个超平⾯对所有样本进⾏恰当的表达,这个超平⾯应该具有最近重构性和最⼤可分性两种性质.基于这两种性质可以得到主成分分析的等价推导.PCA可以使样本的采样密度增⼤,同时在⼀定程度上起到去噪的效果.线性降维⽅法有可能丢失低维结构,因此要引⼊⾮线性降维.⼀种常⽤⽅法是基于核技巧对线性降维⽅法进⾏核化.如核主成分分析(KPCA).流形学习(manifold learning)是⼀类借鉴了拓扑流形概念的降维⽅法.流形在局部具有欧⽒空间性质.将低维流形嵌⼊到⾼维空间中,可以容易地在局部建⽴降维映射关系,再设法将局部映射关系推⼴到全局.常⽤的流形学习⽅法有等度量映射和局部线性嵌⼊等.对⾼维数据进⾏降维的主要⽬的是找到⼀个合适的低维空间.事实上,每个空间对应了在样本属性上定义的⼀个距离度量,度量学习直接尝试学习出⼀个合适的距离度量.常⽤⽅法有近邻成分分析(NCA).第11章特征选择与稀疏学习对当前学习任务有⽤的属性称为相关特征,没什么⽤的属性称为⽆关特征.从给定特征集合中选择出相关特征⼦集的过程称为特征选择.特征选择是⼀个重要的数据预处理过程.冗余特征是指包含的信息可以从其他特征中推演出来的特征.冗余特征在很多时候不起作⽤,但若某个冗余特征恰好对应了完成学习任务所需的中间概念,则该冗余特征反⽽是有益的.⼦集搜索:可以采⽤逐渐增加相关特征的前向搜索,每次在候选⼦集中加⼊⼀个特征,选取最优候选⼦集.也可以采⽤每次去掉⼀个⽆关特征的后向搜索.这些策略是贪⼼的,但是避免了穷举搜索产⽣的计算问题.⼦集评价:特征⼦集A确定了对数据集D的⼀个划分,样本标记信息Y对应着对D的真实划分,通过估算这两个划分的差异就能对A进⾏评价.可采⽤信息熵等⽅法.过滤式选择先对数据集进⾏特征选择,然后再训练学习器,特征选择过程与后续学习器⽆关.Relief(Relevant Features)是⼀种著名的过滤式选择⽅法.该⽅法设计了⼀个相关统计量来度量特征的重要性.包裹式选择直接把最终将要使⽤的学习器的性能作为特征⼦集的评价标准.因此产⽣的最终学习器的性能较好,但训练时的计算开销也更⼤.LVW(Las Vegas Wrapper)是⼀个典型的包裹式特征选择⽅法,它在拉斯维加斯⽅法框架下使⽤随机策略来进⾏⼦集搜索,并以最终分类器的误差为特征⼦集评价准则.嵌⼊式选择是将特征选择过程与学习器训练过程融为⼀体,两者在同⼀个优化过程中完成.例如正则化.L1正则化(Lasso)是指权值向量w中各个元素的绝对值之和.L1正则化趋向选择少量的特征,使其他特征尽可能为0,可以产⽣稀疏权值矩阵,即产⽣⼀个稀疏模型,可以⽤于特征选择.L1正则化是L0正则化的最优凸近似.L2正则化(Ridge)是指权值向量w中各个元素的平⽅和然后再求平⽅根.L2正则化趋向选择更多的特征,让这些特征尽可能接近0,可以防⽌模型过拟合(L1也可以).字典学习也叫稀疏编码,指的是为普通稠密表达的样本找到合适的字典,将样本转化为合适的稀疏表达形式,从⽽使学习任务得以简化,模型复杂度得以降低的过程.压缩感知关注的是利⽤信号本⾝的稀疏性,从部分观测样本中恢复原信号.分为感知测量和重构恢复两个阶段,其中重构恢复⽐较重要.可利⽤矩阵补全等⽅法来解决推荐系统之类的协同过滤(collaborative filtering)任务.由于第⼀次阅读,12章开始的内容仅作概念性了解.第12章计算学习理论计算学习理论研究的是关于通过计算来进⾏学习的理论,⽬的是分析学习任务的困难本质,为学习算法提供理论保证,并提供分析结果指导算法设计.计算学习理论中最基本的是概率近似正确(Probably Approximately Correct,PCA)学习理论.由此可以得到PAC辨识,PAC可学习,PAC学习算法,样本复杂度等概念.有限假设空间的可分情形都是PAC可学习的.对于不可分情形,可以得到不可知PAC可学习的概念,即在假设空间的所有假设中找到最好的⼀个.对⼆分类问题来说,假设空间中的假设对数据集中⽰例赋予标记的每种可能结果称为对数据集的⼀种对分.若假设空间能实现数据集上的所有对分,则称数据集能被假设空间打散.假设空间的VC维是能被假设空间打散的最⼤数据集的⼤⼩.算法的稳定性考察的是算法在输⼊发⽣变化时,输出是否会随之发⽣较⼤的变化.第13章半监督学习主动学习是指先⽤有标记样本训练⼀个模型,通过引⼊额外的专家知识,将部分未标记样本转变为有标记样本,每次都挑出对改善模型性能帮助⼤的样本,从⽽构建出⽐较强的模型.未标记样本虽未直接包含标记信息,但若它们与有标记样本是从同样的数据源独⽴同分布采样⽽来,则它们所包含的关于数据分布的信息对建模⼤有裨益.要利⽤未标记样本,需要有⼀些基本假设,如聚类假设,流形假设.半监督学习可进⼀步划分为纯半监督学习和直推学习.前者假定训练数据中的未标记样本并⾮待预测的数据,⽽后者则假定学习过程中所考虑的未标记样本恰是待预测数据.⽣成式⽅法是直接基于⽣成式模型的⽅法.此类⽅法假设所有数据都是由同⼀个潜在的模型⽣成的.这个假设使得我们能通过潜在模型的参数将未标记数据与学习⽬标联系起来.半监督⽀持向量机(S3VM)是⽀持向量机在半监督学习上的推⼴.S3VM试图找到能将两类有标记样本分开,且穿过数据低密度区域的划分超平⾯.除此之外,还有图半监督学习,基于分歧的⽅法(如协同训练),半监督聚类等学习⽅法.第14章概率图模型机器学习最重要的任务,是根据⼀些已观察到的证据来对感兴趣的未知变量进⾏估计和推测.⽣成式模型考虑联合分布P(Y,R,O),判别式模型考虑条件分布P(Y,R|O).概率图模型是⼀类⽤图来表达变量相关关系的概率模型.若变量间存在显式的因果关系,常使⽤贝叶斯⽹.若变量间存在相关性但难以获取显式的因果关系,常使⽤马尔可夫⽹.隐马尔可夫模型(Hidden Markov Model,HMM)是结构最简单的动态贝叶斯⽹.主要⽤于时序数据建模,在语⾳识别,⾃然语⾔处理等领域有⼴泛应⽤.隐马尔可夫模型中有状态变量(隐变量)和观测变量两组变量.马尔可夫链:系统下⼀时刻的状态仅有当前状态决定,不依赖于以往的任何状态.马尔可夫随机场(Markov Random Field,MRF)是典型的马尔可夫⽹.每⼀个结点表⽰⼀个或⼀组变量,结点之间的边表⽰两个变量之间的依赖关系.条件随机场是判别式模型,可看作给定观测值的马尔可夫随机场.概率图模型的推断⽅法⼤致分为两类.第⼀类是精确推断,代表性⽅法有变量消去和信念传播.第⼆类是近似推断,可⼤致分为采样(如MCMC采样)和使⽤确定性近似完成近似推断(如变分推断).第15章规则学习规则学习是指从训练数据中学习出⼀组能⽤于对未见⽰例进⾏判别的规则.规则学习具有较好的可解释性,能使⽤户直观地对判别过程有所了解.规则学习的⽬标是产⽣⼀个能覆盖尽可能多的样例的规则集,最直接的做法是序贯覆盖,即逐条归纳:每学到⼀条规则,就将该规则覆盖的训练样例去除.常采⽤⾃顶向下的⽣成-测试法.规则学习缓解过拟合的常见做法是剪枝,例如CN2,REP,IREP等算法.著名的规则学习算法RIPPER就是将剪枝与后处理优化相结合.命题规则难以处理对象之间的关系,因此要⽤⼀阶逻辑表⽰,并且要使⽤⼀阶规则学习.它能更容易地引⼊领域知识.著名算法有FOIL(First-Order Inductive Learner)等.第16章强化学习强化学习的⽬的是要找到能使长期累积奖赏最⼤化的策略.在某种意义上可看作具有"延迟标记信息"的监督学习问题.每个动作的奖赏值往往来⾃于⼀个概率分布,因此强化学习会⾯临"探索-利⽤窘境",因此要在探索和利⽤中达成较好的折中.ε-贪⼼法在每次尝试时以ε的概率进⾏探索,以均匀概率随机选取⼀个动作.以1-ε的概率进⾏利⽤,选择当前平均奖赏最⾼的动作.Softmax算法则以较⾼的概率选取平均奖赏较⾼的动作.强化学习任务对应的马尔可夫决策过程四元组已知的情形称为模型已知.在已知模型的环境中学习称为"有模型学习".反之称为"免模型学习".从⼈类专家的决策过程范例中学习的过程称为模仿学习.。

[鱼书笔记]深度学习⼊门：基于Python的理论与实现个⼈笔记分享为了完成毕设, 最近开始⼊门深度学习.在此和⼤家分享⼀下本⼈阅读鱼书时的笔记,若有遗漏,欢迎斧正!若转载请注明出处!⼀、感知机感知机(perceptron)接收多个输⼊信号，输出⼀个信号。

如图感知机，其接受两个输⼊信号。

其中θ为阈值，超过阈值神经元就会被激活。

感知机的局限性在于，它只能表⽰由⼀条直线分割的空间，即线性空间。

多层感知机可以实现复杂功能。

⼆、神经⽹络神经⽹络由三部分组成：输⼊层、隐藏层、输出层1. 激活函数激活函数将输⼊信号的总和转换为输出信号，相当于对计算结果进⾏简单筛选和处理。

如图所⽰的激活函数为阶跃函数。

1) sigmoid 函数sigmoid函数是常⽤的神经⽹络激活函数。

其公式为：h(x)=11+e−x如图所⽰，其输出值在 0到 1 之间。

2) ReLU 函数ReLU(Rectified Linear Unit)函数是最近常⽤的激活函数。

3) tanh 函数2. 三层神经⽹络的实现该神经⽹络包括：输⼊层、2 个隐藏层和输出层。

def forward(network, x): # x为输⼊数据# 第1个隐藏层的处理，点乘加上偏置后传⾄激活函数a1 = np.dot(x, W1) + b1z1 = sigmoid(a1)# 第2个隐藏层的处理a2 = np.dot(z1, W2) + b2z2 = sigmoid(a2)#输出层处理 identidy_function原模原样输出a3a3 = np.dot(z2, W3) + b3y = identify_function(a3)return y # y为最终结果3. 输出层激活函数⼀般来说，回归问题选择恒等函数，分类问题选择softmax函数。

softmax函数的公式：y k=e a k ∑n i=1e a i假设输出层有n个神经元，计算第k个神经元的输出y k。

吴恩达机器学习系列课程--个⼈笔记第⼀周⼀、引⾔1.1 欢迎1.2 机器学习是什么1.3 监督学习1.4 ⽆监督学习⼆、单变量线性回归2.1 模型表⽰2.2 代价函数2.3 代价函数的直观理解 I2.4 代价函数的直观理解 II2.5 梯度下降2.6 梯度下降的直观理解2.7 梯度下降的线性回归2.8 接下来的内容三、线性代数回顾3.1 矩阵和向量3.2 加法和标量乘法3.3 矩阵向量乘法3.4 矩阵乘法3-5 矩阵乘法特征（1）矩阵乘法不适⽤交换律（2）矩阵乘法满⾜结合律（3）单位矩阵是对⾓线（a11，a22，a33...）都等于1的矩阵3-6 逆和转置（1）逆矩阵只有m*m的矩阵有逆矩阵I是单位矩阵（2）转置aij的矩阵，变成aji第2周四、多变量线性回归4-1 多功能当⽤多个参数预测房价时，需使⽤多元线性回归，向量表⽰为：4-2 多元梯度下降法4-3 梯度下降法实践 1-特征缩放4-4 梯度下降法实践 2-学习率4-5 特征和多项式回归4-6 正规⽅程4-7 正规⽅程及不可逆性（可选）五、Octave教程5-1 基本操作~= 表⽰逻辑不等于5-2 移动数据5-3 计算数据5-4 数据绘制5-5 控制语句：for while if 语句5-6 ⽮量（没太看懂）第三周六、逻辑回归6-1 分类逻辑回归算法（logistics regression）——逻辑回归算法是个分类算法，它适⽤于y值取离散值得情况。

⼆元分类（0，1分类）6-2 假设陈述6-3 决策界限6-4 代价函数6-5 简化代价函数与梯度下降6-6 ⾼级优化学完本章需要实现：写⼀个函数，它能返回代价函数值、梯度值，因此要把这个应⽤到逻辑回归或者甚⾄线性回归中，你也可以把这些优化算法⽤于线性回归，你需要做的就是输⼊合适的代码来计算这⾥的这些东西。

6-7 多元分类——⼀对多y值是多个分类值七、正则化7-1 过拟合问题什么是过拟合正则化7-2 代价函数7-3 线性回归的正则化7-4 逻辑回归的正则化---------------------------------------⽬前⼤家对机器学习算法可能还只是略懂，但是⼀旦你精通了线性回归、⾼级优化算法和正则化技术，坦率地说，你对机器学习的理解可能已经⽐许多⼯程师深⼊了。

简介： (2)主要特点： (2)scikit-learn安装：（ubuntu版本14.04.1） (2)Classification (2)1.监督学习 (2)1.1广义线性模型： (2)1.2 支持向量机 (9)1.3 随机梯度下降 (10)1.4 最近邻 (10)1.5 Gaussian Processes (15)1.6 Cross decomposition (16)1.7 Naive Bayes (16)1.8 Decision Trees (17)1.9 Ensemble methods (20)1.10 Multiclass and multilabel algorithms (25)1.11 Feature selection (26)1.14 Isotonic regression (29)2 (29)2.3 Clustering (29)2.5 Decomposing signals in components (matrix factorization problems) (32)3.Model selection and evaluation (32)3.1 Cross-validation: evaluating estimator performance (32)3.2 Grid Search: Searching for estimator parameters (36)3.3 Pipeline: chaining estimators (37)3.4 FeatureUnion: Combining feature extractors (38)3.5. Model evaluation: quantifying the quality of predictions (38)3.6. Model persistence (42)3.7. Validation curves: plotting scores to evaluate models (43)4 (44)4.2 Preprocessing data (44)4.4 Random Projection (49)简介：scikit-learn是一个用于机器学习的Python模块，建立在SciPy基础之上。

《人工智能概论》课程笔记第一章人工智能概述1.1 人工智能的概念人工智能（Artificial Intelligence，简称AI）是指使计算机具有智能行为的技术。

智能行为包括视觉、听觉、语言、学习、推理等多种能力。

人工智能的研究目标是让计算机能够模拟人类智能的某些方面，从而实现自主感知、自主决策和自主行动。

人工智能的研究领域非常广泛，包括机器学习、计算机视觉、自然语言处理、知识表示与推理等。

1.2 人工智能的产生与发展人工智能的概念最早可以追溯到上世纪50 年代。

1950 年，Alan Turing 发表了著名的论文《计算机器与智能》，提出了“图灵测试”来衡量计算机是否具有智能。

1956 年，在达特茅斯会议上，John McCarthy 等人首次提出了“人工智能”这个术语，并确立了人工智能作为一个独立的研究领域。

人工智能的发展可以分为几个阶段：（1）推理期（1956-1969）：主要研究基于逻辑的符号操作和自动推理。

代表性成果包括逻辑推理、专家系统等。

（2）知识期（1970-1980）：研究重点转向知识表示和知识工程，出现了专家系统。

代表性成果包括产生式系统、框架等。

（3）机器学习期（1980-1990）：机器学习成为人工智能的重要分支，研究如何让计算机从数据中学习。

代表性成果包括决策树、神经网络等。

（4）深度学习期（2006-至今）：深度学习技术的出现，推动了计算机视觉、自然语言处理等领域的发展。

代表性成果包括卷积神经网络、循环神经网络等。

1.3 人工智能的三大学派人工智能的研究可以分为三大学派：（1）符号主义学派：认为智能行为的基础是符号操作和逻辑推理。

符号主义学派的研究方法包括逻辑推理、知识表示、专家系统等。

（2）连接主义学派：认为智能行为的基础是神经网络和机器学习。

连接主义学派的研究方法包括人工神经网络、深度学习、强化学习等。

（3）行为主义学派：认为智能行为的基础是感知和行动。

行为主义学派的研究方法包括遗传算法、蚁群算法、粒子群算法等。

吴恩达机器学课程笔记吴恩达Andrew Ng是人工智能领域的著名学者，他在Coursera上开设了一门叫做《机器学习》的课程，成为了世界各地很多学生学习机器学习知识的入门必修课程，在学习机器学习方面有重要的作用。

下面我将给大家分享一些我在学习这门课程期间的笔记和体验。

笔记这门课程教授了很多机器学习的基础知识和应用，包括线性回归、逻辑回归、神经网络、支持向量机、聚类等等。

我把这些知识点都记录在笔记本里，以便以后温习。

其中，我学的比较深入的有神经网络部分。

在课程视频中，吴恩达讲解了神经网络的原理、编程细节，以及如何使用神经网络来解决实际问题。

学习过程中我还发现机器学习包括很多数学和统计学知识，例如线性代数和概率论等等。

所以我也把这些基础知识记录在笔记本里进行复习。

体验通过学习这门课程，我感觉到自己的编程能力和机器学习知识都得到了很大的提高。

因为这门课程全程使用的是Matlab语言，而Matlab一直以来被广泛应用于科学计算中，特别是在数学分析和科学实验中。

在这门课程的内容比较复杂和有难度的情况下，吴恩达讲师的授课很亲切、易懂、讲解深入浅出，让人在学习中感到很放松。

他讲解的案例都基于真实的数据集，通过实例让学生更好的了解机器学习中的各个概念和方法。

总的来说，这门课程对于初学者来说是非常友好、易于理解的。

同时，这门课程也有相应的练习和课程作业，帮助学生锻炼实际操作能力，这也是学习的一大收获。

嘀嘀咕咕通过学习这门课程，我也认识了很多同行的朋友，跟他们交流讨论，收获很多。

课程在线上，学生只需要一个稳定的网络连接，通过视频播放就可以完整地学习知识。

得益于这个课程的普及度，机器学习也正慢慢地被认为是一个非常有前途的领域，目前也已广泛应用于许多行业和领域。

因此，这门课程也可以说是一个被广泛评价和认可的课程，在人工智能领域具有很高的参考价值。

结语笔者学完《机器学习》课程后受益匪浅。

这不仅仅在于知识的学习，还包括人脉和职业发展的机会。

深度学习笔记（3）神经⽹络，学习率，激活函数，损失函数神经⽹络（NN）的复杂度空间复杂度：计算神经⽹络的层数时只统计有运算能⼒的层，输⼊层仅仅起到将数据传输进来的作⽤，没有涉及到运算，所以统计神经⽹络层数时不算输⼊层输⼊层和输出层之间所有层都叫做隐藏层层数 = 隐藏层的层数 + 1个输出层总参数个数 = 总w个数 + 总b个数时间复杂度：乘加运算次数学习率以及参数的更新：w t+1=w t−lr∗∂loss ∂w t指数衰减学习率的选择及设置可以先⽤较⼤的学习率，快速得到较优解，然后逐步减⼩学习率，使模型在训练后期稳定。

指数衰减学习率 = 初始学习率 * 学习率衰减率（当前轮数 / 多少轮衰减⼀次）指数衰减学习率=初始学习率∗学习率衰减率当前轮数多少轮衰减⼀次#学习率衰减import tensorflow as tfw = tf.Variable(tf.constant(5, dtype=tf.float32))epoch = 40LR_BASE = 0.2LR_DECAY = 0.99LR_STEP = 1for epoch in range(epoch):lr = LR_BASE * LR_DECAY**(epoch / LR_STEP)with tf.GradientTape() as tape:loss = tf.square(w + 1)grads = tape.gradient(loss, w)w.assign_sub(lr * grads)print("After %2s epoch,\tw is %f,\tloss is %f\tlr is %f" % (epoch, w.numpy(), loss,lr)) After 0 epoch, w is 2.600000, loss is 36.000000 lr is 0.200000After 1 epoch, w is 1.174400, loss is 12.959999 lr is 0.198000After 2 epoch, w is 0.321948, loss is 4.728015 lr is 0.196020After 3 epoch, w is -0.191126, loss is 1.747547 lr is 0.194060After 4 epoch, w is -0.501926, loss is 0.654277 lr is 0.192119After 5 epoch, w is -0.691392, loss is 0.248077 lr is 0.190198After 6 epoch, w is -0.807611, loss is 0.095239 lr is 0.188296After 7 epoch, w is -0.879339, loss is 0.037014 lr is 0.186413After 8 epoch, w is -0.923874, loss is 0.014559 lr is 0.184549After 9 epoch, w is -0.951691, loss is 0.005795 lr is 0.182703After 10 epoch, w is -0.969167, loss is 0.002334 lr is 0.180876After 11 epoch, w is -0.980209, loss is 0.000951 lr is 0.179068After 12 epoch, w is -0.987226, loss is 0.000392 lr is 0.177277After 13 epoch, w is -0.991710, loss is 0.000163 lr is 0.175504After 14 epoch, w is -0.994591, loss is 0.000069 lr is 0.173749After 15 epoch, w is -0.996452, loss is 0.000029 lr is 0.172012After 16 epoch, w is -0.997660, loss is 0.000013 lr is 0.170292After 17 epoch, w is -0.998449, loss is 0.000005 lr is 0.168589After 19 epoch, w is -0.999308, loss is 0.000001 lr is 0.165234After 20 epoch, w is -0.999535, loss is 0.000000 lr is 0.163581After 21 epoch, w is -0.999685, loss is 0.000000 lr is 0.161946After 22 epoch, w is -0.999786, loss is 0.000000 lr is 0.160326After 23 epoch, w is -0.999854, loss is 0.000000 lr is 0.158723After 24 epoch, w is -0.999900, loss is 0.000000 lr is 0.157136After 25 epoch, w is -0.999931, loss is 0.000000 lr is 0.155564After 26 epoch, w is -0.999952, loss is 0.000000 lr is 0.154009After 27 epoch, w is -0.999967, loss is 0.000000 lr is 0.152469After 28 epoch, w is -0.999977, loss is 0.000000 lr is 0.150944After 29 epoch, w is -0.999984, loss is 0.000000 lr is 0.149434After 30 epoch, w is -0.999989, loss is 0.000000 lr is 0.147940After 31 epoch, w is -0.999992, loss is 0.000000 lr is 0.146461After 32 epoch, w is -0.999994, loss is 0.000000 lr is 0.144996After 33 epoch, w is -0.999996, loss is 0.000000 lr is 0.143546After 34 epoch, w is -0.999997, loss is 0.000000 lr is 0.142111After 35 epoch, w is -0.999998, loss is 0.000000 lr is 0.140690After 36 epoch, w is -0.999999, loss is 0.000000 lr is 0.139283After 37 epoch, w is -0.999999, loss is 0.000000 lr is 0.137890After 38 epoch, w is -0.999999, loss is 0.000000 lr is 0.136511After 39 epoch, w is -0.999999, loss is 0.000000 lr is 0.135146激活函数sigmoid 函数tf.nn. sigmoid(x)f (x )=11+e−x图像：相当于对输⼊进⾏了归⼀化多层神经⽹络更新参数时，需要从输出层往输⼊层⽅向逐层进⾏链式求导，⽽sigmoid 函数的导数输出是0到0.25之间的⼩数，链式求导时，多层导数连续相乘会出现多个0到0.25之间的值连续相乘，结果将趋近于0，产⽣梯度消失，使得参数⽆法继续更新且sigmoid 函数存在幂运算，计算⽐较复杂tanh 函数tf.math. tanh(x)f (x )=1−e −2x1+e−2x图像：和上⾯提到的sigmoid 函数⼀样，同样存在梯度消失和幂运算复杂的缺点Relu 函数tf.nn.relu(x)f (x )=max (x ,0)=0(x <0)时或者x (x >=0)时图像：Relu 函数在正区间内解决了梯度消失的问题，使⽤时只需要判断输⼊是否⼤于0，计算速度快训练参数时的收敛速度要快于sigmoid 函数和tanh 函数输出⾮0均值，收敛慢Dead RelU 问题：送⼊激活函数的输⼊特征是负数时，激活函数输出是0，反向传播得到的梯度是0，致使参数⽆法更新，某些神经元可能永远不会被激活。

Deep Learning（深度学习）学习笔记整理系列目录：一、概述二、背景三、人脑视觉机理四、关于特征4.1、特征表示的粒度4.2、初级（浅层）特征表示4.3、结构性特征表示4.4、需要有多少个特征？五、Deep Learning的基本思想六、浅层学习（Shallow Learning）和深度学习（Deep Learning）七、Deep learning与Neural Network八、Deep learning训练过程8.1、传统神经网络的训练方法8.2、deep learning训练过程九、Deep Learning的常用模型或者方法9.1、AutoEncoder自动编码器9.2、Sparse Coding稀疏编码9.3、Restricted Boltzmann Machine(RBM)限制波尔兹曼机9.4、Deep BeliefNetworks深信度网络9.5、Convolutional Neural Networks卷积神经网络十、总结与展望十一、参考文献和Deep Learning学习资源接上注：下面的两个Deep Learning方法说明需要完善，但为了保证文章的连续性和完整性，先贴一些上来，后面再修改好了。

9.3、Restricted Boltzmann Machine (RBM)限制波尔兹曼机假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v)，一层是隐藏层(h)，如果假设所有的节点都是随机二值变量节点（只能取0或者1值），同时假设全概率分布p(v,h)满足Boltzmann 分布，我们称这个模型是Restricted BoltzmannMachine (RBM)。

下面我们来看看为什么它是Deep Learning方法。

首先，这个模型因为是二部图，所以在已知v的情况下，所有的隐藏节点之间是条件独立的（因为节点之间不存在连接），即p(h|v)=p(h1|v)…p(h n|v)。

机器学习基础知识解析机器学习是一个十分热门的研究方向，也是计算机科学中的重要领域之一。

在实践中，机器学习被广泛应用于图像处理、语音识别、自然语言处理、医学诊断等领域。

在本文中，我们将会介绍机器学习的基础知识，并分别从数据集、算法和模型这三个方面进行解析。

数据集数据集是机器学习算法的重要基础。

在数据集中，数据被分为输入与输出两部分，其中输入被称为特征，输出被称为标签。

对于给定的一个数据集，我们的目标是通过训练一个机器学习算法，预测出未知的标签。

为了训练机器学习算法，我们需要将数据集分成两部分：训练集和测试集。

训练集用于训练机器学习算法，而测试集则用于验证算法的准确性。

在数据集的选择和准备中，我们需要注意以下几点：1、数据集的大小：数据集的大小应足够大，以便机器学习算法能够充分学习数据集中的特征。

2、数据集的质量：数据集应尽可能地去除噪声和异常值，以免对机器学习算法造成不良影响。

3、数据集的分布：数据集应与现实生活中的情况相对应，以便对机器学习算法进行实际应用。

算法算法是解决机器学习问题的核心，同时也是机器学习中的一大挑战。

机器学习算法可以分为监督学习、无监督学习和强化学习三种。

1、监督学习：监督学习的目标是从已知的输入和输出中预测未知输出。

在监督学习中，我们需要通过训练集中的标签来训练机器学习模型，从而使模型能够在测试集上预测未知输出。

2、无监督学习：无监督学习的目标是从没有标签的数据中提取出数据的特征。

在无监督学习中，我们需要通过聚类、降维等方法将数据分成不同的类别，从而对数据进行处理。

3、强化学习：强化学习的目标是让机器学习算法通过与环境交互来学习最优策略。

在强化学习中，我们需要通过给予机器学习算法奖励或惩罚的方式，使其选择最佳策略。

模型模型是机器学习算法的体现。

在机器学习中，模型用于将输入数据映射成输出数据。

根据不同的数据类型和处理方式，机器学习模型可以分为神经网络模型、决策树模型、SVM模型、聚类模型等多种类型。

《深度学习理论及实战》读书随笔一、深度学习概述在我研读《深度学习理论及实战》这本书的过程中，对深度学习的理解有了更加清晰全面的认识。

深度学习是一种机器学习的方法，它的核心是构建复杂的神经网络结构来模拟人脑的学习过程。

它不同于传统的机器学习方法，更多地侧重于对原始数据的复杂性和非线性的表征学习。

深度学习模型能够从大量的数据中自动提取有用的特征，进而实现对复杂数据的精准建模和预测。

这种强大的能力使得深度学习在语音识别、图像识别、自然语言处理等领域取得了巨大的成功。

在深度学习的世界里，神经网络扮演着至关重要的角色。

这些网络结构通常由大量的神经元组成，通过训练过程调整神经元之间的连接权重，使得网络能够从输入数据中学习并生成有效的输出。

随着技术的发展，深度学习的网络结构日趋复杂，如卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GAN）等，这些网络结构的应用极大地推动了深度学习在各个领域的突破和发展。

深度学习的成功离不开大数据的支持，随着数据量的增长，深度学习模型能够学习到更多的数据特征和规律，从而提高预测的准确性。

计算力的提升也为深度学习的快速发展提供了可能，通过强大的计算设备，我们能够训练更大规模的神经网络，实现更复杂的任务。

深度学习的应用前景十分广阔，不仅在计算机视觉、自然语言处理等领域取得了显著的成果，而且在医疗、金融、自动驾驶等新兴领域也展现出了巨大的潜力。

随着技术的不断进步和研究的深入，深度学习的未来将更加广阔。

深度学习是一种强大的机器学习技术，它通过构建复杂的神经网络结构来模拟人脑的学习过程，具有强大的数据表征能力和预测能力。

它的应用领域广泛，前景广阔。

在我后续的阅读和实践中，我将更深入地探索深度学习的原理、方法和应用，以期在这个领域取得更多的收获和进步。

1.1 定义及基本概念随着信息技术的飞速发展，深度学习（Deep Learning）作为机器学习的一个子领域，逐渐崭露头角。

实习生入职考核练习题库姓名：________ 部门：________ 成绩：________1.「人工智能」、「深度学习」、「机器学习」的范畴大小排序，下列哪个是正确的？A.人工智能>深度学习>机器学习B.深度学习>人工智能>机器学习C.人工智能>机器学习>深度学习D.深度学习>机器学习>人工智能E.机器学习>深度学习>人工智能F.机器学习>人工智能>深度学习2.以下哪个描述是机器学习所用的「训练集」？A.该数据集的作用是用来拟合模型，通过设置分类器的参数，训练分类模型。

后续结合验证集作用时，会选出同一参数的不同取值，拟合出多个分类器。

简单粗暴理解：该数据集是「练习题」，是让机器学会相关知识。

B.得出最优模型后，使用该数据集进行模型预测。

用来衡量该最优模型的性能和分类能力。

即可以把该测试集当做从来不存在的数据集，当已经确定模型参数后，使用该测试集进行模型性能评价。

为了保证测试结果准确，该测试集的标注正确率要求更高。

简单粗暴理解：该测试集就是「高考」，最终检验算法能力的，该测试集最好是真实的业务数据。

C.当训练出多个模型后，为了能找出效果最佳的模型，使用各个模型对该测试集数据进行预测，并记录模型准确率。

选出效果最佳的模型所对应的参数，即用来调整模型参数。

如svm中的参数c和核函数等。

简单粗暴理解：该测试集是「摸底水平考试」，是用于了解算法在各方面的表现，以便后续继续提升。

3.以下哪个描述是机器学习所用的「测试集」？A.该数据集的作用是用来拟合模型，通过设置分类器的参数，训练分类模型。

后续结合验证集作用时，会选出同一参数的不同取值，拟合出多个分类器。

简单粗暴理解：该数据集是「练习题」，是让机器学会相关知识。

B.得出最优模型后，使用该数据集进行模型预测。

用来衡量该最优模型的性能和分类能力。

即可以把该测试集当做从来不存在的数据集，当已经确定模型参数后，使用该测试集进行模型性能评价。

目录[1] Deep learning简介[2] Deep Learning训练过程[3] CNN卷积神经网络推导和实现[4] CNN的反向求导及练习[5] CNN卷积神经网络（一）深度解析CNN[6] CNN卷积神经网络（二）文字识别系统LeNet-5[7] CNN卷积神经网络（三）CNN常见问题总结[1] Deep learning简介一、什么是Deep Learning？实际生活中，人们为了解决一个问题，如对象的分类（对象可是是文档、图像等），首先必须做的事情是如何来表达一个对象，即必须抽取一些特征来表示一个对象，如文本的处理中，常常用词集合来表示一个文档，或把文档表示在向量空间中（称为VSM 模型），然后才能提出不同的分类算法来进行分类；又如在图像处理中，我们可以用像素集合来表示一个图像，后来人们提出了新的特征表示，如SIFT，这种特征在很多图像处理的应用中表现非常良好，特征选取得好坏对最终结果的影响非常巨大。

因此，选取什么特征对于解决一个实际问题非常的重要。

然而，手工地选取特征是一件非常费力、启发式的方法，能不能选取好很大程度上靠经验和运气；既然手工选取特征不太好，那么能不能自动地学习一些特征呢？答案是能！Deep Learning就是用来干这个事情的，看它的一个别名Unsupervised Feature Learning，就可以顾名思义了，Unsupervised的意思就是不要人参与特征的选取过程。

因此，自动地学习特征的方法，统称为Deep Learning。

二、Deep Learning的基本思想假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为：I =>S1=>S2=>…..=>Sn => O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失（呵呵，大牛说，这是不可能的。

信息论中有个“信息逐层丢失”的说法（信息处理不等式），设处理a信息得到b，再对b处理得到c，那么可以证明：a和c的互信息不会超过a和b的互信息。

深度学习题库1. 什么是深度学习？深度学习是一种机器学习的方法，通过模拟人脑神经网络的结构和工作原理，从大规模数据中学习并构建模型，以解决一些复杂的问题。

深度学习的核心思想是通过多层神经网络进行特征提取和抽象，从而实现对数据的高级表征和模式识别。

2. 深度学习与传统机器学习的区别是什么？深度学习与传统机器学习相比具有以下几个不同之处：•特征提取：传统机器学习通常需要手动设计或选择特征，而深度学习能够自动学习特征，避免了人工特征工程的复杂性。

•模型复杂度：深度学习模型通常由很多层神经网络组成，参数量较大，而传统机器学习模型的复杂度相对较低。

•数据需求：深度学习通常需要大量的标记数据进行训练，而传统机器学习对数据的需求相对较小。

•计算资源：深度学习模型需要大量的计算资源进行训练，而传统机器学习在计算资源上要求相对较低。

3. 什么是神经网络？神经网络是一类机器学习模型，它模拟了生物神经元网络的工作原理。

神经网络由大量的神经元和它们之间的连接组成。

每个神经元接收来自其他神经元的输入，并通过某些函数将输入转换为输出。

4. 简要描述卷积神经网络的原理。

卷积神经网络（Convolutional Neural Network，CNN）是一种广泛应用于计算机视觉领域的神经网络。

它通过卷积层和池化层不断提取图像的特征，并利用全连接层进行分类或回归。

卷积层通过滑动卷积核对输入数据进行卷积运算，生成特征图。

卷积核对局部感知野的数据进行特征提取，从而捕捉图像的局部特征。

池化层用于减少特征图的空间尺寸，并保留特征图的主要信息。

常用的池化操作包括最大值池化和平均值池化。

5. 什么是循环神经网络（Recurrent Neural Network，RNN）？循环神经网络是一种能够处理序列数据的神经网络。

与前馈神经网络不同，RNN在处理每个时间步的输入时还会考虑前面的信息。

RNN通过循环连接在时间上进行信息传递，这种循环结构使得网络能够对序列中的任意位置的信息进行处理。

机器学习公式详解
机器学习公式指的是应用于机器学习的函数、模型和算法的数学表达式，用于解决机器学习问题。

它们可以使机器学习项目从理论到实践顺利运行。

以下是机器学习中常用的几个公式：
1.线性回归：y=wx+b
线性回归用于预测连续值问题。

其中W和b分别代表系数和偏移量，即权重和偏置，它们可以通过调整参数让拟合线更好。

2.Logistic回归：sigmoid(wx+b)
Logistic回归也称之为逻辑斯蒂回归，用于解决分类问题。

sigmoid函数用于将任意实数转换为0~1之间的概率值，即把线性回归的输出（wx+b）映射为0~1之间的概率值，用于代表某一个特征属于某一特定类别的可能性。

3.Softmax回归： softmax(WX+B)
softmax回归是多分类问题中常用的模型，用于将线性回归模型的输出转换成每一类的概率。

它的公式与sigmoid函数非常类似，但是它的输出的结果满足概率的加和性质。

4.朴素贝叶斯： P(c|x) = P(c) * P(x|c) / P(x)
朴素贝叶斯模型用于进行分类问题，它是基于贝叶斯定理以及特殊情形下独立性假设。

其中P(c|x)表示特征x属于类别c的概率，P(c)表示类别c的先验概率，P(x|c)表示特征x在类别c的条件下的概率，P(x)表示特征x的概率。

当计算出特征x属于不同类别的概率时，可以比较各自的概率大小，从而预测其最可能的类别。

以上就是机器学习公式的几个典型范例，机器学习也有很多不同的公式，可以根据实际情况来找到最合适的模型和公式。