LL正则化

L1和L2正则化L1正则化与稀疏性稀疏性说⽩了就是模型的很多参数是0。

这相当于对模型进⾏了⼀次特征选择，只留下⼀些⽐较重要的特征，提⾼模型的泛化能⼒，降低过拟合的可能。

正则化通过降低复杂模型的复杂度来防⽌过拟合的规则被称为正则化！正则化⽅法是在经验风险或者经验损失\(L_{e m p}\)（emprirical loss）上加上⼀个结构化风险，我们的结构化风险⽤参数范数惩罚，⽤来限制模型的学习能⼒、通过防⽌过拟合来提⾼泛化能⼒。

L1正则化（Lasso回归）：通过对损失函数加上所有权重值的绝对值来惩罚损失函数；\[J=J_{0}+\alpha \sum_{w}|w| \]L2正则化（岭回归）：通过对损失函数加上所有权重值的平⽅来惩罚失函数！\[J=J_{0}+\alpha \sum_{w} w^{2} \]⾓度1：解空间形状在⼆维的情况下，黄⾊的部分是L2和L1正则项约束后的解空间，绿⾊的等⾼线是凸优化问题中⽬标函数的等⾼线。

L2正则项约束后的解空间是圆形，⽽L1正则项约束的解空间是菱形。

显然，菱形的解空间更容易在尖⾓处与等⾼线碰撞出稀疏解。

L1正则化等价于在原优化⽬标函数中增加约束条件：\(\|w\|_{1} \leq C\)L2正则化等价于在原优化⽬标函数中增加约束条件：\(\|w\|_{2}^{2} \leq C\)L2正则化相当于为参数定义了⼀个圆形的解空间，⽽L1正则化相当于为参数定义了⼀个菱形的解空间。

如果原问题⽬标函数的最优解不是恰好落在解空间内，那么约束条件下的最优解⼀定是在解空间的边界上，⽽L1“棱⾓分明”的解空间显然更容易与⽬标函数等⾼线在⾓点碰撞，从⽽产⽣稀疏解。

⾓度2：函数叠加仅考虑⼀维的情况，多维情况是类似的。

假设棕线是原始⽬标函数\(L(w)\)的曲线图，显然最⼩值点在蓝点处，且对应的\(w*\)值⾮0。

考虑加上L2正则化项，⽬标函数变成\(L(w)+C w^{2}\)，其函数曲线为黄⾊。

机器学习中规范化项：L1和L2规范化（Regularization）机器学习中⼏乎都可以看到损失函数后⾯会添加⼀个额外项，常⽤的额外项⼀般有两种，⼀般英⽂称作L1正则化和L2正则化可以看做是损失函数的惩罚项。

所谓『惩罚』是指对损失函数中的某些参数做⼀些限制。

对于线性回归模型，使⽤L1正则化的模型建叫做Lasso回归，使⽤L2正则化的模型叫做Ridge回归（岭回归）。

下图是Python中Lasso回归的损失函数，式中加号后⾯⼀项α||w||1下图是Python中Ridge回归的损失函数，式中加号后⾯⼀项α||w||2⼀般回归分析中回归wL1正则化是指权值向量wL2正则化是指权值向量w⼀般都会在正则化项之前添加⼀个系数，Python中⽤α那添加L1和L2正则化有什么⽤？下⾯是L1正则化和L2正则化的作⽤，这些表述可以在很多⽂章中找到。

L1正则化可以产⽣稀疏权值矩阵，即产⽣⼀个稀疏模型，可以⽤于特征选择L2正则化可以防⽌模型过拟合（overfitting）；⼀定程度上，L1也可以防⽌过拟合稀疏模型与特征选择上⾯提到L1正则化有助于⽣成⼀个稀疏权值矩阵，进⽽可以⽤于特征选择。

为什么要⽣成⼀个稀疏矩阵？稀疏矩阵指的是很多元素为0，只有少数元素是⾮零值的矩阵，即得到的线性回归模型的⼤部分系数都是0. 通常机器学习中特征数量很多，例如⽂本处理时，如果将⼀个词组（term）作为⼀个特征，那么特征数量会达到上万个（bigram）。

在预测或分类时，那么多特征显然难以选择，但是如果代⼊这些特征得到的模型是⼀个稀疏模型，表⽰只有少数特征对这个模型有贡献，绝⼤部分特征是没有贡献的，或者贡献微⼩（因为它们前⾯的系数是0或者是很⼩的值，即使去掉对模型也没有什么影响），此时我们就可以只关注系数是⾮零值的特征。

这就是稀疏模型与特征选择的关系。

L1和L2正则化的直观理解这部分内容将解释为什么L1正则化可以产⽣稀疏模型（L1是怎么让系数等于零的），以及为什么L2正则化可以防⽌过拟合。

正则项的作用，那就是降低模型过拟合的风险，通常常用的有L1范数正则化与L2范数正则化，作为单独一项（正则项）加入到损失函数中，也可以自己作为损失函数。

L1 and L2范数在了解L1和L2范数之前，我们可以先来了解一下范数（norm）的定义，简单来说也就是范数其实在[0,∞)范围内的值，是向量的投影大小，在机器学习中一般会勇于衡量向量的距离。

范数有很多种，我们常见的有L1-norm和L2-norm，其实还有L3-norm、L4-norm等等，所以抽象来表示，我们会写作Lp-norm，一般表示为:对于上面这个抽象的公式，如果我们代入p值，若p为1，则就是我们常说的L1-norm：若p为2，则是我们常说的L2-norm：我们引用文章里的图片，L2-norm的距离就是两个黑点之间的绿线，而另外的3条线，都是L1-norm的大小。

L1 and L2正则项在上面我们有提及到，L1、L2范数可以用于损失函数里的一个正则化项，作用就是降低模型复杂度，减小过拟合的风险。

这里的正则化项，存在的目的就是作为一个“惩罚项”，对损失函数中的某一些参数做一些限制，是结构风险最小化策略的体现，就是选择经验风险（平均损失函数）和模型复杂度同时较小的模型。

针对线性回归模型，假设对其代价函数里加入正则化项，其中L1和L2正则化项的表示分别如下所示，其中λ >= 0，是用来平衡正则化项和经验风险的系数。

（1）使用L1范数正则化，其模型也被叫作Lasso回归（Least Absolute Shrinkage and Selection Operator，最小绝对收缩选择算子）。

（2）使用L2范数正则化，其模型被叫做Ridge回归，中文为岭回归。

机器学习中一般怎么选择正则项上面介绍的L1和L2范数正则化都有着降低过拟合风险的功能，但它们有什么不同？我们到底应该选择哪一个呢，两者之间各有什么优势和适用场景？别急，我们一一来展开讲讲。

L1正则化和L2正则化有什么区别在模型训练中的作用是什么L1正则化和L2正则化是机器学习领域中常用的正则化方法，它们在模型训练过程中起着重要的作用。

本文将深入探讨L1正则化和L2正则化的区别以及它们在模型训练中的作用。

第一章：L1正则化和L2正则化的原理及区别在介绍L1正则化和L2正则化之前，我们先简单回顾一下正则化的概念。

正则化是指在模型训练过程中为了防止过拟合而引入的一种惩罚项，通过向损失函数中添加正则化项来限制模型的复杂度，从而提高模型的泛化能力。

L1正则化和L2正则化分别是对模型参数的不同约束方式。

L1正则化通过向损失函数中添加参数的绝对值之和来限制模型参数的大小，其数学表达式为：L1(w) = ||w||_1，其中||w||_1表示参数向量w的L1范数。

而L2正则化则是通过向损失函数中添加参数的平方和来限制模型参数的大小，其数学表达式为：L2(w) = ||w||_2^2，其中||w||_2表示参数向量w的L2范数。

L1正则化和L2正则化的主要区别在于对模型参数的惩罚方式不同。

L1正则化会让部分参数变为0，从而实现特征选择的功能，即可以通过L1正则化将不重要的特征的权重置为0，从而达到特征筛选的效果；而L2正则化则会让所有参数都变小但不为0，能够更好地控制模型的复杂度。

第二章：L1正则化和L2正则化在模型训练中的作用L1正则化和L2正则化在模型训练中起着重要的作用，主要体现在以下几个方面：1. 防止过拟合：正则化可以有效地防止模型过拟合训练数据，提高模型的泛化能力。

L1正则化和L2正则化都是常用的正则化方法，可以通过控制模型参数的大小来避免模型在训练集上过度拟合，提高模型在测试集上的表现。

2. 特征选择：L1正则化可以实现特征选择的功能，即可以通过L1正则化将不重要的特征的权重置为0，从而达到特征筛选的效果。

这对于高维数据中选择最重要的特征变量非常有帮助，可以提高模型的解释性和泛化能力。

L1正则化及其推导在机器学习的Loss 函数中，通常会添加⼀些正则化（正则化与⼀些贝叶斯先验本质上是⼀致的，⽐如L 2正则化与⾼斯先验是⼀致的、L 1正则化与拉普拉斯先验是⼀致的等等，在这⾥就不展开讨论）来降低模型的结构风险，这样可以使降低模型复杂度、防⽌参数过⼤等。

⼤部分的课本和博客都是直接给出了L 1正则化的解释解或者⼏何说明来得到L 1正则化会使参数稀疏化，本来会给出详细的推导。

⼤部分的正则化⽅法是在经验风险或者经验损失L emp （emprirical loss ）上加上⼀个结构化风险，我们的结构化风险⽤参数范数惩罚Ω(θ)，⽤来限制模型的学习能⼒、通过防⽌过拟合来提⾼泛化能⼒。

所以总的损失函数（也叫⽬标函数）为：J (θ;X ,y )=L emp (θ;X ,y )+αΩ(θ)其中X 是输⼊数据，y 是标签，θ是参数，α∈[0,+∞]是⽤来调整参数范数惩罚与经验损失的相对贡献的超参数，当α=0时表⽰没有正则化，α越⼤对应该的正则化惩罚就越⼤。

对于L 1正则化，我们有：Ω(θ)=‖w ‖1其中w是模型的参数。

图1 上⾯中的蓝⾊轮廓线是没有正则化损失函数的等⾼线，中⼼的蓝⾊点为最优解，左图、右图分别为L 2、L 1正则化给出的限制。

可以看到在正则化的限制之下，L 2正则化给出的最优解w ∗是使解更加靠近原点，也就是说L 2正则化能降低参数范数的总和。

L 1正则化给出的最优解w ∗是使解更加靠近某些轴，⽽其它的轴则为0，所以L 1正则化能使得到的参数稀疏化。

有没有偏置的条件下，θ就是w ，结合式(1.1)与(1.2)，我们可以得到L 1正则化的⽬标函数：J (w ;X ,y )=L emp (w ;X ,y )+α‖w ‖1我们的⽬的是求得使⽬标函数取最⼩值的w ∗，上式对w 求导可得：∇w J (w ;X ,y )=∇w L emp (w ;X ,y )+α⋅sign (w )其中若w >0，则sign (w )=1；若w <0，则sign (w )=−1；若w =0，则sign (w )=0。

正则化法和梯度下降法
正则化法和梯度下降法是机器学习中常用的两种方法，其主要目的是在训练模型时避免过拟合和提高准确度。

正则化法是通过在损失函数中添加一个正则化项，来惩罚模型的复杂度。

常见的正则化方法包括L1正则化和L2正则化。

L1正则化会让一部分参数变为0，从而实现特征的选择和降维；L2正则化则会让参数尽可能地趋近于0，从而避免过拟合。

正则化的系数越大，对模型复杂度的惩罚就越大。

梯度下降法则是一种优化算法，主要用于最小化损失函数。

其基本思想是通过迭代，不断调整模型参数，使得损失函数达到最小值。

梯度下降法分为批量梯度下降法、随机梯度下降法和小批量梯度下降法三种。

批量梯度下降法每次迭代需要计算所有样本的误差，计算量较大；随机梯度下降法则是每次迭代随机选择一个样本进行计算，计算速度快但容易陷入局部最优解；小批量梯度下降法则是在批量和随机之间取得平衡，每次迭代计算一部分样本的误差。

正则化法和梯度下降法常常同时使用，可以在保证模型准确率的同时，避免过拟合和提高泛化能力。

- 1 -。

regularizer和normalization -回复Regularization和Normalization是机器学习中重要的技术手段，用来优化模型的性能和稳定性。

在本文中，我们将详细介绍这两个概念，并讨论它们在模型训练中的作用和实现方法。

1. 正则化(Regularization)正则化是一种用来控制模型复杂度的技术。

它通过在损失函数中添加正则项，惩罚模型中的参数，以防止过拟合现象的发生。

在过拟合的情况下，模型在训练数据上表现良好，但在新数据上表现较差。

正则化方法通过限制模型参数的大小，使得模型对输入数据的微小变化不敏感，从而提高了模型的泛化能力。

常见的正则化方法有L1正则化和L2正则化。

L1正则化将模型参数的绝对值作为惩罚项，使得某些参数变为0，具有稀疏性，可以用于特征选择。

L2正则化将模型参数的平方和作为惩罚项，使得模型参数趋向于较小的值，从而降低模型复杂度。

在实际应用中，可以通过在损失函数中添加正则项，并设置正则化参数来控制正则化的力度。

通过调整正则化参数的值，可以在模型的偏差和方差之间找到一个最佳的权衡点，从而提高模型的泛化能力。

2. 归一化(Normalization)归一化是一种数据预处理技术，用于将不同特征之间的数值范围映射到相同的区间。

数据在不同的尺度上分布时，会给模型训练带来困难，导致模型收敛缓慢或陷入局部最优。

通过归一化，可以保证不同特征对模型训练的贡献相对均衡，提高了模型的性能和稳定性。

常用的归一化方法有最大-最小归一化和标准化归一化。

最大-最小归一化将数据线性映射到[0,1]的区间内，可以通过以下公式计算：x' = (x - min) / (max - min)其中，x为原始数据，x'为归一化后的数据，min和max为数据的最小值和最大值。

标准化归一化将数据转化为均值为0，标准差为1的标准正态分布，可以通过以下公式计算：x' = (x - mean) / std其中，mean为数据的均值，std为数据的标准差。

ML/DL-复习笔记【二】- L1正则化和L2正则化本节为ML/DL-复习笔记【二】L1正则化和L2正则化，主要内容包括：L1正则化和L2正则化的定义、作用、性质以及作用机制。

L1正则化和L2正则化可以看做是损失函数的惩罚项。

所谓『惩罚』是指对损失函数中的某些参数做一些限制。

对于线性回归模型，使用L1正则化的模型叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。

二者的损失函数分别为：一般回归分析中表示特征的系数，从上式可以看到正则化项是对系数做了处理（限制）。

L1正则化和L2正则化的说明如下：L1正则化是指权值向量中各个元素的绝对值之和，通常表示为L2正则化是指权值向量中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为两个正则化的作用分别为：L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合更加详细地：L1正则化有一个有趣的性质，它会让权重向量在最优化的过程中变得稀疏（即非常接近0）。

也就是说，使用L1正则化的神经元最后使用的是它们最重要的输入数据的稀疏子集，同时对于噪音输入则几乎是不变的了。

相较L1正则化，L2正则化中的权重向量大多是分散的小数字。

L2正则化可以直观理解为它对于大数值的权重向量进行严厉惩罚，倾向于更加分散的权重向量。

由于输入和权重之间的乘法操作，这样就有了一个优良的特性：使网络更倾向于使用所有输入特征，而不是严重依赖输入特征中某些小部分特征。

L2惩罚倾向于更小更分散的权重向量，这就会鼓励分类器最终将所有维度上的特征都用起来，而不是强烈依赖其中少数几个维度。

这样做可以提高模型的泛化能力，降低过拟合的风险。

在实践中，如果不是特别关注某些明确的特征选择，一般说来L2正则化都会比L1正则化效果好。

Q:为什么要生成系数权值矩阵？稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0. 通常机器学习中特征数量很多，例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram）。

学习算法中的正则化方法在机器学习领域，正则化是一种常用的方法，用于控制模型的复杂度，防止过拟合。

正则化方法通过在损失函数中引入一个正则项，来约束模型的参数，从而达到降低模型复杂度的目的。

本文将介绍几种常见的正则化方法，并探讨它们的优缺点。

一、L1正则化L1正则化是一种常用的正则化方法，它通过在损失函数中添加参数的绝对值之和来约束模型的复杂度。

L1正则化可以使得模型的参数稀疏化，即将一些不重要的特征的权重降低甚至置零。

这种方法在特征选择和降维中非常有用。

然而，L1正则化也存在一些问题。

首先，由于L1正则化的非光滑性，优化过程可能会变得困难。

其次，当特征之间存在相关性时，L1正则化倾向于选择其中一个特征，而忽略其他相关特征。

因此，在处理高维数据时，需要谨慎使用L1正则化。

二、L2正则化L2正则化是另一种常见的正则化方法，它通过在损失函数中添加参数的平方和来约束模型的复杂度。

L2正则化可以使得模型的参数分布更加平滑，避免出现过大的权重。

这种方法在回归和分类问题中广泛应用。

与L1正则化相比，L2正则化具有一些优势。

首先，L2正则化的平滑性使得优化过程更加稳定，容易收敛。

其次，L2正则化可以保留更多的特征，而不像L1正则化那样容易将某些特征置零。

然而，L2正则化也有一个缺点，即它不能自动进行特征选择，可能会保留一些无关特征。

三、弹性网（Elastic Net）弹性网是L1正则化和L2正则化的一种结合，它在损失函数中同时引入了L1和L2正则项。

弹性网可以综合利用L1正则化和L2正则化的优点，既能够进行特征选择，又能够保留相关特征。

弹性网在处理高维数据时特别有用，可以有效地处理特征相关性和冗余性。

然而，弹性网的一个缺点是需要调节两个超参数，即L1正则化项的权重和L2正则化项的权重，这增加了模型的复杂度。

四、早停法（Early Stopping）早停法是一种简单而有效的正则化方法，它通过监控模型在验证集上的性能，来决定何时停止训练。