广义线性模型与正则化方法

generalized additive model (gam)（原创实用版）目录1.广义加性模型（GAM）的概述2.GAM 的优点和应用场景3.GAM 的局限性和改进方向正文广义加性模型（Generalized Additive Model，简称 GAM）是一种用于预测分类变量或连续变量的统计模型。

GAM 基于加性模型，可以看作是多项逻辑回归（Logistic Regression）和线性回归（Linear Regression）的扩展。

GAM 模型不仅具有强大的预测能力，而且可以处理各种数据类型，如离散、连续和混合数据。

GAM 的优点主要体现在以下几个方面：1.灵活性：GAM 可以拟合各种复杂的非线性关系，因此能够更好地捕捉到数据中的潜在模式。

这使得 GAM 在处理实际问题时具有较高的准确性。

2.通用性：GAM 可以同时处理分类变量和连续变量，因此在研究中可以广泛应用。

3.容易解释：GAM 的输出结果可以很容易地解释，有助于研究人员理解模型的预测机制。

尽管 GAM 具有很多优点，但仍然存在一些局限性：1.计算成本：由于 GAM 需要拟合复杂的非线性函数，因此计算成本较高，可能导致计算速度较慢。

2.过拟合风险：GAM 的拟合能力较强，容易陷入过拟合的困境，从而降低模型的泛化能力。

为了克服这些局限性，研究人员提出了一些改进方向：1.使用正则化方法：通过 L1 正则化和 L2 正则化等方法，可以降低模型的复杂度，减少过拟合风险。

2.逐步回归：通过逐步筛选变量，可以降低模型的复杂度，提高模型的泛化能力。

3.模型选择和评估：使用交叉验证等方法，可以帮助研究人员选择最佳模型，并评估模型的性能。

总之，广义加性模型（GAM）是一种具有强大预测能力的统计模型，可以广泛应用于各种研究领域。

正则化方法正则化方法是一种有效的优化技术，它是用来减少模型的复杂性，避免过拟合，促进模型的泛化性能。

它把模型参数空间中不重要的变量设置为空并移除，以提高模型的效果。

正则化方法可以有效控制过拟合，有助于提高模型的性能和运行效率，在机器学习和深度学习领域得到广泛应用。

正则化方法有多种形式。

常用的正则化方法有L2正则化，L1正则化，Max-norm正则化，Dropout正则化等。

例如，L2正则化（也称为权重衰减）是一种数学技术，它引入了一个系数来改变参数的取值范围。

一般来说，改变参数的系数越大，则缩小参数的范围越多，也就是模型越不复杂，所以参数就越不容易过拟合。

L1正则化也可以减少模型参数的复杂性，它使模型的参数值更接近于0，从而达到降维的效果，有助于改善模型的泛化能力。

Max-norm正则化主要用于约束参数的W矩阵中元素的大小，通过控制模型参数中单个参数值的大小，来减少模型参数的复杂性，从而降低过拟合风险，增加模型的泛化性能。

Dropout正则化是一种常用的深度学习正则化方法，它通过跳过一些神经网络激活函数来简化神经网络结构，从而避免过拟合，增强模型的泛化能力。

正则化可以有效地降低模型的复杂度，让模型在训练集和测试集上的表现更加一致，从而促进模型的有效运用。

正则化方法在实际应用中也存在一定的问题，例如，由于L1正则化会使参数的范围变得非常小，它会使模型的训练变得很慢，并且影响模型的精度。

对于一些复杂的模型，Max-norm正则化可能会限制模型的学习能力，从而影响模型的性能。

正则化方法在实践中表现出很强的耐受性，它可以解决过拟合问题，提高模型的泛化性能。

不同的正则化方法都有各自的优势和劣势，在实际应用中，根据具体情况选择合适的正则化方法，才能最大程度地发挥正则化方法的优势，提高模型的性能。

总之，正则化方法是一种有效的优化技术，它通过减少模型的复杂性，解决过拟合问题，从而提高模型的泛化性能，在机器学习和深度学习领域得到广泛应用。

广义线性回归
广义线性回归（Generalized Linear Regression）是传统的线性回归的
普遍拓展，它采用损失函数（lossfunction）和正则化（regularization）技术来适应这些数字常用分布，可以帮助研究者更好地分析在实例中出现的状况以及预测未来。

广义线性回归是利用传统线性回归概念来拓展和扩展可用其他数据分布，
而不仅仅是正态分布。

与传统线性回归不同，这种拓展可以处理非正态分布的回归模型，不仅可以拟合二次形式的度量，而且可以用于不同的度量，包括离差、分位数和对数等度量类型，甚至可以处理稀疏类型。

由于这种拓展，广义线性回归现在在互联网行业中被广泛应用，可以很好地处理大量非正态性分布型数据，并且它具有良好的参数估计能力，这可以大大提高数据处理的效率和精确度。

在互联网行业中，广义线性回归可以有效地提取出数据中的重要信息，帮
助企业分析网站用户行为，有助于了解用户口味和习惯。

此外，它还可以帮助网站提高搜索引擎排名，有效地减少投入和提高营销收入。

而且，广义线性回归还可以让开发者们更快地、更准确地定位和探索有价值的数据，帮助他们轻松地处理复杂，稀疏的数据，很好地支持大规模网站数据分析。

总结来讲，广义线性回归是传统线性回归的拓展，可以有效地处理大量非
正态性分布数据，可以有效地提取出数据中的重要信息，更好地支持网站决策，并能够在互联网行业中发挥重要作用，帮助企业分析用户行为，有效提高搜索引擎排名，并有效提升网站的数据分析能力。

Table of Contents1.21.2.11.2.21.2.31.2.41.2.5绪言This book is translated from official user guide of scikit-learn.1.1. 广义线性模型英文原文以下介绍的方法均是用于求解回归问题，其目标值预计是输入变量的一个线性组合。

写成数学语言为：假设是预测值，则有在本节中，称向量为 coef_ ，{% math %}w0{% endmath %}为`intercept`若要将通用的线性模型用于分类问题，可参见Logistic回归1.1.1 普通最小二乘法LinearRegression 使用系数拟合一个线性模型。

拟合的目标是要将线性逼近预测值（）和数据集中观察到的值（）两者之差的平方和尽量降到最小。

写成数学公式，即是要解决以下形式的问题LinearRegression 的 fit 方法接受数组X和y作为输入，将线性模型的系数存在成员变量 coef_ 中：>>> from sklearn import linear_model>>> clf = linear_model.LinearRegression()>>> clf.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2])LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)>>> clf.coef_array([ 0.5, 0.5])需要注意的是，普通最小二乘法的系数预测取决于模型中各个项的独立性。

假设各个项相关，矩阵的列总体呈现出线性相关，那么就会很接近奇异矩阵，其结果就是经过最小二乘得到的预测值会对原始数据中的随机误差高度敏感，从而每次预测都会产生比较大的方差。

⼴义线性模型（GeneralizedLinearModels）在线性回归问题中，我们假设，⽽在分类问题中，我们假设，它们都是⼴义线性模型的例⼦，⽽⼴义线性模型就是把⾃变量的线性预测函数当作因变量的估计值。

很多模型都是基于⼴义线性模型的，例如，传统的线性回归模型，最⼤熵模型，Logistic回归，softmax回归。

指数分布族在了解⼴义线性模型之前，先了解⼀下指数分布族(the exponential family)指数分布族原型如下如果⼀个分布可以⽤上⾯形式在表⽰，那么这个分布就属于指数分布族，⾸先来定义⼀下上⾯形式的符号：η：分布的⾃然参数（natural parameter）或者称为标准参数（canonical parameter）T (y)：充分统计量，通常⽤T(y) = ya(η):对数分割函数（log partition function）:本质上是⼀个归⼀化常数，确保概率和为1。

当给定T时，a、b就定义了⼀个以η为参数的⼀个指数分布。

我们变化η就得到指数分布族的不同分布。

论证伯努利分布和⾼斯分布为指数分布族，伯努利分布均值φ，记为Bernoulli(φ)，y ∈ {0, 1}，所以p(y = 1; φ) = φ; p(y = 0; φ) = 1 − φ对⽐指数分布族的表达式可以得到：η = log(φ/(1-φ)) 我们将φ⽤η表⽰，则：φ=1/(1+e-η)，是不是发现和sigmoid函数⼀样了。

这就表明，当我们给定T,a，b，伯努利分布可以写成指数分布族的形式，也即伯努利分布式指数分布族。

同理，在⾼斯分布中，有：对⽐指数分布族，我们得到：因为⾼斯分布的⽅差与假设函数⽆关，因⽽为了计算简便，我们设⽅差=1，这样就得到：所以这也表明，⾼斯分布也是指数分布族的⼀种。

构造⼴义线性模型(Constructing GLMs)怎么通过指数分布族来构造⼴义线性模型呢？要构建⼴义线性模型，我们要基于以下三个假设：1. 给定特征属性和参数后，的条件概率服从指数分布族，即。

基于广义线性模型的分类问题一、引言分类问题是机器学习领域中最基础的问题之一，其目的是将数据点归到不同的类别中。

在实际应用中，分类问题的应用场景非常广泛，包括但不限于电子商务的推荐系统、医疗诊断、金融风控等领域。

广义线性模型（Generalized Linear Model，GLM）是一种常用的统计学习方法，用于建立因变量与自变量之间的关系。

广义线性模型通过给定自变量的函数形式和一个分布族，来建立自变量与因变量之间的关系。

本文将介绍基于广义线性模型的分类问题。

具体地，本文将讨论如何使用广义线性模型来解决二分类问题和多分类问题。

二、基于广义线性模型的二分类问题二分类问题是将数据点分到两个不同的类别之一。

在基于广义线性模型的二分类问题中，我们假设因变量Y 是离散的二元变量，且服从伯努利分布。

伯努利分布是一种二元分布，其代表了一次试验中成功和失败的概率。

伯努利随机变量的概率质量函数可以表示为：$$P(Y=y) = \theta^y(1-\theta)^{1-y}$$ 其中，$0\leq \theta\leq 1$ 表示成功的概率。

为了建立基于广义线性模型的二分类问题，我们需要确定$\theta$ 与自变量 $X$ 之间的关系。

具体地，我们采用如下函数形式：$$logit(\theta) = \beta_0 + \beta_1 X_1 + ... + \beta_p X_p$$ 其中，logit 函数指数函数，可以将 $\theta$ 转化为一个线性函数，并保证 $\theta$ 的取值范围在 [0,1] 之间。

$\beta_0,\beta_1,...,\beta_p$ 是待估计的系数。

建立好了模型之后，我们需要估计系数$\beta$。

在估计系数时，通常使用最大似然估计。

最大似然估计的过程即是通过最大化似然函数得到系数$\beta$。

对于二分类问题，似然函数可以表示为：$$L(\beta) = \prod_{i=1}^n [\theta_i^{y_i}(1-\theta_i)^{(1 -y_i)}]$$ 其中，$y_i$ 表示第 i 个样本的类别，$\theta_i$ 是预测样本 $i$ 属于类别 1 的概率。

线性模型知识点总结一、线性模型概述线性模型是统计学中一类简单而又常用的模型。

在线性模型中，因变量和自变量之间的关系被描述为一个线性方程式。

线性模型被广泛应用于各种领域，如经济学、医学、社会科学等。

线性模型的简单和普适性使得它成为数据分析中的一种重要工具。

线性模型可以用来建立预测模型、对变量之间的关系进行建模和推断、进行变量选择和模型比较等。

在实际应用中，线性模型有多种形式，包括简单线性回归、多元线性回归、广义线性模型、岭回归、逻辑回归等。

这些模型在不同的情况下可以更好地满足数据的特点和要求。

二、线性回归模型1. 简单线性回归简单线性回归是最基本的线性模型之一，它描述了一个因变量和一个自变量之间的线性关系。

简单线性回归模型可以用如下的方程式来表示：Y = β0 + β1X + ε其中，Y是因变量，X是自变量，β0和β1分别是截距项和斜率项，ε是误差项。

简单线性回归模型基于最小二乘法估计参数，从而得到最优拟合直线，使得观测值和拟合值的离差平方和最小。

简单线性回归模型可以用来分析一个自变量对因变量的影响，比如身高和体重的关系、学习时间和考试成绩的关系等。

2. 多元线性回归多元线性回归是在简单线性回归的基础上发展而来的模型，它能够同时描述多个自变量对因变量的影响。

多元线性回归模型可以用如下的方程式来表示：Y = β0 + β1X1 + β2X2 + ... + βpXp + ε其中，X1、X2、...、Xp是p个自变量，β0、β1、β2、...、βp分别是截距项和各自变量的系数，ε是误差项。

多元线性回归模型通过估计各系数的值，可以得到各自变量对因变量的影响情况，以及各自变量之间的相关关系。

3. 岭回归岭回归是一种用来处理多重共线性问题的线性回归方法。

在多元线性回归中，如果自变量之间存在较强的相关性，会导致参数估计不准确，岭回归通过对参数加上一个惩罚项来避免过拟合，从而提高模型的稳定性和泛化能力。

岭回归模型可以用如下的方程式来表示：Y = β0 + β1X1 + β2X2 + ... + βpXp + ε - λ∑(β^2)其中，λ是岭参数，用来平衡参数估计和惩罚项之间的关系。

广义线性模型组LASSO路径算法_马景义广义线性模型（Generalized Linear Models, GLMs）是一类常用的统计模型，广泛应用于各个领域中。

LASSO（Least Absolute Shrinkage and Selection Operator）是一种变量选择方法，可以用于特征选择或模型优化。

广义线性模型组LASSO路径算法（Generalized Linear Models Group LASSO Path Algorithm）结合了广义线性模型和LASSO方法，可以选择一组相关的特征。

LASSO是一种线性回归模型的正则化方法，通过给线性回归模型引入一个L1范数的正则化项，可以将系数向量中一些小的或不相关的特征的系数压缩为零，从而实现了特征选择的功能。

与LASSO不同的是，广义线性模型允许因变量不满足常见的正态分布假设，而是满足一个更广泛的分布。

广义线性模型组LASSO路径算法结合了广义线性模型和LASSO方法的优点。

通过引入组L1范数的正则化项，该算法可以对一组相关的特征进行选择。

通过调整正则化参数，路径算法可以得到一组模型，每个模型对应于一个正则化参数的值。

这些模型可以形成一个路径，从而帮助我们理解特征选择的过程。

1.初始化：首先，我们将正则化参数设置为一个较大的值（通常是正无穷），然后估计一个普通的广义线性模型。

这个模型中所有的系数都不为零，相当于没有特征选择。

2.逐步缩减：然后，我们逐步减小正则化参数的值，并在每个步骤中调整模型的系数。

对于每个正则化参数值，我们通过对数据进行一次加权最小二乘估计来获得估计的广义线性模型。

通过这样的迭代过程，我们可以得到一系列模型。

3.选择最优模型：在每个正则化参数值上，我们可以使用交叉验证或其他模型选择标准来选择最优模型。

这样，我们可以选择具有最小误差的模型。

1.特征选择：由于LASSO方法的引入，该算法可以进行特征选择，自动选择与响应变量相关的特征变量。

R语言广义线性模型教程广义线性模型（Generalized Linear Models，简称GLM）是一类常用的统计模型，能够对各种类型的数据进行建模和预测。

GLM是线性模型（Linear Model）的拓展，可以处理非正态分布的因变量和非线性的关系。

本教程将介绍如何在R语言中使用GLM进行数据分析。

一、什么是广义线性模型广义线性模型是一种拓展的线性回归模型，通过引入非线性关系和正态分布以外的分布，可以适应更多类型的数据。

广义线性模型的一般形式为Y = g(η) + ε，其中Y是因变量，g(η)是连接函数（link function），η是线性组合的预测值，ε是误差项。

二、GLM的组成部分GLM由三个组成部分构成：随机分布、线性预测子和连接函数。

1. 随机分布（Random distribution）：描述因变量的分布形式，常见的分布有正态分布、泊松分布、二项分布等。

2. 线性预测子（Linear predictor）：描述自变量与因变量之间的线性关系，可以包含多个自变量。

3. 连接函数（Link function）：将线性预测子映射到随机分布的均值上，常见的连接函数有恒等函数、对数函数、逆函数等。

三、GLM的步骤使用R语言进行广义线性模型建模可以分为以下几个步骤：1.数据准备：将需要分析的数据加载到R环境中，并对数据进行清洗和变换，使其符合GLM的要求。

2. 模型拟合：使用glm(函数来拟合广义线性模型，并根据需要选择适当的连结函数和误差分布。

3.模型诊断：对拟合的模型进行诊断，检查是否满足GLM的假设，如线性关系、误差的独立性和方差齐性等。

4.模型解释：根据拟合的模型，通过系数的解释来理解自变量与因变量之间的关系。

5.模型预测：使用拟合的模型对未见过的数据进行预测，并评估模型的拟合优度。

四、R语言中的GLM函数在R语言中，可以使用glm(函数进行广义线性模型的拟合。

该函数的基本语法如下：glm(formula, family, data, ...)其中，formula是模型的公式，family是误差分布的名称，data是数据框对象。

关于广义线性模型和一般线性模型的数学理论和应用线性模型是统计学领域非常重要的一类模型，其中包括广义线性模型（Generalized Linear Models，简称GLM）和一般线性模型（General Linear Models，简称GLM）。

GLM和GLM有着紧密的联系，但也各自有着特点和应用。

本文将探讨GLM和GLM的数学理论和应用。

一、广义线性模型广义线性模型是由Mcullagh和Nelder于1982年提出的，它是线性模型的扩展，可以适应更为复杂的数据结构和变异模式。

与传统的线性模型相比，GLM的形式更为灵活，不仅能够模拟标量数据，还能够模拟其他类型的数据，比如二元数据、计数数据、序数数据等。

GLM的最大特点是可以将因变量的均值与自变量联系起来，并将自变量的参数与因变量的概率分布函数联系起来。

具体地说，GLM的一般形式为：$$ g(E(Y_i))=\beta_0+\beta_1x_{1i}+\dots+\beta_px_{pi} $$其中，$Y_i$表示因变量，$x_i$是自变量，$g$是一个连续函数，称为连接函数（link function），一般为对数函数、逆正弦函数、逆双曲正切函数等。

$\beta_0,\beta_1,\dots,\beta_p$是待求参数。

通常情况下，GLM的因变量$Y$的概率分布函数是指数分布族，具体包括正态分布、二项分布、泊松分布、伽马分布等。

GLM的优点是可以拟合非正态分布的数据，并且能够建立出统一的推导框架。

在实际应用中，GLM广泛用于医疗、金融、风险分析等领域。

二、一般线性模型一般线性模型是经典的线性模型，也是广义线性模型的一种特殊情况。

一般线性模型将因变量$Y$视为自变量的一个线性组合，即：$$ Y=X\beta+\epsilon $$其中，$X$是一个$n\times(p+1)$的矩阵，第一列全为1，$\beta$是$p+1$个待求参数，$\epsilon$是一个$n$维的随机误差向量，假设$\epsilon$服从正态分布$N(0,\sigma^2I)$。

广义线性模型广义线性模型*（Nelder和Wedderburn，1972）除了正态分布，也允许反应分布，以及模型结构中的一定程度的非线性。

GLM具有基本结构g(μi)=X iβ,其中μi≡E（Yi），g是光滑单调'链接函数'，Xi是模型矩阵的第i行，X和β是未知参数的向量。

此外，GLM通常会做出Yi是独立的和Yi服从一些指数族分布的假设。

指数族分布包括许多对实际建模有用的分布，如泊松分布，二项分布，伽马分布和正态分布。

GLM的综合参考文献是McCullagh和Nelder（1989），而Dobson（2001）提供了一个全面的介绍。

因为广义线性模型是以“线性预测器”Xβ的形式详细说明的，所以线性模型的许多一般想法和概念通过一些修改而继续存在到广义线性模型中。

除了必须选择的链接函数和分布之外，基本模型公式与线性模型公式基本相同。

当然，如果恒等函数被选择作为链接以及正态分布，那么普通线性模型将作为特例被恢复。

然而，泛化是以某种成本为代价的：现在的模型拟合必须要迭代完成，而且用于推理的分布结果是近似的，并且由大样本限制结果证明是正确的而不是精确的。

但在深入探讨这些问题之前，请考虑几个简单的例子。

μi=cexp(bt i),例1：在疾病流行的早期阶段，新病例的发生率通常会随着时间以指数方式增加。

因此，如果μi是第ti天的新病例的预期数量，则该形式的模型为请注意，“广义”和“一般”线性模型之间存在区别-后一个术语有时用于指除简单直线以外的所有线性模型。

可能是合适的，其中c和b是未知参数。

通过使用对数链路，这样的模型可以变成GLM形式log(μi)=log(c)+bt i=β0+t iβ1（根据β0=logc和β1=b的定义）。

请注意，模型的右侧现在在参数中是线性的。

反应变量是每天新病例的数量，因为这是一个计数，所以泊松分布可能是一个合理的可以尝试的分布。

因此，针对这种情况的GLM使用泊松反应分布，对数链路和线性预测器β0+tiβ1。

广义线性模型广义线性模型（Generalized Linear Model，GLM）是一种在统计学中常用的模型，它是对普通线性模型的扩展和推广。

在广义线性模型中，因变量不需要满足正态分布的假设，而是通过连接函数（link function）与线性组合的结果进行建模。

广义线性模型的应用领域十分广泛，涵盖了回归分析、分类分析以及其他众多领域。

1. 普通线性模型普通线性模型是一种经典的建模方法，其基本形式为：$$ Y = \\beta_0 + \\beta_1 X_1 + \\beta_2 X_2 + ... + \\beta_k X_k + \\epsilon $$ 其中，Y表示因变量，X1,X2,...,X k表示自变量，$\\beta_0, \\beta_1,\\beta_2, ..., \\beta_k$为模型参数，$\\epsilon$为误差项。

普通线性模型的关键假设是因变量Y服从正态分布。

2. 广义线性模型的基本原理广义线性模型是对普通线性模型的推广，其基本形式为：$$ g(\\mu) = \\beta_0 + \\beta_1 X_1 + \\beta_2 X_2 + ... + \\beta_k X_k $$其中，g()为连接函数（link function），$\\mu$表示期望的因变量Y，其他符号的含义同普通线性模型。

通过连接函数g()，广义线性模型在一般性上不再要求因变量Y服从正态分布。

3. 连接函数（Link Function）连接函数g()的选择是广义线性模型的关键之一，不同的连接函数对应不同的模型形式。

常见的连接函数包括：•恒等连接函数（Identity link function）: $g(\\mu) = \\mu$，对应普通线性模型。

•对数连接函数（Log link function）: $g(\\mu) = log(\\mu)$，常用于泊松回归等模型。

•逆连接函数（Inverse link function）: $g(\\mu) = \\frac{1}{\\mu}$，用于逻辑回归等模型。

模型正则化的概念随着深度学习技术的发展，人工神经网络已经被广泛应用于各种任务，包括图像分类、文本处理和语音识别等。

为了提高模型的泛化性能，减少过拟合，常见的技术是模型正则化。

本文将介绍模型正则化的概念及其常见的实现方法。

概念在机器学习中，模型正则化是通过添加惩罚项来约束模型的复杂程度，从而防止过拟合。

正则化的目标是在保持模型的预测精度的同时，使模型更简单。

本质上，正则化是在最小化损失函数的同时，加入一个对模型参数的限制。

正则化项通常被加入到线性回归、逻辑回归和神经网络等模型中。

最常用的正则化项是L1正则化和L2正则化，它们基于不同的想法来约束模型。

以L2正则化为例，其惩罚项被定义为模型权重的平方和。

因此，模型的训练过程将同时优化模型预测和权重的规模。

实现方法L1正则化和L2正则化是两种最常见的正则化方法。

L1正则化通过把权重向量的L1范数加入到损失函数中来完成。

L1正则化得到的模型往往能够产生稀疏的特征选择，这意味着规则化后的模型会使一些特征的权重为零，从而简化模型并降低其复杂度。

L2正则化是另一种广泛使用的正则化方法，它通过将权重向量的平方和乘以一个小常数加入到损失函数中来实现。

L2正则化被称为权重衰减方法，因为它可将权重向量沿着同样的方向缩小一个常数。

除了L1和L2正则化，还有其他正则化方法，如弹性网络正则化、投影梯度法和Dropout等。

下面简要介绍一下弹性网络正则化和Dropout方法。

弹性网络正则化是一种结合了L1正则化和L2正则化的技术。

它的优点在于，它能够产生更加稀疏的模型，并且仅具有L1正则项的模型在存在高度相关特征时通常会分配相似的权重。

Dropout是一种在神经网络中广泛使用的正则化技术，在训练期间，它随机地关闭一些神经元，以减少神经网络的复杂度。

Dropout对于网络内存消耗的减少可以显著提高速度，并可以或多或少地提高网络的泛化性能。

总结与其他应用程序类似，机器学习的应用离不开数据。

线性模型(5)——广义线性模型广义线性模型是一种扩展了一般线性模型的模型，它在混合线性模型的基础上进一步扩展，使得线性模型的使用范围更加广泛。

每次扩展都是为了适用更多的情况。

一般线性模型要求观测值之间相互独立，残差（因变量）服从正态分布，残差（因变量）方差齐性。

而混合线性模型取消了观测值之间相互独立和残差（因变量）方差齐性的要求。

广义线性模型又取消了对残差（因变量）服从正态分布的要求。

残差不一定要服从正态分布，可以服从二项、泊松、负二项、正态、伽马、逆高斯等分布，这些分布被统称为指数分布族，并且引入了连接函数。

根据不同的因变量分布、连接函数等组合，可以得到各种不同的广义线性模型。

需要注意的是，虽然广义线性模型不要求因变量服从正态分布，但是仍要求相互独立。

如果不符合相互独立的要求，需要使用广义估计方程。

广义线性模型的一般形式包括线性部分、随机部分εi和连接函数。

连接函数为单调可微的函数，起到连接因变量的估计值μ和自变量的线性预测值η的作用。

在广义线性模型中，自变量的线性预测值是因变量的函数估计值。

广义线性模型设定因变量服从指数族概率分布，这样因变量就可以不局限于正态分布，并且方差可以不稳定。

指数分布族的概率密度函数包括θ和φ两个参数，其中θ为自然参数，φ为离散参数，a、b、c为函数广义线性模型的参数估计。

广义线性模型的参数估计一般不能使用最小二乘法，常用加权最小二乘法或极大似然法。

回归参数需要用迭代法求解。

广义线性模型的检验和拟合优度一般使用似然比检验和Wald检验。

似然比检验是通过比较两个相嵌套模型的对数似然函数来进行的，统计量为G。

模型P中的自变量是模型K 中自变量的一部分，另一部分是要检验的变量。

G服从自由度为K-P的卡方分布。

回归系数使用Wald检验进行模型比较。

广义线性模型的拟合优度通常使用以下统计量来度量：离差统计量、Pearson卡方统计量、AIC、AICC、BIC、CAIC准则，准则的值越小越好。

线性模型之三：正则化详解⼀、引起过拟合的原因训练数据过少，训练数据的分布不能表⽰整体样本的分布。

特征过多。

特征太多其实也属于模型复杂。

模型过于复杂。

⾼阶多项式。

⼆、缓解过拟合的⽅法——正则化正则化的本质是使模型简单，解决了特征过多，模型过于复杂的问题。

本质是对权重W的约束。

y=wx，当w变⼩时，相应的x就没有意义了，相当于x变⼩了。

通常的解释是，越⼩的权重，模型复杂度越低（例如特征X剧烈变化时，由于w很⼩，y的变化就会⽐较⼩），因此能够更简单有效的描绘数据，所以我们倾向于选择较⼩的权重。

三、岭回归（L2）与LASSO回归（L1）岭回归是基于L2惩罚项的模型，是在最⼩⼆乘代价函数中加⼊了权重的平⽅和。

其中LASSO回归：对于基于稀疏数据训练的模型，还有另外⼀种解决⽅案，即LASSO。

基于正则化项的强度，某些权重可以为零（使得对应的权重 xi 失去作⽤），这也使得LASSO成为⼀种监督特征选择技术。

其中⼀般回归分析中，w表⽰特征 x 的系数，是特征重要性的度量，表⽰输⼊特征 x 对输出 y 的影响度。

正则化正是对系数 w 做了处理（限制）。

L1正则化是指权重值向量 w 中各个元素的绝对值之和，通常表⽰为 ||w||。

L2正则化是指权值向量 w 中各个元素的平⽅和然后求平⽅根。

（可以看到Ridge回归的L2正则化项有平⽅符号），通常表⽰为 ||w||2。

⼀般会在正则化项之前添加⼀个系数，这个系数需要由⽤户指定。

L1和L2正则化的作⽤：L1正则化可以产⽣稀疏权值矩阵的作⽤，即产⽣⼀个稀疏模型，⽤于特征选择。

L2正则化可以防⽌模型过拟合（overfitting）；⼀定程度上，L1也可以防⽌过拟合。

毕竟⼀个简单的解释的出现似乎不可能仅仅是因为巧合，我们猜测这个模型⼀定表达了关于这个现象的⼀些潜在真理。

复杂模型往往容易学习到了⼀些局部噪声的影响（现实的数据总是有噪声的）。

因此当⼀个复杂模型（⽐如⼀个n次多项式模型）完美拟合了特定数据集的时候，这样的模型⼀般都不能很好泛化到其它数据集上，所以包含⼀定噪声的线性模型在预测中会有更好的表现。