广义线性模型

广义线性模型适用条件
广义线性模型（Generalized Linear Model，GLM）是指在概率论中，依据最大似然估计，利用归一极大方法拟合的参数的组合的一种模型。

与其他模型相比，GLM可以将非常灵活的模型结构作为输入，并适用于离散变量和分类变量，是为拟合复杂响应函数而设计的机器学习算法。

一般来说，广义线性模型的适用条件如下：
1、输入变量必须是连续变量，且变量之间服从正态分布；
2、预测值符合相应概率分布，例如对于离散变量，其预测值可用二项分布；对于分类变量，其预测值可用多项分布；
3、样本的大小足够多，以提供充足的最优参数；
4、参数估计与训练样本相关性不能太高；
5、变量之间不能存在共线性，即输入变量中的一个变量不能由其他变量线性组合得到；
6、没有异常值和缺失值，异常值和缺失值会对数据分布造成影响，从
而影响模型拟合。

总之，为了使GLM适用，要求至少有以上六个条件必须符合。

如果能够保证上述条件，则广义线性模型可以用来预测复杂数据，并获得准确高效的结果。

统计学中的广义线性模型解析统计学是一门研究数据收集、分析和解释的学科，而广义线性模型（Generalized Linear Model，简称GLM）则是统计学中一种重要的分析方法。

GLM不仅可以用于描述和预测数据，还可以帮助我们理解变量之间的关系和影响。

一、GLM的基本概念广义线性模型是由统计学家Nelder和Wedderburn于1972年提出的，它是线性回归模型的扩展。

在传统的线性回归模型中，我们假设因变量Y与自变量X之间存在线性关系，即Y = β0 + β1X + ε，其中β0和β1是待估计的系数，ε是误差项。

而GLM则允许因变量和自变量之间的关系不是线性的，可以是非线性的、离散的、非正态的等。

二、GLM的三个重要组成部分GLM由三个重要的组成部分构成：随机分布、系统性成分和连接函数。

随机分布用于描述因变量的分布特征，系统性成分用于描述自变量和因变量之间的关系，连接函数则用于将系统性成分与随机分布联系起来。

1. 随机分布在GLM中，我们常常假设因变量Y服从指数分布家族中的某个分布，如正态分布、泊松分布、二项分布等。

通过选择合适的分布，我们可以更好地描述和解释数据。

2. 系统性成分系统性成分是GLM中的关键部分，它用于描述自变量和因变量之间的关系。

通常，我们将系统性成分表示为线性组合的形式，即η = β0 + β1X1 + β2X2 + ... +βpXp，其中η是系统性成分，β0、β1、β2等是待估计的系数，X1、X2等是自变量。

3. 连接函数连接函数是将系统性成分和随机分布联系起来的桥梁。

它的作用是将系统性成分的线性组合映射到随机分布的参数空间中，使得我们可以通过系统性成分来预测和解释因变量的分布特征。

常见的连接函数有恒等函数、对数函数、逆正态函数等。

三、GLM的应用领域广义线性模型在统计学中有着广泛的应用领域。

以下是几个常见的应用示例：1. 生物医学研究在生物医学研究中，研究人员常常需要分析和解释疾病发生的风险因素。

广义线性模型的分析及应用一、引言广义线性模型（Generalized Linear Model, GLM）提供了一种在保持简单性的前提下，对非正态响应变量建立连续性预测模型的方法，适用于许多实际应用问题中。

本文旨在介绍广义线性模型的基本概念、模型构建方法、推断等内容，并通过实际案例的分析加深对GLM的理解与应用。

二、基本概念GLM是统计学中一种具有广泛适用性的模型框架，它的基本思想是将未知的响应变量与已知的协变量之间的关系描述为一个线性预测器和一个非线性函数的组合，即：g(E(Y)) = β_0 + β_1X_1 + ⋯+ β_pX_p其中，g(·)称为联接函数（Link Function），它定义了响应变量的均值与预测变量之间的关系，E(Y)为响应变量的期望，X_1,X_2,…,X_p为解释变量（predictor）或协变量（covariate），β_0, β_1, …, β_p是模型的系数或参数。

GLM假定响应变量Y服从指数分布族中的某一个分布，如正态分布、二项分布、泊松分布等。

三、模型构建方法1. 选择联接函数和分布族：不同的响应变量应选用不同的分布族。

例如，连续性响应变量可选用正态分布，二元响应变量可选用二项分布，而计数型响应变量可选用泊松分布等。

2. 选择解释变量：可使用变量选择算法，如前向选择法、向后选择法、逐步回归等，在给定样本内拟合出最佳模型。

3. 选择估计方法：由于某些非正态分布族无法使用最小二乘法拟合，可以使用极大似然估计法或广义估计方程法。

对于大样本，一般使用广义线性混合模型等。

4. 模型比较与选择：模型拟合后，需要进行模型检验和模型诊断，主要包括残差分析、Q-Q图检验、$R^2$值、F检验、AIC/BIC值等指标的分析。

四、模型应用GLM的应用非常广泛，特别是在医学、生态、社会科学、金融等领域。

下面以某市2019年全年医疗保险数据为例，运用GLM模型进行分析。

1. 数据描述健康保险数据包含了每个缴费人的性别、年龄、缴费金额、报销金额等信息。

关于广义线性模型和一般线性模型的数学理论和应用线性模型是统计学领域非常重要的一类模型，其中包括广义线性模型（Generalized Linear Models，简称GLM）和一般线性模型（General Linear Models，简称GLM）。

GLM和GLM有着紧密的联系，但也各自有着特点和应用。

本文将探讨GLM和GLM的数学理论和应用。

一、广义线性模型广义线性模型是由Mcullagh和Nelder于1982年提出的，它是线性模型的扩展，可以适应更为复杂的数据结构和变异模式。

与传统的线性模型相比，GLM的形式更为灵活，不仅能够模拟标量数据，还能够模拟其他类型的数据，比如二元数据、计数数据、序数数据等。

GLM的最大特点是可以将因变量的均值与自变量联系起来，并将自变量的参数与因变量的概率分布函数联系起来。

具体地说，GLM的一般形式为：$$ g(E(Y_i))=\beta_0+\beta_1x_{1i}+\dots+\beta_px_{pi} $$其中，$Y_i$表示因变量，$x_i$是自变量，$g$是一个连续函数，称为连接函数（link function），一般为对数函数、逆正弦函数、逆双曲正切函数等。

$\beta_0,\beta_1,\dots,\beta_p$是待求参数。

通常情况下，GLM的因变量$Y$的概率分布函数是指数分布族，具体包括正态分布、二项分布、泊松分布、伽马分布等。

GLM的优点是可以拟合非正态分布的数据，并且能够建立出统一的推导框架。

在实际应用中，GLM广泛用于医疗、金融、风险分析等领域。

二、一般线性模型一般线性模型是经典的线性模型，也是广义线性模型的一种特殊情况。

一般线性模型将因变量$Y$视为自变量的一个线性组合，即：$$ Y=X\beta+\epsilon $$其中，$X$是一个$n\times(p+1)$的矩阵，第一列全为1，$\beta$是$p+1$个待求参数，$\epsilon$是一个$n$维的随机误差向量，假设$\epsilon$服从正态分布$N(0,\sigma^2I)$。

⼴义线性模型（GLM,GeneralizedLinearModel）
引⾔：通过⾼斯模型得到最⼩⼆乘法(线性回归)，即：
通过伯努利模型得到逻辑回归，即：
这些模型都可以通过⼴义线性模型得到。

⼴义线性模型是把⾃变量的线性预测函数当作因变量的估计值。

在机器学习中，有很多模型都是基于⼴义线性模型的，⽐如传统的线性回归模型，最⼤熵模型，Logistic回归，softmax回归，等等。

今天主要来学习如何来针对某类型的分布建⽴相应的⼴义线性模型。

1. ⼴义线性模型
⼴义线性模型：⼴义线性模型是基于指数分布族(Exponential Family)，⽽指数分布族的原型如下：
其中，η是⾃然参数(Natural Parameter)，T(y)为充分统计量(Sufficient Statistic)，通常T(y)=y。

实际上，许多分布(如，⾼斯分布、指数分布、泊松分布、伽马分布灯)都属于指数分布族。

所以，线性回归、逻辑回归等都是⼴义线性模型的特例，实际上，性分布中，y服从⾼斯分布那么⼴义线性模型为线性回归，y服从伯努利分布为逻辑回归。

在使⽤⼴义线性模型构建其他模型之前，⾸先有三个假设：
(1) y|x; θ~ExpFamily；
(2) 给定x，⽬标是输出期望E[T(y)|x]，得到h(x)= E[T(y)|x]；
(3) η与x的关系是线性的，即：
1. 常见概率模型由⼴义线性模型的推导
(1) ⾼斯模型
⾼斯分布可以表⽰为：
⾼斯模型的⾃然参数与均值成线性分布，所以
(2) 伯努利模型
伯努利模型可以表⽰为：
其中，b(y)=1。

从⽽得到逻辑回归模型。

带⼊a(η)可以得到：。

广义线性模型的推广及应用广义线性模型（Generalized Linear Model，简称GLM）是统计学中一种重要的模型，它将线性模型推广到了更广泛的情况下，可以处理非正态分布的响应变量。

在实际应用中，广义线性模型被广泛应用于各个领域，如医学、金融、市场营销等。

本文将介绍广义线性模型的推广及其在实际应用中的具体案例。

## 一、广义线性模型的基本概念广义线性模型是由Nelder和Wedderburn于1972年提出的，它是线性模型的一种推广形式。

在传统的线性模型中，假设因变量服从正态分布，而在广义线性模型中，因变量的分布可以是指数分布族中的任意一种分布，如正态分布、泊松分布、二项分布等。

广义线性模型的基本形式如下：$$g(E(Y)) = \beta_0 + \beta_1X_1 + \beta_2X_2 + ... +\beta_pX_p$$其中，$g()$是连接函数（link function），用于将因变量的均值与自变量的线性组合联系起来；$E(Y)$表示因变量的期望；$\beta_0, \beta_1, \beta_2, ..., \beta_p$是模型的系数；$X_1, X_2, ..., X_p$是自变量。

## 二、广义线性模型的推广### 1. 权重广义线性模型（Weighted GLM）在一些实际应用中，观测数据的方差可能不相等，此时可以使用权重广义线性模型来处理这种情况。

权重广义线性模型通过赋予不同观测数据不同的权重，来更好地拟合数据。

在权重广义线性模型中，模型的似然函数被修改为考虑到每个观测数据的权重，从而得到更准确的参数估计。

### 2. 分层广义线性模型（Hierarchical GLM）分层广义线性模型是将广义线性模型与分层模型相结合的一种形式。

在分层广义线性模型中，模型考虑了数据的层次结构，将数据分为不同的层次，并在每个层次上建立广义线性模型。

这种模型适用于具有多层次结构的数据，能够更好地捕捉数据之间的相关性。

广义线性模型及其在统计学中的应用广义线性模型是统计学中一个重要的模型，可以用来建立响应变量与解释变量之间的关系，它是线性模型的一种推广形式。

该模型的应用范围十分广泛，可以用于分类、回归、时间序列分析等多个领域。

一、广义线性模型的定义广义线性模型是基于分布族以及链接函数的概率论模型，可以用来描述解释变量对响应变量的影响。

该模型通过将响应变量转化为一组线性预测器的和，并通过一个链接函数将这个和映射到一个合适的响应变量上，从而建立响应变量与解释变量之间的关系。

广义线性模型中假设响应变量的分布属于指数分布族，该分布族仅包含正态分布、泊松分布、二项分布等概率分布。

二、广义线性模型的组成部分广义线性模型由三部分组成：随机部分、线性预测部分和链接函数。

1.随机部分：随机部分是广义线性模型中的响应变量Y的概率分布，可以假设Y服从指数分布族中的某款分布，如正态分布、泊松分布等等。

2.线性预测部分：线性预测部分是用来建立解释变量和响应变量之间的关系。

假设我们有p个解释变量，那么线性预测部分就可以表示为：η = β_0 + β1x1 + β2x2 + ...+ βpxp其中，η代表了Y的总体期望值的线性预测，βi是解释变量xi 的系数。

3.链接函数：链接函数用于将线性预测部分的计算结果映射到响应变量Y的值上，使得Y的值与线性预测部分保持一致。

由于不同的概率分布族需要采用不同的链接函数，因此广义线性模型的链接函数是根据分布族来确定的。

例如，对于二项分布，采用的是logit函数作为链接函数，而对于泊松分布，采用的是对数链接函数。

三、广义线性模型的应用广义线性模型在统计学中的应用十分广泛，这里简单介绍一下它在分类和回归中的应用。

1.分类在分类问题中，广义线性模型可以通过二项分布来描述响应变量Y的分布。

例如，在疾病诊断中，我们可以将疾病的结果分为两种情况：患病与未患病。

假设我们有一些特征来描述每个患者，如年龄、性别、体重等，我们可以使用广义线性模型来预测每个患者是否患病。

广义线性模型广义线性模型*（Nelder和Wedderburn，1972）除了正态分布，也允许反应分布，以及模型结构中的一定程度的非线性。

GLM具有基本结构g(μi)=X iβ,其中μi≡E（Yi），g是光滑单调'链接函数'，Xi是模型矩阵的第i行，X和β是未知参数的向量。

此外，GLM通常会做出Yi是独立的和Yi服从一些指数族分布的假设。

指数族分布包括许多对实际建模有用的分布，如泊松分布，二项分布，伽马分布和正态分布。

GLM的综合参考文献是McCullagh和Nelder（1989），而Dobson（2001）提供了一个全面的介绍。

因为广义线性模型是以“线性预测器”Xβ的形式详细说明的，所以线性模型的许多一般想法和概念通过一些修改而继续存在到广义线性模型中。

除了必须选择的链接函数和分布之外，基本模型公式与线性模型公式基本相同。

当然，如果恒等函数被选择作为链接以及正态分布，那么普通线性模型将作为特例被恢复。

然而，泛化是以某种成本为代价的：现在的模型拟合必须要迭代完成，而且用于推理的分布结果是近似的，并且由大样本限制结果证明是正确的而不是精确的。

但在深入探讨这些问题之前，请考虑几个简单的例子。

μi=cexp(bt i),例1：在疾病流行的早期阶段，新病例的发生率通常会随着时间以指数方式增加。

因此，如果μi是第ti天的新病例的预期数量，则该形式的模型为请注意，“广义”和“一般”线性模型之间存在区别-后一个术语有时用于指除简单直线以外的所有线性模型。

可能是合适的，其中c和b是未知参数。

通过使用对数链路，这样的模型可以变成GLM形式log(μi)=log(c)+bt i=β0+t iβ1（根据β0=logc和β1=b的定义）。

请注意，模型的右侧现在在参数中是线性的。

反应变量是每天新病例的数量，因为这是一个计数，所以泊松分布可能是一个合理的可以尝试的分布。

因此，针对这种情况的GLM使用泊松反应分布，对数链路和线性预测器β0+tiβ1。

广义线性模型在社会科学研究中的应用广义线性模型（Generalized Linear Model, GLM）是一种统计学的分析方法，被广泛应用于社会科学的研究中。

在社会科学研究中，数据的特征通常是非正态分布、异方差性和离群值等，这些特征使得传统的线性回归模型无法适应社会科学中的数据分析，而GLM则可以很好地处理这些问题。

本文将探讨GLM在社会科学研究中的应用。

一、GLM的概念和原理GLM是一种广义的线性回归模型，在传统的线性回归模型基础上，将响应变量的概率分布扩展为了更广泛的分布类型，可以通过不同的分布类型解决非正态分布的问题。

GLM使用的是最大似然估计方法，通过最大化似然函数，求得模型参数。

GLM的模型可以表示为：Y = g(β0 + β1X1 + β2X2 + … + βpXp) + ε其中，Y表示响应变量，g()函数为链接函数，将线性关系映射到响应变量上，β0到βp表示模型的系数，X1到Xp表示自变量，ε是误差项。

二、GLM模型的分布参数和链接函数GLM中响应变量的概率分布可以是正态分布、泊松分布、二项分布、伽马分布等。

以下列举几种在社会科学研究中经常使用的分布类型：1. 正态分布：适用于连续型变量，例如年龄、身高、收入等。

链接函数为恒等函数(identity)，即Yi = β0 + β1X1i + β2X2i + … + βpXpi + εi。

2. 泊松分布：适用于计数型变量，例如犯罪率、事故率等。

链接函数为对数函数(log)，即log(Yi) = β0 + β1X1i + β2X2i + … +βpXpi + εi。

3. 二项分布：适用于二元变量，例如投票、婚姻等。

链接函数为对数几率函数(logit)，即log(Yi/1-Yi) = β0 + β1X1i + β2X2i + … + βpXpi + εi。

4. 伽马分布：适用于右偏的连续型变量，例如医疗费用、保险理赔等。

链接函数为倒数函数(reciprocal)，即1/Yi = β0 + β1X1i + β2X2i + … + βpXpi + εi。

广义线性模型的参数估计及其经验应用广义线性模型是统计学中重要的一种模型，它统一了多种线性回归模型，包括普通线性回归、Logistic回归、Poisson回归、Gamma回归等。

广义线性模型的参数估计是模型分析的关键步骤之一，本文将探讨广义线性模型的参数估计及其经验应用。

一、广义线性模型广义线性模型（Generalized Linear Models，简称GLM）的基本表达式为：$g(E(Y))=\beta_0+\sum_{i=1}^{n}\beta_ix_i$其中，$g(E(Y))$是链接函数，$Y$是因变量，$x_i$是自变量，$\beta_i$是系数。

链接函数在不同的模型中有不同的定义，下面介绍几种常见的链接函数及其作用。

1.1. 普通线性回归普通线性回归的链接函数为恒等函数，即：$g(E(Y))=E(Y)$因此，普通线性回归的模型表达式为：$Y=\beta_0+\sum_{i=1}^{n}\beta_ix_i+\epsilon$其中，$\epsilon$为误差项。

1.2. Logistic回归Logistic回归的链接函数为logit函数，即：$g(E(Y))=\log\frac{E(Y)}{1-E(Y)}$Logistic回归用于二分类问题，因此$Y$只有两种取值，通常用0和1表示。

Logistic回归的模型表达式为：$\log\frac{P(Y=1)}{1-P(Y=1)}=\beta_0+\sum_{i=1}^{n}\beta_ix_i$其中，$P(Y=1)$表示$Y$取值为1的概率。

1.3. Poisson回归Poisson回归的链接函数为log函数，即：$g(E(Y))=\log(E(Y))$Poisson回归用于计数数据的分析，因此$Y$只能取非负整数值。

Poisson回归的模型表达式为：$\log(E(Y))=\beta_0+\sum_{i=1}^{n}\beta_ix_i$1.4. Gamma回归Gamma回归的链接函数为倒数函数，即：$g(E(Y))=-\frac{1}{E(Y)}$Gamma回归用于连续正值数据的分析。

⼴义线性模型（GeneralizedLinearModels）转载请注明出⾃BYRans博客：前⾯的⽂章已经介绍了⼀个回归和⼀个分类的例⼦。

在模型中我们假设：在分类问题中我们假设：他们都是⼴义线性模型中的⼀个例⼦，在理解⼴义线性模型之前需要先理解指数分布族。

指数分布族（The Exponential Family）如果⼀个分布可以⽤如下公式表达，那么这个分布就属于指数分布族：公式中y是随机变量；h(x)称为基础度量值（base measure）；η称为分布的⾃然参数（natural parameter），也称为标准参数（canonical parameter）；T(y)称为充分统计量，通常T(y)=y；a(η)称为对数分割函数（log partition function）；本质上是⼀个归⼀化常数，确保概率和为1。

当T(y)被固定时，a(η)、b(y)就定义了⼀个以η为参数的⼀个指数分布。

我们变化η就得到这个分布的不同分布。

伯努利分布属于指数分布族。

伯努利分布均值为φ，写为Bernoulli(φ)，是⼀个⼆值分布，y ∈ {0, 1}。

所以p(y = 1; φ) = φ; p(y = 0; φ) = 1 −φ。

当我们变化φ就得到了不同均值的伯努利分布。

伯努利分布表达式转化为指数分布族表达式过程如下：其中，再举⼀个⾼斯分布的例⼦，⾼斯分布也属于指数分布族。

由⾼斯分布可以推导出线性模型（推导过程将在EM算法中讲解），由线型模型的假设函数可以得知，⾼斯分布的⽅差与假设函数⽆关，因⽽为了计算简便，我们设⽅差=1。

⾼斯分布转化为指数分布族形式的推导过程如下：其中许多其他分部也属于指数分布族，例如：伯努利分布（Bernoulli）、⾼斯分布（Gaussian）、多项式分布（Multinomial）、泊松分布（Poisson）、伽马分布（Gamma）、指数分布（Exponential）、β分布、Dirichlet分布、Wishart分布。

广义线性模型广义线性模型（Generalized Linear Model，GLM）是一种在统计学中常用的模型，它是对普通线性模型的扩展和推广。

在广义线性模型中，因变量不需要满足正态分布的假设，而是通过连接函数（link function）与线性组合的结果进行建模。

广义线性模型的应用领域十分广泛，涵盖了回归分析、分类分析以及其他众多领域。

1. 普通线性模型普通线性模型是一种经典的建模方法，其基本形式为：$$ Y = \\beta_0 + \\beta_1 X_1 + \\beta_2 X_2 + ... + \\beta_k X_k + \\epsilon $$ 其中，Y表示因变量，X1,X2,...,X k表示自变量，$\\beta_0, \\beta_1,\\beta_2, ..., \\beta_k$为模型参数，$\\epsilon$为误差项。

普通线性模型的关键假设是因变量Y服从正态分布。

2. 广义线性模型的基本原理广义线性模型是对普通线性模型的推广，其基本形式为：$$ g(\\mu) = \\beta_0 + \\beta_1 X_1 + \\beta_2 X_2 + ... + \\beta_k X_k $$其中，g()为连接函数（link function），$\\mu$表示期望的因变量Y，其他符号的含义同普通线性模型。

通过连接函数g()，广义线性模型在一般性上不再要求因变量Y服从正态分布。

3. 连接函数（Link Function）连接函数g()的选择是广义线性模型的关键之一，不同的连接函数对应不同的模型形式。

常见的连接函数包括：•恒等连接函数（Identity link function）: $g(\\mu) = \\mu$，对应普通线性模型。

•对数连接函数（Log link function）: $g(\\mu) = log(\\mu)$，常用于泊松回归等模型。

•逆连接函数（Inverse link function）: $g(\\mu) = \\frac{1}{\\mu}$，用于逻辑回归等模型。

广义线性模型在统计学中的应用广义线性模型（Generalized Linear Model, GLM）是一种在统计学中常用的模型，它能够处理不同类型的响应变量，并且灵活性较强。

本文将讨论广义线性模型在统计学中的应用，并介绍一些相关的概念和方法。

一、广义线性模型的基本概念广义线性模型是对传统线性模型的拓展和推广，它的设计思想是将输入变量与输出变量之间的关系通过非线性函数进行建模。

与传统线性模型不同，广义线性模型可以处理非连续型的响应变量，例如二项分布、泊松分布和伽马分布等。

广义线性模型由三个基本要素组成：随机部分、系统部分和连接函数。

随机部分指的是响应变量的概率分布，例如二项分布、正态分布等。

系统部分则指的是与输入变量之间的关系，通常包括线性组合和非线性转换。

连接函数则将随机部分和系统部分连接起来，将非线性的输出转化为线性的输入。

二、广义线性模型的应用1. 二项分布的应用二项分布是广义线性模型中常用的概率分布之一。

在实际应用中，我们经常遇到二元性的响应变量，例如成功与失败、生存与死亡等。

广义线性模型通过将二元性的响应变量建模为一个二项分布，并使用连接函数将其与线性组合联系起来，从而实现对应变量的预测和建模。

2. 泊松分布的应用泊松分布是一种在计数数据分析中常用的概率分布。

在实际应用中，我们经常需要对某一时间段内发生的事件次数进行建模和预测。

广义线性模型可以将事件次数建模为泊松分布，并使用连接函数将其与线性组合联系起来，从而实现对事件发生率的预测和建模。

3. 伽马分布的应用伽马分布是一种在连续性数据分析中常用的概率分布。

在实际应用中，我们经常需要对某一连续性变量进行建模和预测，例如收入、销售额等。

广义线性模型可以将连续性变量建模为伽马分布，并使用连接函数将其与线性组合联系起来，从而实现对变量的预测和建模。

三、广义线性模型的相关方法1. 最大似然估计最大似然估计是广义线性模型中常用的参数估计方法。

通过构建似然函数，最大似然估计可以寻找使似然函数取得最大值的参数值，从而实现对模型参数的估计。

⼴义线性模型从线性回归，logistic回归，softmax回归，最⼤熵的概率解释来看，我们会发现线性回归是基于⾼斯分布+最⼤似然估计的结果，logistic回归是伯努利分布+对数最⼤似然估计的结果，softmax回归是多项分布+对数最⼤似然估计的结果，最⼤熵是基于期望+对数似然估计的结果。

前三者可以从⼴义线性模型⾓度来看。

⼴义线性模型⼴义线性模型建⽴在三个定义的基础上，分别为：定义线性预测算⼦η=θT x定义y的估计值h(x,θ)=E(y|x,θ)定义 y 的估值概率分布属于某种指数分布族：Pr(y|x,θ)=b(y)exp(ηT T(y)−a(η))接下来详细解释各个定义指数分布家族指数分布家族是指可以表⽰为指数形式的概率分布，指数分布的形式如下：p(y;η)=b(y)exp(ηT T(y)−a(η))其中:1. η被称为⾃然参数(natural parameters)2. T(y)称为充分统计量,通常T(y)=y3. a(η)称为对数分割函数（log partition function）；4. e−a(η)本质上是⼀个归⼀化常数，确保p(y;η)概率和为1。

当T(y)被固定时，a(η)、b(y)就定义了⼀个以η为参数的⼀个指数分布。

我们变化η就得到这个分布的不同分布。

为什么要把$ y的条件分布定义为这么奇怪的指数分布族？这是因为，在这样的定义下，我们可以证明：p(y|η)$ 的期望值满⾜：E(y|η)=ddηa(η)p(y|η)的⽅差满⾜：Var(y|η)=d2dη2a(η)如此简洁的期望和⽅差意味着：⼀旦待估计的y的概率分布写成了某种确定的指数分布族的形式（也就是给定了具体的a,b,T），那么我们可以直接套⽤公式h(x,θ)=E(y|x,θ)=ddηa(η) 构建回归模型。

实际上⼤多数的概率分布都属于指数分布家族，⽐如1）伯努利分布 0-1问题2）⼆项分布，多项分布多取值多次试验3）泊松分布计数过程4）伽马分布与指数分布5）β分布6）Dirichlet分布7）⾼斯分布现在我们将⾼斯分布和伯努利分布⽤指数分布家族的形式表⽰：Bernoulli分布的指数分布族形式：p(y=1;ϕ)=ϕ;p(y=0;ϕ)=1−ϕ⟹p(y;ϕ)=ϕy(1−ϕ)1−y=exp(ylogϕ+(1−y)log(1−ϕ))=exp((log(ϕ1−ϕ))y+log(1−ϕ))即：在如下参数下⼴义线性模型是 Bernoulli 分布η=log(ϕ/(1−ϕ))⟹ϕ=1/(1+e−η)T(y)=ya(η)=−log(1−ϕ)=log(1+eη)b(y)=1 Gaussian 分布的指数分布族形式：在线性回归中，σ对于模型参数θ的选择没有影响，为了推导⽅便我们将其设为1：p(y;µ)=1√2πexp(−12(y−µ)2)=1√2πexp(−12y2)⋅exp(µy−12µ2)得到对应的参数：η=µT(y)=ya(η)=µ2/2=η2/2b(y)=1√2πexp(−12y2)⽤⼴义线性模型进⾏建模想⽤⼴义线性模型对⼀般问题进⾏建模⾸先需要明确⼏个假设：1.y|x;θ∼ExponentialFamily(η)的条件概率属于指数分布族2.给定x ⼴义线性模型的⽬标是求解 T(y)|x ，不过由于很多情况下T(y)=y所以我们的⽬标变成了y|x , 也即我们希望拟合函数为h(x)=E[y|x](NOTE：这个条件在线性回归和逻辑回归中都满⾜，例如逻辑回归中hθ(x)=p(y=1|x;θ))3.⾃然参数η与x是线性关系：η=θT x (η为向量时,ηi=θT i x )有了如上假设就可以进⾏建模和求解了：⼴义线性模型推导出线性回归：step1: p(y|x;theta)∼N(µ,θ)step2: 由假设2h(x)=E[y|x]得到：h(x)=E[y|x]=µ=η=θT x⼴义线性模型推导出逻辑回归：step1: p(y|x;theta)∼Bernoulli(ϕ)step2: 由假设2h(x)=E[y|x]得到：h(x)=E[y|x]=ϕ=11+e−η=11+e−θT xProcessing math: 100%。

线性模型(5)——广义线性模型广义线性模型是一种扩展了一般线性模型的模型，它在混合线性模型的基础上进一步扩展，使得线性模型的使用范围更加广泛。

每次扩展都是为了适用更多的情况。

一般线性模型要求观测值之间相互独立，残差（因变量）服从正态分布，残差（因变量）方差齐性。

而混合线性模型取消了观测值之间相互独立和残差（因变量）方差齐性的要求。

广义线性模型又取消了对残差（因变量）服从正态分布的要求。

残差不一定要服从正态分布，可以服从二项、泊松、负二项、正态、伽马、逆高斯等分布，这些分布被统称为指数分布族，并且引入了连接函数。

根据不同的因变量分布、连接函数等组合，可以得到各种不同的广义线性模型。

需要注意的是，虽然广义线性模型不要求因变量服从正态分布，但是仍要求相互独立。

如果不符合相互独立的要求，需要使用广义估计方程。

广义线性模型的一般形式包括线性部分、随机部分εi和连接函数。

连接函数为单调可微的函数，起到连接因变量的估计值μ和自变量的线性预测值η的作用。

在广义线性模型中，自变量的线性预测值是因变量的函数估计值。

广义线性模型设定因变量服从指数族概率分布，这样因变量就可以不局限于正态分布，并且方差可以不稳定。

指数分布族的概率密度函数包括θ和φ两个参数，其中θ为自然参数，φ为离散参数，a、b、c为函数广义线性模型的参数估计。

广义线性模型的参数估计一般不能使用最小二乘法，常用加权最小二乘法或极大似然法。

回归参数需要用迭代法求解。

广义线性模型的检验和拟合优度一般使用似然比检验和Wald检验。

似然比检验是通过比较两个相嵌套模型的对数似然函数来进行的，统计量为G。

模型P中的自变量是模型K 中自变量的一部分，另一部分是要检验的变量。

G服从自由度为K-P的卡方分布。

回归系数使用Wald检验进行模型比较。

广义线性模型的拟合优度通常使用以下统计量来度量：离差统计量、Pearson卡方统计量、AIC、AICC、BIC、CAIC准则，准则的值越小越好。