常见分布与共轭分布

共轭分布在贝叶斯概率理论中，如果后验概率和先验概率满⾜同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。

Beta分布是⼆项式分布的共轭先验分布，⽽狄利克雷(Dirichlet)分布是多项式分布的共轭分布。

共轭的意思是，以Beta分布和⼆项式分布为例，数据符合⼆项分布的时候，参数的先验分布和后验分布都能保持Beta分布的形式，这种形式不变的好处是，我们能够在先验分布中赋予参数很明确的物理意义，这个物理意义可以延续到后续分布中进⾏解释，同时从先验变换到后验过程中从数据中补充的知识也容易有物理解释。

我们还是从⼀个例⼦讲起。

假如你有⼀个硬币，它有可能是不均匀的，所以投这个硬币有θ的概率抛出Head，有 (1−θ) 的概率抛出Tail。

如果抛了五次这个硬币，有三次是Head，有两次是Tail，这个θ最有可能是多少呢？如果你必须给出⼀个确定的值，并且你完全根据⽬前观测的结果来估计θ，那么显然你会得出结论θ=3/5。

但上⾯这种点估计的⽅法显然有漏洞，这种漏洞主要体现在实验次数⽐较少的时候，所得出的点估计结果可能有较⼤偏差。

⼤数定理也告诉我们，在重复实验中，随着实验次数的增加，事件发⽣的频率才趋于⼀个稳定值。

⼀个⽐较极端的例⼦是，如果你抛出五次硬币，全部都是Head。

那么按照之前的逻辑，你将估计θ的值等于 1。

也就是说，你估计这枚硬币不管怎么投，都朝上！但是按正常思维推理，我们显然不太会相信世界上有这么厉害的硬币，显然硬币还是有⼀定可能抛出Tail的。

就算观测到再多次的Head，抛出Tail的概率还是不可能为0。

前⾯介绍的贝叶斯定理或许可以帮助我们。

在贝叶斯学派看来，参数θ不再是⼀个固定的值了，⽽是满⾜⼀定的概率分布！回想⼀下前⾯介绍的先验概率和后验概率。

在估计θ时，我们⼼中可能有⼀个根据经验的估计，即先验概率，P(θ)。

⽽给定⼀系列实验观察结果 X 的条件下，我们可以得到后验概率为在上⾯的贝叶斯公式中，P(θ) 就是个概率分布。

目录1. 均匀分布 (1)2. 正态分布（高斯分布） (2)3. 指数分布 (2)4. Beta分布（：分布） (2)5. Gamm 分布 (3)6. 倒Gamm分布 (4)7. 威布尔分布（Weibull分布、韦伯分布、韦布尔分布） (5)8. Pareto 分布 (6)9. Cauchy分布（柯西分布、柯西-洛伦兹分布） (7)210. 分布（卡方分布） (7)8 11. t分布................................................9 12. F分布 ...............................................10 13. 二项分布............................................10 14. 泊松分布（Poisson 分布）.............................11 15. 对数正态分布........................................1. 均匀分布均匀分布X ~U（a,b）是无信息的，可作为无信息变量的先验分布。

2. 正态分布（高斯分布）当影响一个变量的因素众多，且影响微弱、都不占据主导地位时，这个变量 很可能服从正态分布，记作X~N （」f 2）。

正态分布为方差已知的正态分布N （*2）的参数」的共轭先验分布。

1 空f （x ）： —— e 2-J2 兀 o'E(X)， Var(X) _ c 23. 指数分布指数分布X ~Exp （ ）是指要等到一个随机事件发生，需要经历多久时间。

其 中，.0为尺度参数。

指数分布的无记忆性：Plx s t|X = P{X t}。

f （X ）二 y oiE(X) 一4. Beta 分布（一：分布）f （X ）二 E(X)Var(X)=(b-a)2 12Var(X)二1~2Beta 分布记为X 〜Be(a,b)，其中Beta(1,1)等于均匀分布，其概率密度函数 可凸也可凹。

共轭先验分布推导共轭先验分布的推导通常基于贝叶斯定理和似然函数。

贝叶斯定理表述了后验概率分布与先验概率分布和似然函数的关系。

在给定数据的情况下，后验概率分布可以通过先验概率分布和似然函数来计算。

以指数分布为例，其λ参数的共轭先验分布为伽马分布。

设先验分布密度函数为γ(α,β)，其中α为形状参数，β为尺度参数。

样本数据~的似然函数为L(λ) = exp(-λθ) * I(0,∞)(1/λ)，其中I(0,∞)(1/λ)为指数分布的概率密度函数。

根据贝叶斯定理，后验概率分布为p(λ|x) ∝L(λ) * p(λ)，即p(λ|x) ∝(1/λ)^(n+α-1) * exp(-(θ+β)/λ)。

通过比较系数法，可得p(λ|x) ∝(1/λ)^(n+α-1) * exp(-(θ+β)/λ)，即为伽马分布，其中α' = n+α-1，β' = θ+β。

对于正态分布，均值μ的共轭先验分布为正态分布，方差σ²的共轭先验分布为倒伽马分布。

设先验分布密度函数分别为N(μ0, σ0²)和IG(α,β)，其中N代表正态分布，IG代表倒伽马分布。

样本数据~的似然函数分别为L(μ) = (1/√(2πσ²)) * exp(-(x-μ)²/(2σ²))和L(σ²) = β^(-α) * γ(α,β)，其中γ(α,β)为伽马函数。

根据贝叶斯定理，后验概率分布分别为N(μ'0, σ'0²)和IG(α',β')，其中μ'0 = (α-1)/(n+α-2) * Σxi/σ²+ μ0/(n+α-2)，σ'0²= (n/σ²+ α-1)/(n+α-2)，α' = n+α-2，β' = Σxi²/σ²+ β。

对于二项分布和负二项分布，参数p的共轭先验分布分别为贝塔分布和贝塔分布。

在深入探讨证明贝塔分布是二项分布的共轭先验之前，让我们先来了解一下贝塔分布和二项分布的基本概念。

贝塔分布是概率论和统计学中常用的一种连续概率分布，它用于描述0到1之间的随机变量的概率分布。

贝塔分布的概率密度函数形式为：[ f(x; , ) = x{}(1-x){} ]其中，() 和 () 是分布的参数，而 (B(, )) 是贝塔函数。

贝塔分布常用于描述概率或比率的分布，例如成功的概率、事件发生的频率等。

而二项分布则是描述在 n 次独立重复的是/非试验中成功的次数的离散概率分布。

如果每次试验成功的概率为 p ，失败的概率为 1-p ，则在 n 次独立重复试验中成功的次数 X 服从参数为 n 和 p 的二项分布。

了解了贝塔分布和二项分布的基本概念后，我们来探讨一下证明贝塔分布是二项分布的共轭先验这个主题。

在贝叶斯统计中，共轭先验是一种重要的性质，它指的是如果后验分布和先验分布属于同一分布族，那么这个先验分布就被称为后验分布的共轭先验。

据证明，如果我们假设二项分布的参数 ( p ) 的先验分布是贝塔分布，那么在给定二项分布的观测数据后，后验分布也将是一个贝塔分布。

这一性质使得贝塔分布成为二项分布的共轭先验。

我们假设二项分布的参数 ( p ) 的先验分布为贝塔分布，即：[ X (n, p) ] [ p (, ) ]其中， ( X ) 是观测数据，表示成功的次数； ( n ) 是重复试验的次数； ( p ) 是成功的概率； ( ) 和 ( ) 是贝塔分布的参数。

接下来，我们根据贝叶斯定理，可以得到参数 ( p ) 的后验分布为：[ p | X (+ X, + n - X) ]这意味着给定二项分布的观测数据后，参数 ( p ) 的后验分布仍然是一个贝塔分布，其参数是根据先验分布的参数和观测数据进行了更新。

这就是贝塔分布是二项分布的共轭先验的证明过程。

在实际应用中，利用贝塔分布作为二项分布参数 ( p ) 的先验分布，可以更加灵活和方便地进行贝叶斯推断。

目录1. 均匀分布 ...................................................................................................... 1 2. 正态分布（高斯分布） ........................................................................... 2 3. 指数分布 ...................................................................................................... 2 4. Beta 分布（β分布） ............................................................................. 2 5. Gamma 分布 .................................................................................................. 3 6. 倒Gamma 分布 ............................................................................................. 4 7. 威布尔分布(Weibull 分布、韦伯分布、韦布尔分布) ................. 5 8. Pareto 分布 ................................................................................................ 6 9. Cauchy 分布（柯西分布、柯西-洛伦兹分布） . (7)10. 2χ分布（卡方分布） (7)11. t 分布 ........................................................................................................ 8 12. F 分布 ........................................................................................................ 9 13. 二项分布 ................................................................................................ 10 14. 泊松分布（Poisson 分布） ............................................................. 10 15.对数正态分布 .......................................................................................111. 均匀分布均匀分布~(,)X U a b 是无信息的，可作为无信息变量的先验分布。

常⽤的概率分布：伯努利分布、⼆项式分布、多项式分布、先验概率，后验概率⼀，伯努利分布(bernouli distribution)⼜叫做0-1分布，指⼀次随机试验，结果只有两种。

也就是⼀个随机变量的取值只有0和1。

记为: 0-1分布或B(1,p)，其中 p 表⽰⼀次伯努利实验中结果为正或为1的概率。

概率计算：期望计算：最简单的例⼦就是，抛⼀次硬币，预测结果为正还是反。

⼆，⼆项式分布(binomial distrubution)表⽰n次伯努利实验的结果。

记为：X~B(n,p)，其中n表⽰实验次数，p表⽰每次伯努利实验的结果为1的概率，X表⽰n次实验中成功的次数。

概率计算：期望计算：例⼦就是，求多次抛硬币，预测结果为正⾯的次数。

三，多项式分布(multinomial distribution)多项式分布是⼆项式分布的扩展，不同的是多项式分布中，每次实验有n种结果。

概率计算：期望计算：最简单的例⼦就是多次抛筛⼦，统计各个⾯被掷中的次数。

四，先验概率，后验概率，共轭分布先验概率和后验概率： 先验概率和后验概率的概念是相对的，后验的概率通常是在先验概率的基础上加⼊新的信息后得到的概率，所以也通常称为条件概率。

⽐如抽奖活动，5个球中有2个球有奖，现在有五个⼈去抽，⼩名排在第三个，问题⼩明抽到奖的概率是多少？初始时什么都不知道，当然⼩明抽到奖的概率P( X = 1 ) = 2/5。

但当知道第⼀个⼈抽到奖后，⼩明抽到奖的概率就要发⽣变化，P(X = 1| Y1 = 1) = 1/4。

再⽐如⾃然语⾔处理中的语⾔模型，需要计算⼀个单词被语⾔模型产⽣的概率P(w)。

没有看到任何语料库的时候，我们只能猜测或者平经验，或者根据⼀个⽂档中单词w的占⽐，来决定单词的先验概率P(w) = 1/1000。

之后根据获得的⽂档越多，我们可以不断的更新。

也可以写成。

再⽐如，你去抓娃娃机，没抓之前，你也可以估计抓到的概率，⼤致在1/5到1/50之间，它不可能是1/1000或1/2。

正态分布的共轭先验正态分布的共轭先验正态分布的共轭先验是贝叶斯统计学中一种常用的参数估计方法。

它是指在对正态分布的参数进行后验概率的推导中，先验概率与后验概率服从同样的正态分布。

正态分布的共轭先验的优势在于可以产生一系列方便计算的后验分布表达式，且推导过程通常非常简单，这使得它成为了一种特别受欢迎的先验分布。

下面是正态分布的共轭先验的具体内容：1. 先验分布正态分布的共轭先验可以用以下概率密度函数表示：p(θ) = N(θ | μ0, σ0^2)其中，μ0和σ0^2是先验分布的参数，表示我们对θ的先验知识。

在没有先验信息的情况下，通常将μ0和σ0^2置为0和无穷大。

2. 似然函数对于给定的数据集D={x1, x2, ..., xn}，对θ的似然函数可以表示为：p(D | θ) = ∏(i=1 to n) N(xi | θ, σ^2)其中，σ^2是数据的已知方差。

3. 后验分布利用贝叶斯公式，我们可以获得θ的后验概率：p(θ | D) = p(D | θ) p(θ) / p(D)其中，p(D)是归一化常数，保证后验概率的总和为1。

由于p(D)往往难以计算，我们通常不进行计算，而是利用p(θ | D)直接进行进一步的推导和分析。

将先验概率和似然函数带入上式，我们可以获得θ的后验分布表达式：p(θ | D) = N(θ | μn, σn^2)其中，μn = (σ^2 μ0 + nσ0^2 xbar) / (σ^2 + nσ0^2)σn^2 = 1 / (1/σ0^2 + n/σ^2)其中，xbar是数据的平均值。

4. 后验预测分布给定后验概率p(θ | D)，我们可以利用贝叶斯之法进行未来预测，即计算任意未知值的概率分布。

对于任意一个新数据点x*，其预测分布可以表示为：p(x* | D) = ∫p(x* | θ) p(θ | D) dθ其中，p(x* | θ)是给定θ时x*的概率分布，通常假设其为正态分布。

指数分布的共轭分布指数分布是概率论中一个重要的概率分布，它具有许多重要的性质。

在贝叶斯统计学中，指数分布是一类重要的共轭分布，即在给定指数分布的先验分布下，后验分布也是指数分布。

本文将介绍指数分布的基本概念和性质，并探讨其共轭分布的特点。

让我们来了解一下指数分布的基本概念。

指数分布是描述事件发生时间间隔的概率分布，常用于描述一些连续随机事件的发生情况。

它的概率密度函数为f(x)=λe^(-λx)，其中λ是分布的参数，表示单位时间内事件发生的平均次数。

指数分布的期望值为1/λ，方差为1/λ^2。

指数分布的特点是事件发生的时间间隔越长，概率越小。

在贝叶斯统计学中，我们经常需要根据观测数据来更新对参数的先验分布，得到后验分布。

共轭分布是指在给定先验分布的情况下，后验分布属于同一分布族的分布。

对于指数分布而言，其共轭先验分布是伽玛分布。

伽玛分布是一类重要的概率分布，常用于描述一些连续随机事件的发生情况。

它的概率密度函数为f(x)=x^(α-1)e^(-βx)/Γ(α)，其中α和β是分布的参数，Γ(α)是伽玛函数。

伽玛分布的期望值为α/β，方差为α/β^2。

伽玛分布的特点是事件发生的概率随着参数的变化而变化。

当我们选择伽玛分布作为指数分布的先验分布时，根据贝叶斯定理，可以通过观测数据来更新对参数的先验分布，得到后验分布。

具体计算的方法可以通过贝叶斯公式来实现，不过在本文中我们将避免使用数学公式。

共轭分布的重要性在于它简化了贝叶斯推断的计算过程。

通过选择合适的共轭分布作为先验分布，我们可以避免复杂的计算和数值积分。

共轭分布的存在使得贝叶斯统计学成为一种实用的统计方法。

除了伽玛分布，指数分布还有其他一些共轭分布，比如正态分布、威布尔分布等。

这些共轭分布在不同的应用领域具有重要的作用。

比如在生存分析中，指数分布是描述时间间隔的常用分布，而威布尔分布则可以更好地描述不同阶段的风险情况。

指数分布是概率论中一个重要的概率分布，具有许多重要的性质。

证明贝塔分布是二项分布的共轭先验证明贝塔分布是二项分布的共轭先验1、引言贝塔分布和二项分布是概率统计中常用的两个概率分布。

在贝叶斯统计中，当先验分布和似然函数满足一定条件时，先验分布称为后验分布的共轭先验。

本文将证明贝塔分布是二项分布的共轭先验。

2、贝塔分布的定义和性质贝塔分布是用来描述一个随机变量的可能取值处于(0,1)之间的概率分布。

其概率密度函数为：P(x|α,β) = (x^(α-1) * (1-x)^(β-1)) / B(α,β)其中，B(α,β)是贝塔函数，定义为：B(α,β) = Γ(α) * Γ(β) / Γ(α+β)在贝塔分布中，α和β是分布的两个参数，表示随机变量的先验分布。

贝塔分布具有以下性质：- 贝塔分布的均值为α / (α + β)- 贝塔分布的方差为(α * β) / ((α + β)^2 * (α + β + 1))3、二项分布的定义和性质二项分布是描述n次独立重复试验中成功次数的概率分布。

其概率质量函数为：P(x|n,p) = C(n,x) * p^x * (1-p)^(n-x)其中，C(n,x)是组合数，定义为：C(n,x) = n! / (x! * (n-x)!)在二项分布中，n是试验次数，p是每次试验成功的概率。

二项分布具有以下性质：- 二项分布的均值为 n * p- 二项分布的方差为 n * p * (1-p)4、贝塔分布作为二项分布的共轭先验的证明为了证明贝塔分布是二项分布的共轭先验，我们需要证明当我们使用贝塔分布作为二项分布的先验时，后验分布仍然是一个贝塔分布。

先设我们有一组独立同分布的二项随机变量 X1, X2, ..., Xn，其服从二项分布 B(n, p)。

我们使用贝塔分布作为二项分布的先验，即先验概率密度为：P(p|α,β) = (p^(α-1) * (1-p)^(β-1)) / B(α,β)根据贝叶斯定理，我们可以求得后验概率密度：P(p|x,α,β) = P(x|p,n) * P(p|α,β) / P(x|n)其中，P(x|p,n)是二项分布的似然函数，P(x|n)是常数。

几种分布参数的共轭先验在贝叶斯统计中，共轭先验是指在后验分布中和先验分布具有相同形式的概率分布。

在实际应用中，选择一个合适的共轭先验可以使得计算后验分布变得更加简单和有效。

以下是几种常见的分布参数的共轭先验。

正态分布是常见的概率分布，它也经常作为其他分布的先验分布。

对于一个均值为$\mu$，方差为$\sigma^{2}$的正态分布$N(\mu,\sigma^{2})$，它的共轭先验是另一个均值为$\mu_{0}$，方差为$\sigma_{0}^{2}$的正态分布$N(\mu_{0},\sigma_{0}^{2})$。

这个共轭先验表示了对未知参数$\mu$的先验知识。

$$\mu_{1}=\frac{\frac{\mu_{0}}{\sigma_{0}^{2}}+\frac{\bar{x}}{s^{2}}}{\frac{1} {\sigma_{0}^{2}}+\frac{1}{s^{2}}}$$2. 狄利克雷分布的共轭先验狄利克雷分布是一种通常用于多项分布的先验分布。

对于一个K维的狄利克雷分布，参数向量$\alpha=(\alpha_{1},\alpha_{2},...,\alpha_{K})$，共轭先验分布也是一个K 维狄利克雷分布，参数向量为$\alpha_{0}=(\alpha_{01},\alpha_{02},...,\alpha_{0K})$。

对于K维多项分布，其概率密度函数为泊松分布是常用的离散概率分布之一，主要用于描述单位时间或空间内某一事件发生的次数。

泊松分布的共轭先验是一个参数为$\alpha$的指数分布。

设观测到的样本为$x_{1},x_{2},...,x_{n}$，那么泊松分布的后验分布就是一个参数为$\alpha_{1}$的指数分布，其中$$\alpha_{1}=\alpha+n\bar{x}$$其中$\bar{x}$是样本均值。

伽马分布是一种灵活的概率分布，它可以建模任意正实数。