下载文档原格式
条件随机场（CRF）的详细解释条件随机场是一类最适合预测任务的判别模型，其中相邻的上下文信息或状态会影响当前预测。
CRF 在命名实体识别、词性标注、基因预测、降噪和对象检测问题等方面都有应用。
在本文中首先，将介绍与马尔可夫随机场相关的基本数学和术语，马尔可夫随机场是建立在 CRF 之上的抽象。
然后，将详细介绍并解释一个简单的条件随机场模型，该模型将说明为什么它们非常适合顺序预测问题。
之后，将在 CRF 模型的背景下讨论似然最大化问题和相关推导。
最后，还有一个过对手写识别任务的训练和推理来演示 CRF 模型。
马尔可夫随机场马尔可夫随机场（Markov Random Field）或马尔可夫网络（Markov Network）是一类在随机变量之间具有无向图的图形模型。
该图的结构决定了随机变量之间的相关性或独立性。
马尔可夫网络由图G = (V, E) 表示，其中顶点或节点表示随机变量，边表示这些变量之间的依赖关系。
该图可以分解为J 个不同的团（小的集团cliques ）或因子（factors），每个由因子函数φⱼ支配，其范围是随机变量 Dⱼ的子集。
对于 dⱼ的所有可能值，φⱼ (dⱼ) 应该严格为正。
对于要表示为因子或团的随机变量的子集，它们都应该在图中相互连接。
所有团的范围的并集应该等于图中存在的所有节点。
变量的非归一化联合概率是所有因子函数的乘积，即对于上面显示的 V = (A, B, C, D) 的 MRF，联合概率可以写为：分母是每个变量可能取的所有可能的因子乘积的总和。
它是一个常数表示，也称为配分函数，通常用Z。
Gibbs Notation还可以通过对对数空间中的因子函数进行操作，将关节表示为Gibbs 分布。
使用β (dⱼ) = log (ϕ (dⱼ))，可以用 Gibbs 表示法表示共同的边，如下所示。
X 是图中所有随机变量的集合。
β 函数也称为factor potentials。
这个公式很重要，因为本文将在后面使用Gibbs 符号来推导似然最大化问题。
干货理解机器学习必学算法条件随机场CRF第一时间获取价值内容一、概率图模型概率图模型又叫做马尔可夫随机场，是一个可以用无线图表示的联合概率分布。
在这个无线图中结点表示随机变量，边表示两个随机变量依赖关系。
给定一个概率分布及其无向图，首先定义无向图表示随机变量之间存在的马尔可夫性。
成对马尔可夫性成对马尔可夫性是指概率无向图中任意两个结点u 和v ，如果这两个结点没有边向量，则该这两个结点对应的随机变量在给定其余结点（对应其余随机变量）的前提下条件独立。
局部马尔可夫性局部马尔可夫性是指概率无向图中的任一结点v，W表示与之相连结点的集合，O表示没有与v直接连接的结点的集合，v与O在给定结点集合W的前提下独立。
全局马尔可夫性全局马尔可夫性是指对于结点集A和B，如果存在结点集C使得两个结点集A B没有边相连，则结点集A对应的随机变量与结点集B 对应的随机变量是独立的。
因此概率无向图的定义为，设有联合概率分布P(Y)，如果一个无向图的结点表示随机变量，边表示随机变量之间的依赖关系，如果联合概率分布P(Y)满足成对马尔可夫性、局部马尔可夫性、全局马尔可夫性，则该无向图为概率无向图模型，又称条件随机场。
概率无向图最大的特点就是易于因子分解。
团与最大团在无向图，一个团表示的是一个结点集，并且结点集任意两个结点有边相连。
如果一个团不可再增加一个结点，则该团为最大团。
{Y1，Y2} {Y1，Y3} {Y2，Y3} {Y2，Y4}如上图所示，上面可以分解为多个团{Y1,Y2} {Y1,Y3} {Y2,Y3} {Y2,Y4} {Y3,Y4} ，最大团有两个{Y1,Y2,Y3} {Y2,Y3,Y4} 。
将概率无向图模型的联合概率分布表示为其最大团上随机变量的函数的乘积形式的操作，称为概率无向图模型的因式分解。
定义Yc是最大团C对应的随机变量，因此联合概率分布可以写为其中，Z是规范化因子为势函数，且严格正。
二、条件随机场简介条件随机场是一种判别式无向图模型，即条件随机场是对条件概率分布建模（隐马尔可夫和马尔可夫随机场都是对联合概率分布建模，是生成模型）。
![[最新]CRF学习PPTppt课件](https://img.taocdn.com/s1/m/2ca7fa630740be1e640e9a0d.png)
条件随机场在电力系统中的应用一、电力系统的重要性电力系统是现代社会的重要基础设施之一，它为工业生产、农业生产、居民生活提供了必不可少的电力能源。
随着社会的发展和科学技术的进步，对电力系统的要求也越来越高。
因此，如何提高电力系统的效率和安全性成为了亟待解决的问题。
二、条件随机场的概念条件随机场（Conditional Random Field，CRF）是一种概率图模型，它主要用于对序列标注、分割和结构化预测等问题进行建模和求解。
条件随机场具有很强的建模能力，能够很好地处理输入变量之间的关联性，因此在电力系统中具有广泛的应用前景。
三、条件随机场在电力设备故障诊断中的应用电力系统中的设备故障是一个常见且严重的问题，一旦出现故障可能会导致供电中断，给生产和生活带来严重影响。
利用条件随机场对电力设备的运行状态进行建模，可以实现对设备运行状态的实时监测和故障诊断。
通过分析设备的运行数据，可以对设备的状态进行预测，并及时采取措施进行维修和保养，从而提高电力系统的可靠性和稳定性。
四、条件随机场在电力负荷预测中的应用电力负荷预测是电力系统运行和规划的重要组成部分，准确的负荷预测能够有效地指导电力调度和供需平衡。
条件随机场可以很好地处理负荷数据的时空关联性，提高负荷预测的准确性和稳定性。
通过对历史负荷数据的分析和建模，可以实现对未来负荷的准确预测，为电力系统的规划和运行提供重要参考。
五、条件随机场在电力设备状态评估中的应用电力设备的状态评估是保证电力系统安全稳定运行的重要手段，传统的基于规则的状态评估方法存在着局限性和不足。
条件随机场可以很好地捕捉设备运行状态之间的复杂关系，通过对设备状态数据的建模和分析，可以实现对设备状态的准确评估，并及时发现潜在的问题和隐患，为设备的维护和管理提供科学依据。
六、条件随机场在电力故障风险评估中的应用电力系统的故障风险评估是预防故障和提高系统可靠性的重要手段，传统的基于统计的风险评估方法存在着样本数据不足和模型假设不准确等问题。
【算法】CRF（条件随机场）CRF(条件随机场)基本概念1. 场是什么场就是⼀个联合概率分布。
⽐如有3个变量，y1,y2,y3, 取值范围是{0,1}。
联合概率分布就是{P(y2=0|y1=0,y3=0), P(y3=0|y1=0,y2=0), P(y2=0|y1=1,y3=0), P(y3=0|y1=1,y2=0), ...}下图就是⼀个场的简单⽰意图。
也就是变量间取值的概率分布。
2. 马尔科夫随机场如果场中的变量只受相邻变量的影响，⽽与其他变量⽆关。
则这样的场叫做马尔科夫随机场。
如下图，绿⾊点变量的取值只受周围相邻的红⾊点变量影响，与其他变量⽆关。
3. 条件随机场有随机变量X(x1,x2,...), Y(y1,y2,...), 在给定X的条件下Y的概率分布是P(Y|X)。
如果该分布满⾜马尔科夫性，即只和相邻变量有关，则称为条件随机场。
如下图，与马尔科夫随机场的区别是多了条件X。
4. 线性链条件随机场随机变量Y成线性，即每个变量只和前后变量相关。
当条件X与变量Y的形式相同时，就是如下图所⽰的线性链条件随机场。
该形式也是最常使⽤的，⼴泛⽤于词性标注，命名实体识别等问题。
对于词性标注来说，x就是输⼊语句的每⼀个字，y就是输出的每个字的词性。
线性链条件随机场的表⽰设\(P(Y|X)\)是线性链条件随机场，则在给定\(X\)的取值\(x\)的情况下，随机变量\(Y\)取值为\(y\)的条件概率可以表达为：\[P(y|x)=\frac{1}{Z(x)}exp\left(\sum_{i,k}{\lambda_kt_k(y_{i-1}, y_i,x,i)}+\sum_{i,l}\mu_ls_l(y_i,x,i)\right) \]\[Z(x)=\sum_yexp\left(\sum_{i,k}{\lambda_kt_k(y_{i-1}, y_i,x,i)}+\sum_{i,l}\mu_ls_l(y_i,x,i)\right) \]\(i\): 表⽰当前位置下标\(t_k()\)：表⽰相邻两个输出间的关系，是转移特征函数。
NLP硬核入门-条件随机场CRF本文需要的前序知识储备是：隐马尔科夫模型HMM。
实际上HMM和CRF的学习没有先后顺序。
但是两者很相似，在学习了HMM后更容易上手CRF，所以建议先学习HMM后学习CRF。
1 CRF概述1.1随机场的定义在这一小节，我们将会由泛化到特例，依次介绍随机场、马尔科夫随机场、条件随机场、线性链条件随机场的概念。
（1）随机场是一个图模型，是由若干个结点（随机变量）和边（依赖关系）组成的图模型，当给每一个结点按照某种分布随机赋予一个值之后，其全体就叫做随机场。
（2）马尔科夫随机场是随机场的特例，它假设随机场中任意一个结点的赋值，仅仅和它的邻结点的取值有关，和不相邻的结点的取值无关。
用学术语言表示是：满足成对、局部或全局马尔科夫性。
（3）条件随机场CRF是马尔科夫随机场的特例，它假设模型中只有X（输入变量，观测值）和Y（输出变量，状态值）两种变量。
输出变量Y构成马尔可夫随机场，输入变量X不具有马尔科夫性。
（4）线性链条件随机场，是状态序列是线性链的条件随机场。
注1：马尔科夫性：随机过程中某事件的发生只取决于它的上一事件，是“无记忆”过程。
我们的应用领域是NLP，所以本文只针对线性链条件随机场进行讨论。
线性链条件随机场有以下性质：（1）对于状态序列y，y的值只与相邻的y有关系，体现马尔科夫性。
（2）任意位置的y与所有位置的x都有关系。
（3）我们研究的线性链条件随机场，假设状态序列Y和观测序列X有相同的结构，但是实际上后文公式的推导，对于状态序列Y和观测序列X结构不同的条件随机场也适用。
（4）观测序列X是作为一个整体，去影响状态序列Y的值，而不是只影响相同或邻近位置（时刻）的Y。
（5）线性链条件随机场的示意图如下：注二：李航老师的《统计学习方法》里，使用了两种示意图来描述线性链条件随机场，一种是上文所呈现的，这张图更能够体现性质（4），另一种如下图，关注点是X和Y同结构：1.2CRF的应用线性链条件随机场CRF是在给定一组随机变量X（观测值）的条件下，获取另一组随机变量Y（状态值）的条件概率分布模型。
