下载文档原格式
![[工学]第5章 线性判别函数](https://img.taocdn.com/s1/m/b16c393b227916888486d7dd.png)
分段线性函数分段线性函数（PiecewiseLinearFunction）是一种重要的数学函数，它是将函数定义域分割为几个有界区间，在每个区间上均为定值线性函数的线性函数。
它可以表示有限个线性函数的连接，作为这些线性函数的求和。
由于其简单的表达形式和特殊的性质，分段线性函数在数学分析、概率论与统计学、统计优化等领域有着广泛的应用。
一般来说，分段线性函数定义为具有 m 个分段线性子函数的函数，并将函数定义域分为 m+1 个有界区间，其中，第 i 个子函数定义的定义域f[i]的范围是 [a_i, b_i]。
它们的关系式可以写成：f(x)={f_1(x),x∈[a_1,b_1]f_2(x),x∈[a_2,b_2]……f_m(x),x∈[a_m,b_m]分段线性函数的定义域的表示与区间的边界密切相关，它们的数量与形式取决于给定的函数表达式。
在每个区间上，分段线性函数是定义在它们每个区间上的线性函数，只有在这些区间边界处，函数可能改变其斜率，而整体函数自身仍然是连续的。
分段线性函数的特性可以通过很多例子来说明。
最简单的例子用两个分段函数来表示：f(x)={5x 『x<0』0 『0≤x<1』5-5x 『x≥1』此例子中，函数的定义域包含两个有界区间：[-∞, 0]和[0, 1]。
分段函数的一个重要应用是在优化问题中，可以用分段线性函数减少优化问题中的不确定性。
由于分段线性函数的有效性和简洁性，它在概率论的数学模型以及统计学的实际应用中具有重要意义。
分段线性函数可以用来表示一般概率分布中函数的不同表达形式，并由此可以用来分析和求解更复杂的问题。
此外，分段线性函数还可以用来表示连续函数的有限个连续区间。
在某些情况下，这样可以更有效的描述某个特定的函数，从而简化计算过程。
在报表分析中，分段线性函数也可以用来表示大量数据的定量化模型，通过引入分段变量，可以更加准确地拟合一个模型。
在进行实际计算时，由于分段线性函数不同区间上的参数计算存在一定的复杂性，因此常常需要采用一定的迭代算法来计算出分段参数，以便对函数进行拟合。
第5章：线性判别函数第一部分：计算与证明1． 有四个来自于两个类别的二维空间中的样本，其中第一类的两个样本为(1,4)T 和(2,3)T ，第二类的两个样本为(4,1)T 和(3,2)T 。
这里，上标T 表示向量转置。
假设初始的权向量a=(0,1)T ，且梯度更新步长ηk 固定为1。
试利用批处理感知器算法求解线性判别函数g(y)=a T y 的权向量。
解：首先对样本进行规范化处理。
将第二类样本更改为(4,1)T 和(3,2)T . 然后计算错分样本集：g(y 1) = (0,1)(1,4)T = 4 > 0 (正确) g(y 2) = (0,1)(2,3)T = 3 > 0 (正确) g(y 3) = (0,1)(-4,-1)T = -1 < 0 (错分) g(y 4) = (0,1)(-3,-2)T = -2 < 0 (错分) 所以错分样本集为Y={(-4,-1)T , (-3,-2)T }.接着，对错分样本集求和：(-4,-1)T +(-3,-2)T = (-7,-3)T第一次修正权向量a ，以完成一次梯度下降更新：a=(0,1)T + (-7,-3)T =(-7,-2)T 再次计算错分样本集：g(y 1) = (-7,-2)(1,4)T = -15 < 0 (错分) g(y 2) = (-7,-2)(2,3)T = -20 < 0 (错分) g(y 3) = (-7,-2)(-4,-1)T = 30 > 0 (正确) g(y 4) = (-7,-2)(-3,-2)T = 25 > 0 (正确) 所以错分样本集为Y={(1,4)T , (2,3)T }.接着，对错分样本集求和：(1,4)T +(2,3)T = (3,7)T第二次修正权向量a ，以完成二次梯度下降更新：a=(-7,-2)T + (3,7)T =(-4,5)T 再次计算错分样本集：g(y 1) = (-4,5)(1,4)T = 16 > 0 (正确) g(y 2) = (-4,5)(2,3)T = 7 > 0 (正确) g(y 3) = (-4,5)(-4,-1)T = 11 > 0 (正确) g(y 4) = (-4,5)(-3,-2)T = 2 > 0 (正确)此时，全部样本均被正确分类，算法结束，所得权向量a=(-4,5)T 。
第五章线性判别函数5.1 引言5.2 线性判别函数的一般形式5.3 广义线性判别函数5.4 多类问题的线性判别函数5.5 设计线性分类函数的主要步骤5.6 感知准则函数5.7 最小距离分类器5.8 最小误差准则函数第五章线性判别函数5.1引言Bayes 决策方法：已知先验概率类条件概率密度①样本估计未知参数②求后验概率③Bayes 决策分类结果{)(i P ω()i p x ω()i p x ω()i P x ω缺点:形式难确定，利用非参数方法估计分布样本大．因此，可利用样本集直接设计分类器。
()i p x ω给定某个判别函数类利用样本集判别函数的未知函数。
本章的基本思想：假定判别函数i=1, 2, 3,…利用样本估计若i=1, 2, 3,…则()0i Tii w x W x g +=i W 0i w ()()x g x g i i max =ix ω∈⇒⎧⎨⎩⎧⎪⎨⎪⎩最优：错误率，风险最小最优分类器简单次优：其他方法，准则函数最优求极值实现容易采用判别步骤：1. 线性函数（分界面－超平面）2. 非线性函数满足准则函数:几种常用准则函数的线性分类器设计方法准则函数：Fisher准则感知准则最小错分样本数准则最小平方误差准则最小错误率线性判别函数准则５.2线性判别函数的基本概念１. 一般形式其中样本向量权向量阈值权令()0Tg x W x w =+Td x x x x ],,[21L =12[,,]Td W w w w =L 0w ()()()x g x g x g 21−=如果()()()12120,0,0,,g x x g x x gx x ωωωω>∈<∈⎧=∈⎨⎩则则则或者拒绝()1,2,033,d dg x d d=⎧⎪=⎪=⇒⎨=⎪⎪>⎩点直线定义一个决策面，平面超平面()g x ⇒⇒当线性函数，决策面超平面2. 超平面的几何性质设都在决策面H上(H ——超平面)则有H ——把特征空间分成两部分⎩⎨⎧<>0)(0)(x g x g 2211R x R x ⇒∈⇒∈ωω21x x ，102012()0T TTW x w W x w W x x +=+−=W W H H ⊥—，是的法向量H H 正侧反侧线性判别函数+ g>0-g<0W0w WHρx 2x 1x ()g x W)(22ωR )(11ωR H:g=0的决策线—的决策线—2211ωωR R 21x x x −是坐标中任意一点x式中：Wx x rWρ=+x x Hr x HWWWρ−−−是在上的投影向量是到的垂直距离方向上的单位向量00()()TTTW W W g x W x r w W x w r r WW Wρρ=++=++=()0g x w r W∴==0w r W∴=若x为原点，则()g x w =从原点到超平面Ｈ的距离00000000w H w r w H W w H >⇒⎧⎪=⇒<⇒⎨⎪=⇒⎩原点在正侧原点在负侧通过原点用线性判别函数进行决策120()0()0R R w x H g x x H g x ⎧⇒⇒⎨⎩⇒⇒⇒>⎧⎨⇒<⎩超平面特征向量权向量确定超平面方向阈值确定超平面位置在正侧在负侧5.3广义线性判别函数考虑两类问题,设有一维样本空间X如果x<b 或x>a,则；b<x<a,则。
分段线性函数
分段线性函数是一种常见的数学函数，它将实数域上的一段区间映射到另一段区间，具有多个断点，每个断点对应一个直线段。
它可以用来简化和求解很多复杂的数学问题，广泛应用于工程计算和统计学中。
首先，我们来了解一下分段线性函数的定义和特点。
分段线性函数是一种函数，它在实数域上的一个区间内是一段直线，在另一个区间内又是另一段直线，它具有多个断点，每个断点对应一个直线段。
它的图像在不同的区间内具有不同的斜率，其斜率是恒定的，而且每一个断点都是函数的可导点。
其次，我们来谈谈分段线性函数的应用。
分段线性函数在工程计算中非常有用，可以用来简化复杂的问题，比如在建筑设计中，可以利用分段线性函数来计算建筑物的抗震性能。
在统计学中，也可以使用分段线性函数来进行数据分析，以更好地了解数据的特征和趋势。
最后，我们来看一下分段线性函数的求解方法。
分段线性函数的求解可以使用一般的求根法，如牛顿迭代法和二分法，也可以使用图解法，即将函数图形画出来，然后根据图形的特征，求出函数的值。
当然，还可以使用积分法，将函数求积分，从而求出函数的值。
总之，分段线性函数是一种常用的数学函数，它具有多个断点，每个断点对应一个直线段，可以用来简化和求解复杂的数学问题，广泛应用于工程计算和统计学中，其求解方法有一般的求根法，图解法和积分法。
【模式识别与机器学习】——3.3分段线性判别函数3.4模式空间和权空间出发点： 线性判别函数在进⾏分类决策时是最简单有效的，但在实际应⽤中，常常会出现不能⽤线性判别函数直接进⾏分类的情况。
采⽤⼴义线性判别函数的概念，可以通过增加维数来得到线性判别，但维数的⼤量增加会使在低维空间⾥在解析和计算上⾏得通的⽅法在⾼维空间遇到困难，增加计算的复杂性。
引⼊分段线性判别函数的判别过程，它⽐⼀般的线性判别函数的错误率⼩，但⼜⽐⾮线性判别函数简单。
图例： ⽤判别函数分类可⽤⼀个⼆次判别函数来分类也可⽤⼀个分段线性判别函数来逼近这个⼆次曲线分段线性判别函数的设计（1）采⽤最⼩距离分类的⽅法图例：分段线性分类设计3.4 模式空间和权空间模式空间： 对⼀个线性⽅程w1x1+w2x2+w3x3=0，它在三维空间(x1 x2 x3)中是⼀个平⾯⽅程式，w=(w1 w2 w3)T是⽅程的系数。
把w向量作为该平⾯的法线向量，则该线性⽅程决定的平⾯通过原点且与w垂直。
若x是⼆维的增⼴向量，此时x3=1，则在⾮增⼴的模式空间中即为{x1, x2 }⼆维坐标，判别函数是下列联⽴⽅程的解（a）增⼴向量决定的平⾯（b）⾮增⼴向量决定的直线权空间:若将⽅程x1w1+x2w2+w3=0绘在权向量w=(w1 w2 w3)T的三维空间中，则x=(x1 x2 1)T为⽅程的系数。
若以x向量作为法线向量，则该线性⽅程所决定的平⾯为通过原点且与法线向量垂直的平⾯，它同样将权空间划分为正、负两边。
在系数x不变的条件下，若w值落在法线向量离开平⾯的⼀边，则wTx>0，若w值落在法线向量射向平⾯的⼀边，则wTx <0。
权空间中判别界⾯的平⾯⽰意图。
