信息论与编码理论_14

2006/11/13
即这种情况每销售出去一块PCB板，加工厂将要另外承担可能 损失200元的风险。考虑到每块销售100元，实际上是每卖出一 块可能要实际净损失100元。 情况2 全部产品不经检验全部报废——都当废品 P(废/好)=1 P (好/废)=0 P (废/废)=1 信道传输概率为P(好/好)=0 信道矩阵为 好 废 好 ⎡0 1⎤ Π= ⎢ ⎥ 废 ⎣0 1⎦
平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)或概率密度函数 p(x)的上凸函数，根据上凸函数定义，如果I(X;Y)在定义域内对p(xi) 或p(x)的极值存在，则该极值一定是极大值。信道容量就是在固定 信道情况下，求平均互信息极大值的问题，即
(1) 求极值问题
C = maxI ( X ;Y )
2006/11/13
3
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
信息率失真理论不仅被应用于信息传输来解决信源的压 缩编码问题，也被应用于质量检测和科学管理中。 例 某印刷电路板（PCB）加工厂的产品合格率约为 98%。一块好的PCB板出厂价约为100元，但如果客户 发现一块不合格的板子可向厂方索赔10 000元。已知厂 方检验员检验的正确率约为95%，试用信息率失真理论 来分析检验的作用并作比较。假设合格品出厂、废品报 废都不造成损失。 解 根据题意，可将PCB产品作为一信源，且有 信源空间： 好（合格） 废（废品） P(好)=0.98 P(废)=0.02
PY(好)=P(好) P(好/好)+ P(废) P(好/废) =0.98×0.95+0.02×0.05=0.932 PY(废)=0.068
则信宿熵为 H(Y)=H[0.932, 0.068]=0.358 比特/每一出厂产品
2006/11/13
10
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
Dmax = 98
产品未进行质量管理，相当于信源没有输出任何信息量。
2006/11/13 7
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
情况3 正确无误地判断合格品和废品——完美的检验 相当于无噪信道情况，信道矩阵 好 废 好 ⎡1 0 ⎤
废 ⎣0 1 ⎦ 平均失真度为 D = 0 即这种情况不会另外造成损失。 下面探讨每一比特信息量的价值。为此先求该信源的熵，有： H(X)=R(0)=0.98log20.98–0.02log20.02=0.142 比特/块 该式说明，如果从每块PCB板上获取0.142比特的信息量，就可 以避免一切细小的损失。 可能造成的最大损失为 98元/块，所以0.142比特信息量的最大 价值为98元，则每一比特信息的最大价值为
即每生产一块PCB板，加工厂将有损失98元的风险。因为把98％本 来可以卖100元一块的板子也报废了。 比较情况1、2可知，做出全部报废决定造成的损失，要小于做出全 部出厂决定所造成的损失。不做任何检验，在全部出厂和全部报废 两者之间抉择，选择后者的损失反而小。因此，有 R ( Dmax ) = 0 ；
2006/11/13
12
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
R(D)
H ( x)
R1
R
R2
D1
D
D2
Dmax
D
2006/11/13
信息率失真函数图
13
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
（2）信息率R的价值率 定义 信息率R的价值率用v表示，定义为每比特信息量的价值， 即信息率R的价值率为
i j
(续)
H (Y | X) = −∑∑ P(ai )P(b j | ai )lbP(b j | ai ) ≈ 0.286
I(X;Y) = 0.778 – 0.286 = 0.492
v=
V a / 20 = ≈ 0.102a 元/比特 R( D2 ) 0.492
2006/11/13
17
第四章 信息率 失真函数
2006/11/13 4
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
选择失真函数为 d(好，好)=0 d(废，废)=0 d(好，废)=100 d(废，好)=10 000 将产品检验分成4种情况：全部产品都当合格品，全部产品都当 废品，完美的检验和允许出错的检验。 情况1 全部产品不经检验而出厂——都当合格品。 把这一过程看作是一个“信道”，其“传递概率”为 P(好/好)=1 P(废/好)=0 P(好/废)=1 P(废/废)=0 信道矩阵为
好 废
Π=
2006/11/13
好 ⎡1 0⎤
⎢1 0⎥ 废⎣ ⎦
5
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
D=
这种情况的平均损失，即平均失真度，为
∑∑ P(ai )P(b j /ai )d(ai ,b j )
i j
=P(好)⋅P(好/好) ⋅d(好,好)+ P(好)⋅P(废/好) ⋅d(好,废) +P(废)⋅P(好/废话) ⋅d(废,好)+ P(废)⋅P(废/废) ⋅d(废, 废) =0.02×1×10 000=200元/块
P(废/废)=0.95
废 ⎣0.05
⎢
0.95⎥ ⎦
D=
∑∑ P(ai )P(b j /ai )d(ai ,b j )
i j
=P(好)⋅P(废/好) ⋅d(好, 废)+P(废)⋅P(好/废) ⋅d(废,好) =0.98×0.05×10 0+0.02×0.05×10 000 = 14.9元/块
即这种情况每销Biblioteka Baidu出去一块PCB板，加工厂将要另外承担可能 损失14.9元的风险。考虑到每块销售100元，实际上是每卖出一 块实际收益至少是85.1元。
4.4 信息率失真函数与信息价值
信息价值比信息量更难定义，它与信息的接收者有关。同样的信息对 不同的使用者，信息量相同但价值却不一样。 香农信息论研究的是客观信息量，一般不涉及接收者的情况。 从信息率失真理论出发，如果把平均失真理解成平均损失，则损失的 大小就与接收者的情况有关了，在此基础上可定义信息价值，从而用 信息论解决实际问题。 例子说明： 信息价值随着信息率的增加而增加； 获取信息要付出代价，得到信息会获得利益。一般来说，获得的信 息越多，付出的代价也越大； 信息价值的概念从理论上定量地证明了信息是财富的假说； 进一步的研究还证明：信息还可以代替人力、物质、能源和资本， 从而得到更多的经济利益。 这些问题的深入讨论涉及到信息经济学理论，属于广义信息论范畴。
2006/11/13 9
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
从可能带来的另外损失角度考虑，这种情况和最大损失（98元） 相比，其减少量为98 – 14.9 = 83.1 (元) 减少的原因是由于从检验的过程中获取了信息量，如前所述， 检验的过程好比“信道”，获取的信息量也就是平均互信息量 I(X;Y)，可用I(X;Y)=H(X) – H(Y|X)求得。现在来求H(Y/X)，为 此先求H(Y)。 设出厂产品为信宿Y，则有
p( xi )
或
C = maxI ( X ;Y )
p( x)
I(X;Y)又是信道转移概率分布p(yj /xi)(i=1,2,…,n;j=1,2,…,m)或条件概 率密度函数p(y/x)的下凸函数，因此在满足保真度准则条件下， I(X;Y)对p(yj /xi)或p(y/x)的条件极值若存在，则一定是极小值。信息 率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均 互信息极小值的问题，即
2006/11/13
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
V = Dmax – D2 = a /10 – a /20 = a /20 P2 (好)=P(好)⋅P(好/好) +P(坏)⋅P(坏) =0.8×0.95+0.2×0.05=0.77 P2 (坏)=0.23 H(Y) = 0.77log20.77+0.23log20.23 ≈ 0.778
Dmax − D ( R ) V v= = R( D) R( D)
2006/11/13
14
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
例 设某地区的天气状况可简单地用好天气和坏天气来表 示，据长期统计，它们的概率分别为P(好) = 4/5和P(坏) = 1/5。假如对某种生产，把次日是好天气当坏天气来准 备和把坏天气当好天气来准备都会损失a元，否则无损 失。 (1)试求完全正确预报的信息率价值V及信息价值率v； (2)若气象台的误报概率为10%，再求V及v。
信息论与编码理论
杨文
通信工程系
第四章 信息率 失真函数
第四章 信息率失真函数
4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 信息率失真函数与信息价值 4.5 信道容量与信息率失真函数的比较 4.6 保真度准则下的信源编码定理 4.7 信息论“三大定理”总结
2006/11/13 18
第四章 信息率 失真函数
4.5 信道容量与信息率失真函数的比较
从数学上说，信道容量和信息率失真函数的问题，都 是求平均互信息极值问题，有相仿之处，故常称为对偶问 题。
(1) 求极值问题 (2) 特性 (3) 解决的问题
2006/11/13
19
第四章 信息率 失真函数
4.5 信道容量与信息率失真函数的比较
6
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
∑∑
i j
平均失真度为 D= P(ai )P(b j /a i )d(ai ,b j )
=P(好)⋅P(好/好) ⋅d(好,好)+ P(好)⋅P(废/好) ⋅d(好,废) +P(废)⋅P(好/废) ⋅d(废,好)+ P(废)⋅P(废/废) ⋅d(废, 废) =0.98×1×10 0=98元/块
Π=
⎢
⎥
98 = 690.14 元/比特 0.142
2006/11/13 8
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
情况4 检测时允许有一定的错误——非完美的检验 依题意检验的正确率约为95%，则信道的传输概率为
P(好/好)=0.95
信道矩阵为
Π=
平均失真度
P(废/好)=0.05 P(好/废)=0.05 好 废 好 ⎡0.95 0.05⎤
2006/11/13
15
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
⎧ 2 ⎫ ⎧ 4a a ⎫ a Dmax = min ⎨∑ p (ai )dij ⎬ = min ⎨ , ⎬ = j ⎩ 5 5⎭ 5 ⎩ i =1 ⎭ V=Dmax – 0 = a /5 元 R(D1) = -0.8 log20.8 – 0.2 log20.2 ≈ 0.722
H (Y | X) = −∑∑ P(ai )P(b j |ai )log 2 P(b j | ai )
i j
每生产一个产品，对应于是废品还是合格品的平均不确定度为
=0.287 比特/每一出厂产品
I(X;Y)=0.358 – 0.287=0.071比特/每一出厂产品 通过允许有错的检验，平均而言从对每块PCB板的检验中只获 取了0.071比特的信息量，但是其损失比不检验时减少了83.1 元，也就是说 0.071比特信息量价值为83.1元，故每比特价值为
解 （1）
v=
V a/5 = = 0.1444a 元/比特 R ( D1 ) 0.722
好 坏
好 ⎡0.8 0.2⎤ （2） Π= ⎢ 坏 ⎣0.2 0.8⎥ ⎦
D2 =
∑∑ P(ai )P(b j /ai )d(ai ,b j )
16
i j =P(好)⋅P(坏/好) ⋅d(好, 坏)+P(坏)⋅P(好/坏) ⋅d(坏,好) =0.8×0.05×a+0.2×0.05×a = a /20
83.1 = 1170.4 元/比特 0.071
而情况3每比特信息量的价值为690.14元。比较而言，第4种情 况的信息价格最高，是最合算的检验准则。
2006/11/13
11
第四章 信息率 失真函数
4.4 信息率失真函数与信息价值
把上述概念一般化，有： （1）信息率R的价值 在保真度准则下，信息率R是设计时允许的失真D的函数，R(D) 与D的一般关系如下图所示。但也可以求出R(D)的反函数D =D(R)，同样，给出一个R值，就有一个D与之对应。 定义 信息率R的价值用V表示，定义为 V = Dmax – D(R) 它的含义是当获取关于信源X某一信息率R(D)时，平均损失从 Dmax降低到D所具有的差值。 例如，下图中对应于R1，V1=Dmax–D1；对应于R2， V2=Dmax–D2。