信息率失真函数.doc

第四章信息率失真函数（第九讲）

（2课时）

主要内容：（1）平均失真和信息率失真函数（2）离散信源和连续信源的R（D）计算重点：失真函数、平均失真、信息率失真函数R（D）、信息率失真函数的计算。

难点：信息率失真函数R（D）、信息率失真函数的计算。

作业：4、lo

说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。

§4-1引言

（一）引入限失真的必要性：

失真在传输中是不可避免的；

接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的；

即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真；

我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D,及其相应的信源最小信息率R（D）.

对限失真信源，应该传送的最小信息率是R（D）,而不是无失真情况下的信源爛H（U）. 显然H（U）2R（D）.

当且仅当D=0时，等号成立；

为了定量度量D,必须建立信源的客观失真度量，并与D建立定量关系；

R（D）函数是限失真信源信息处理的理论基础；

（二）R（D）函数的定义

信源与信宿联合空间上失真测度的定义：d （见叩:t/xV^/r[0,oo）

其屮：u*U（单消息信源空I'可）

v y eV （单消息信宿空间）

则有

万=Y工〃（吧

称7为统计平均失真，它在信号空I'可屮可以看作一类“距离”，它有性质

1〉= 0,当比=Vj

2〉min 〃（吧）=°

3〉05〃(比/匕)<00

对离散信源：i=j=l,2............. n , d(upj) = djj, 则有：

d 」0,当；可(无失真) 厂］〉0,当iHj (有失真)

若取冷为汉明距离，则有：

Jo,当i = j (无失真) 厂［1,当iHj (有失真)

对连续信源，失真可用二元函数d(u,v)表示。

推而广之，d(u,v)可表示任何用V 表达U 时所引进的失真，误差，损失，风险，甚至是 主观感觉

上的差异等等。

进一步定义允许失真D 为平均失真的上界:

D>d =工=工工〃￡皿???对离散

? ? ? ?

在讨论信息率失真函数时，考虑到信源与信宿之I'可有一个无失真信道，称它为试验信 道，对离散信源可记为p 〃，对限失真信源这一试验信道集合可定义为：

P D =\P ji -D>d = YLP ：P J^

根据前面在互信息中已讨论过的性质:

1(U\ I,p ；j\

且互信息是门的上凸函数，其极限值存在且为信道容量：C = max/(卫: p< ?

这里，我们给出其对偶定义：

R(D)= mi 1Y U # ) m"pQp2,_ D

P

j f P D

陆 j i P D

即互信息是◎的下凸函数。其极限值存在且为信息率失真函数。 它还存在下列等效定义：

D(R) = minD>d =工工门叽

<

P 泸 P R

i J

P R = {? : /(t/；V) < R (给定速率)}

称D(R)为失真信息率函数，是R(D)的逆函数，它是求在允许最大速率情况下的最大 失真Do 至此，我们已给定R(D)函数一个初步描述。

则有:

d(u. v)= (w-仍 H

= \u-v

由定义，R(D)函数是在限定失真为最大允许失真为D时信源最小信息速率，它是通过改变试验信道/乙?特性(实际上是信源编码)來达到的。所以R(D)是表示不同D值时对应的理论上最小信息速率值。

然而对于不同的实际信源，存在着不同类型的信源编码，即不同的试验信道特性并可以求解出不同的信息率失真R7D)函数，它与理论上最佳的R(D)之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是R(D)函数的理论价值所在。特别对于连续信源，无失真是毫无意义的，这时R(D)函数具有更大的价值。

例：若有一个离散、等概率单消息(或无记忆)二元信源：p(如(叮，且采用

[0, 当u i = u .

汉明距离作为失真度量标准：即尙= 业?若有一具体信源编码方案为：N个

[1, 当均工Uj

码元中允许错一个码元，实现时N个码元仅送N?1个，剩下一个不送，在接收端用随机方

式决定(为掷碾币方式)。此时，速率R'及平均失真D相应为：

R W以符号

”丄厶丄，

N 2 2N

.?. /?'(D) = 1-丄= l-2x —= 1-2D

N 2N

若已知这一类信源理论上的R(D)= H^-y- H(D：(后面将进一步给出计算)，则有

阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。

§4-2 R(D)函数的性质

讨论R(D)性质以前先简要介绍R(D)的定义域。

对离散：[0,%]

对应R(D)值：7?(0)= max/? Q 尹H 0

R(DQ = min R(D),即当7? t (出寸功直。

对连[D min,Dj

/?(D m in) = H c(P)=0C

R(DQ = min R(D),即当R t OH 寸

R(D)函数性质可用下列定理总结：

定理4 — 2—1：对离散、单个消息限定失真信源，其R(D)函数满足下列性质：

(1)R(D)是D的下凸(U)函数；

(2)R(D)是D的单调非增函数；

(3)R(D)是D的连续函数；

(4)/?(Z) = 0) = //(/?)；

证明：(1)证明思路：根据R(D)函数定义，与下凸函数定义，只需证明：何D" = 0D+ (1 -&)/)”] < 刃?(D) + (1 -〃)/?(/)“)

首先证玖已P^,再利用互信息对坨?的下凸性。即：若用P；与磅表示达到R(DJ与R(D「时的条件分布,且磅=昭?+(1 -0)弓

则有：

万(圧)=工2>%广工2>砂+(1-&)空4

??? ?

J 丿I J

〃工2>加力(1-&E工矿尸"O

? ?? ?

J f J

= 0d( (40 飞“ D二&(1 P) 〃

这里d(P^)

由存={厅:2(用)SZ/}

可得马丘依

再利用互信息对号,?的下凸性，有

W min /(门;硝)

"S；硝)

"/(门；匕)+ (1-0"(门；巧)

= 0R(DJ + Q — 0)R(D「

(2)设 D 2 >D ｝则 Pg o P D[

min/(A ;P,.)

即R(D)是D 的单调非增函数。

(3)设 D l =D+8 当5T 0 DI D°

由匕定义，有P L y P D o 同时，由于I(Pj ；Pj)是匕连续函数。

即当 5P.. TO,有

+5匕?)T/S；?)

的连续函数。

小毗；常,

/?(0) = /(□；?)

二 H(p)

§4-3离散信源R(D)函数计算:

/?(￡))= m i/np^p

Pj fP D

可见，求解R(D)实质上是求解互信息的条件极值，可采用拉氏乘子法求解。但是，在 一般情况下只能求得用参量 (R(D)的斜率S)來描述的参量表达式，并借助计算机进行 迭代运算。

由信道容量C 与R(D)数学上对偶关系：

C = max /(X ；y ) R(D) = min /(t/;V)

Pi

P ji eP

D

其迭代运算与求信道容量迭代运算相仿的。在正式讨论R(D)迭代运算前，这里，我们 先介绍特殊情况下的R(D)计算。

具有等概率、对称失真信源的R(D)计算：

例1：有一个二元等概率平稳无记忆信源U,且失真函数为：

/. R(D 、= min PE

g ； P"+5PQ t R(D) = min 畑匕)

即 R(D) T R(D) , R(D)是 D

(4)当￡) = 0 ,即无失真时，址o 片

——对应

I(piQj) EZpAiog^

Pi

~d

r

00、

?;)= 1 1

k°°

°>

试求其R(D)=?

解：由：聞=工工卩时

? ?

上式中，已知：Pj =片,D (允许失真)给定。 则P. -------- 对应。

这时，由概率归一性，可进一步假设：

(A \-A 0、

Pji

~[o \-A 外

0<^ A

可见：<11 — A

CO O 0

代入上述公式，有

D 二工工PiP￡

「 J

= -[Ax0 + 0xoo + (l-A)xl] + i[0xoo+Ax0 + (l-A)xl]再将它代入转移概率公 2 2

= |(1-A) + 1(1-A) = (1-A)

式中：

fl-D D 0 、 Pji

_〔0 D 1 — p

m q ?产 得：(幻)=(字，。三2)

则： \-D H(V) = H(qj ) = H(——

,D \-D

2

H(V/U) = H(PjJ = H(\- D D)

R(D) = I(U;V)\D ^=[H(V)-H(V/U)]\D ^

\-D

\-D = H(—,A —)-H(l-D,D)

=(1 - D) log 2-(l-D) log(l-D) + (l-D)log(l- D)

= (l-￡>)log2

例2:若有一个,2元等概率、平稳无记忆信源且规定失真函数为:

试求R(D)=? 解：

(%) =

1、

n-l

<■>(?) =

( \

A

1-" n-l

由门=丄，求得 n

1

1-A

A

(斤—1

丿

< H-l

丿

=—2x

1_￡>

log

-―—-￡>log￡> + (l-D) log(l-￡>) + ￡> log D 0 1

Gj = n-\

■

1 n-i 0

n-l 1 n-l ■

A

xl + /?x — xO = l- A

n(n-l) n

1 ——

1 2

n

qj=》PiPji =-|lxn +(A2-l)x-― \ = -q=^ p.p =-|lxn +(A2-l)x-― ]=- : n n-l n :

n n-l n

R(D) = W；V)|D鉀可H(幻)-H(?)]D参量

i-A

D二工工门叽

? ?

f J

R(D) = /Q ；V )|° 参厳=[H(乞) — //(￡?)]血

= log H + (l-D)10g(l-O) +(H-l)——log ——-

n-1 n-\ =log n 一 H(D,\-D)-D log(n 一 1)

1ft ? = 2, 4, 8，有

由上图可见 无失真D = 0时

n = 8, R(0) = H(p) = 3bit , n = 4, R(0) = H(p) = 2bi , n = 2, R(0) = H(p) = ]bit , 有

失真，比如0 = 0.2时

n =

压缩比：K, = °A

OB

n = 4,

压缩比：K 4 = OC

OD n = 2, 压缩比：K°

= °E

OF

显然 ①K 2>K 4>K^进制〃越小，压缩比K 越大; ②Of, KT,但相对关系不变，

允许失真D 越大，压缩比亦越大。

R(D)的参量表达式：

要讨论R(D)的计算，由R(D)函数定义，需要求下列约束条件下的互信息极值。

①5=￡：工1>￡鶴=万<。｝；

? ?

f J

D n-1 D n-

n

② 工Pji"对也心1,2 n；

③ P . > 0,对"，j, i = \ n, j = l 处

求解这类极值有好几种方法：

变分法、拉氏乘子法、凸规划方法等等。这里引用最简单的拉氏乘子法。但是它不能处理不等式约束关系，因此需对上述条件进行必要的修改，这时上述问题可归纳为在下列(n+1)组约束条件下：

D = d = XXPMj \

、' )(/?. +1)组约束

=1,对Vi, Z =

求互信息iq必)=n P^JI ioA的极小值。

i J q.i

引用拉氏乘子法，并设S与“(i = l,2〃)分别表示5+1)个约束条件的待定参

数，则有：

汨g;PjJ — SD_W 工册0

叫/ J

-(1 + log q)Pi 4-(14- log P,Pi - Sp t d.. -丛=0

求得片严qj入严__①

由归一化条件有1 用旳

求得

再将①式两边同乘门并对i求和，且设qj>0,则有

??

I I

.??工Pi入严=1 ----- ③

i

代②入③，得：

少％* I —④

当信源给定P H 选定s 与4?以后，它是一个求解加个勺?的方程组，则可按下列 顺序求解：

幻(丿?=1,2 加)一不心1, n)— P” t D(S) I R(S)

最后求得参量方程如下：

这就是用参量￡ [R(D)的斜率]表达的7?(D)函数形式，又称为参量方程。 定理4-3-1： R'(D) = S ,即R(D)斜率为参量S 。证明从略。

例：引用上述参量方程求解一个二进不等概率离散信源：p 、=p,内=\_卩，且 [0,当心厶 d,=\ t 丿其中 i, j = \,2，试求 /?(￡>)=? y

[1,当if,

解：首先求参量人与人 由公式③，有：

jAPi exp(Sd| J +入$ exp(S 〃2|) = 1

[人p 、exp(S%2) + exp(S 〃22) = ?

求得

\将它带入式②，有 人=(1—0)[1+冋 /

<7i exp(Sd") + % exp(S%2)=— A V

q 、exp(S 〃2]) + % exp(S 〃22) = ~-

求得

_ p-(y-p)e s q 、_ ； s

\-e _ ^~p)~pe s °2 _ ；—

\ — e

再将人禺纟宀带入⑤式D(S)中:

D (S )二工工旳入砂a 棗⑤

=SD(S)+ 工Pi log

——⑥

R(S)二工工加/l/Sog

? ? I J

D(S)=人门彳％| exp(S 〃|J +人”旳2〃]2 exp(S%2)

+入“2彳〃2] exp(Sd2i )+ &/V?2〃22 exp(S 〃22)

D

一 1+式-

再将它带入R(S),有:

R(D) = R(S)\

_D_ = SD(S) + /? log 人 + (1 - /?) log 人 |5 _2_

°\-D °\-D

=-[p log p + (1 - p) log(l -/?)] + [￡> log ￡> + (1 - ￡>) log(l - ￡>)]

= H\pA-p\-H\DA-D\

D = 0, R(0)=l 肪

7

/?1(0) = 0.8Wz

4

R (0) = 06 肋

8

“

1?0 p 0?8 p 0.6

扌 0.67 扌 0.45 | 0.17

结论：1)信源概率分布越不均匀，压缩比越大；

限失真, 比如D = o.l 时

L)

取p =丄丄丄，的曲线：

2 4 8

无失真:

2) D越大，压缩比也越大。

R （D ）函数的迭代算法

首先让我们从信道容量C 与尺（D ）函数定义与数学上的对偶性來分析:

C = max/(X ；r ), /?(D) = max/((/;V) Pi P 泸环 C(F)= max /(X;Y)

r

显然， 我们可以利用求解信道容量的计算迭代公式的方法与思路求解/?（￡＞）函数。其 关键步骤为：

1）寻求两个决定互信息的互为因果关系的自变量对，这里选 i （qj ；Pjj, P H 且通过◎?

求极值；

2）对互信息求条件极值（极小值），引用拉氏乘子法；

具体求解步骤如下：

1）两个自变量中首先固定勺值，则在满足工幻=1和D =

的约束条

件下求/（勺；什）的极小值。引用拉氏乘子法，有：$[/（切；什）-SDU 》如=（ 期 J

+ A = 0 ,

J

,再由归一化条件 儿i

1 =工幻=*工工"￡，=*二

在满足

（对所有i 值）和 D =工工PM ?的约束条件下求

?

? ?

J

r J

/(幻;?)极值：

畚叽F2SD +空耳P 耳

p (\y +log

spMij +&? =o

a

十T 小严

由归一化条件，有

求得:

2 = 1,

再代入原式得:

q ；=2PiPji

2）再固定勺?值,

求出:

再将它带入5表达式，求得

p;=

式与②式是两个基本迭代公式

若假设一个S 值，比如S = S 「通过①②逐次迭代，求得纟;(SJ,弓;(SJ,代入互信 息公式中，

求得

R(SJ = /[q ；(SJ,耳(SJ]

再继续假设 S = S?、S3、S4、S5 等。求得相应的 R0)、R(SJ 、R(SJ 、R(S 5) O

最后再将其值

连成一个曲线，即为&D)函数曲线。

下面，为了迭代方便，可将①②改写为：

假设S = S],则可按下列顺序迭代：(当信源给定Pi = Z ，选一初始分布巳=丄) m

7?(1,1) > 7?(1,2) > ……>7?(r-l, r) > 7?(r, r) > Z?(r, r + 1)

砂)

上述迭代至前后两值间误差小于给定值￡为止。可求得

R0 手 1 i tfityhiSijff ；；

$

-- ②

q 'j =

X PiP ；i 棗

-止

一00 p.(/i, J J

重新假设S = s?、S3、S4、S5 ,分别求得R0)、R0)、/?(S4) s 7?(55) O最后连接各R(SJ 值为一条曲线，即为所求的R(D)函数曲线。

§4-4连续信源R(D)函数

1?连续信源比离散信源更需要R(D)函数。因为连续信源信息量为无限大(取值无限), 传送8信息量既无必要，也不町能。所以连续信源都是属于限失真范畴；

2.连续信源R(D)与离散信源R(D)类似：

只需将概率换为概率密度p. o p(u)

求和换为积分工ojdu

■

I

djj v)

min o inf

则当己知信源概率分布密度为P(u).条件密度为P(%)、失真函数为d(u, v)>信源平均失真〃(地「)二『匸p(忧)P% )d(u,v)duc

而P D = {P(%):D>^ = p(u)P(%)d(u,v)dudv]

则有：R(D)= inf Z(t/;V)

P(汨

同样，可以求出类似于离散的参量表达式：

即在下述限制条件下：

]/) = J匸p(u)P(%)d(u, v)dudv

[j： P(%皿=1(对所有讷直)

求互信息

I(U;V) = J 匸p(u)P(%)log PO/^dudv

f 00

-gO)logqW)du

J-oo

的下确界。

引用变分，并引入待定常数s和任意函数“@),再对P(%)取变分，并置之为0。

所谓变分是指求泛函的极值。即

5[/(U;U) P(%)如=0

其求解顺序完全类似于离散情况，但需求解一个积分方程。最后结果为:

D(S) = J J p(u)q(v)e sd(,t,v)A(u)d(u, v)dudv R(S) = SD(S) + [ p(u) log A(u)du

连续信源能否有类似于离散信源的一些特殊情况，不需求解繁琐的积分方程

呢？的确存在，在某些情况下，比如d(u 9v)= d(ii- U 时，求解可大大减化。即

若二元函数d(u, v)仅与弘与v 差值有关，比如

(u - v)2 = 02 \u ~v H 3\

这时令参量2(比)=型，设“(0 >0 ,其中饥S)=

——，且k(S0⑹=&(&)，

pM

J 严de

这时可求得:p(u)= q )O)? &

可见，由上述卷积表达式，无需求解积分方程就可以求得分布密度％(〃)。

进一步，若令O/z).①你(z)和①血(z)分别表示pg 、g s (u)和绻(⑴的待征 函数，则由以上时域的卷积

关系，求得下列特征函数间的关系如下：①/?(Z )=O A ，(￡)?①如(z)

①如⑵二

再由类似于离散信源的下列求解顺序:

%(%) -2(%) —> D(S) —> R(S)

1 (—mF

例：若川"2话° "棗正态

dM = (u-v)2=0

2

棗均方准则

???叭(z) = 0 2 =e 2 25 =严

E s

gs? 尸N (

而信源p(u)的特征函数为

①0(Z)之2

?①(八一?“⑴_严(，灶)只

?? %(z丿—一'

e4s

???％~N [加,(/+￡]

再rh q°―> 入)—> D(s) —> R(s)最后求得:

r] (曲)2

p(u) = —i^^e心棗正态

< 厉CT

d(u, v) = (u -v)2 = 02棗均方准则

V

当cr = lH寸

R(D) = *log*

定理2-4-1：对任一连续非正态信源，若己知其方差为er?,爛为/?((/),并规定失真函数为d(u, v)= (u-仍，则其R(D)满足下列不等式：

H(U) - j log 2/reD )< j log 4 (正态)(上限)

可见，在平均功率cr，受限条件下，正态分布R(D)函数值最大，它是其他一切分布的上限值，也是信源压缩比中最小的。所以人们往往将它作为连续信源压缩比中最保守的估计值。

例：对连续有记忆信源R(D)函数计算相当复杂，下面考虑一个简单的特例：对一个广义平稳遍历马氏链信源，且有R(T) = a2^ ,其中0vpvl。现求其R(D)函数。

下面我们仅给出结果：

/?(/))=* log 呼1

R(D)

第四章_信息率失真函数-习题答案

4.1 一个四元对称信源? ?????=??????4/14/1324/14/110)(X P X ，接收符号Y = {0, 1, 2, 3}，其失真矩阵为????? ???????0111 101111011110，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。 解： 0041041041041),(min )(43041141141141),()(min min min max =?+?+?+?===?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数： ?? ? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )( 其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13 ln 4ln )( 函数曲线： D 其中： symbol nat D R D symbol nat D R D symbol nat D R D symbol nat R D /0)(,4 3/12ln 2 14ln )(,21/3 16ln 214ln )(,41/4ln )0(,0==-==-==== 4.2 若某无记忆信源??????-=??????3/113/13/101)(X P X ，接收符号??????-=21,21Y ，其失真矩阵???? ??????=112211D 求信源的最大失真度和最小失真度，并求选择何种信道可达到该D max 和D min 的失真度。

第四章 信息率失真函数-习题答案

4.1 一个四元对称信源? ?????=??????4/14/1324/14/110)(X P X ，接收符号Y = {0, 1, 2, 3}，其失真矩阵为????? ???????0111 101111011110，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。 解： 0041041041041),(min )(43041141141141),()(min min min max =?+?+?+?===?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数： ?? ? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )( 其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13 ln 4ln )( 函数曲线： D 其中： sym bol nat D R D sym bol nat D R D sym bol nat D R D sym bol nat R D /0)(,4 3/12ln 2 14ln )(,21/3 16ln 214ln )(,41/4ln )0(,0==-==-==== 4.2 若某无记忆信源??????-=??????3/113/13/101)(X P X ，接收符号??????-=21,21Y ，其失真矩阵???? ??????=112211D 求信源的最大失真度和最小失真度，并求选择何种信道可达到该D max 和D min 的失真度。 4.3 某二元信源??????=??????2/12/110)(X P X 其失真矩阵为?? ????=a a D 00求这信源的D max 和D min 和R(D)

信息率失真函数.doc

第四章信息率失真函数（第九讲） （2课时） 主要内容：（1）平均失真和信息率失真函数（2）离散信源和连续信源的R（D）计算重点：失真函数、平均失真、信息率失真函数R（D）、信息率失真函数的计算。 难点：信息率失真函数R（D）、信息率失真函数的计算。 作业：4、lo 说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 §4-1引言 （一）引入限失真的必要性： 失真在传输中是不可避免的； 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的； 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真； 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D,及其相应的信源最小信息率R（D）. 对限失真信源，应该传送的最小信息率是R（D）,而不是无失真情况下的信源爛H（U）. 显然H（U）2R（D）. 当且仅当D=0时，等号成立； 为了定量度量D,必须建立信源的客观失真度量，并与D建立定量关系； R（D）函数是限失真信源信息处理的理论基础； （二）R（D）函数的定义 信源与信宿联合空间上失真测度的定义：d （见叩:t/xV^/r[0,oo） 其屮：u*U（单消息信源空I'可） v y eV （单消息信宿空间） 则有 万=Y工〃（吧 称7为统计平均失真，它在信号空I'可屮可以看作一类“距离”，它有性质 1〉= 0,当比=Vj 2〉min 〃（吧）=°

3〉05〃(比/匕)<00 对离散信源：i=j=l,2............. n , d(upj) = djj, 则有： d 」0,当；可(无失真) 厂］〉0,当iHj (有失真) 若取冷为汉明距离，则有： Jo,当i = j (无失真) 厂［1,当iHj (有失真) 对连续信源，失真可用二元函数d(u,v)表示。 推而广之，d(u,v)可表示任何用V 表达U 时所引进的失真，误差，损失，风险，甚至是 主观感觉 上的差异等等。 进一步定义允许失真D 为平均失真的上界: D>d =工=工工〃￡皿???对离散 ? ? ? ? 在讨论信息率失真函数时，考虑到信源与信宿之I'可有一个无失真信道，称它为试验信 道，对离散信源可记为p 〃，对限失真信源这一试验信道集合可定义为： P D =\P ji -D>d = YLP ：P J^ 根据前面在互信息中已讨论过的性质: 1(U\ I,p ；j\ 且互信息是门的上凸函数，其极限值存在且为信道容量：C = max/(卫: p< ? 这里，我们给出其对偶定义： R(D)= mi 1Y U # ) m"pQp2,_ D P j f P D 陆 j i P D 即互信息是◎的下凸函数。其极限值存在且为信息率失真函数。 它还存在下列等效定义： D(R) = minD>d =工工门叽 < P 泸 P R i J P R = {? : /(t/；V) < R (给定速率)} 称D(R)为失真信息率函数，是R(D)的逆函数，它是求在允许最大速率情况下的最大 失真Do 至此，我们已给定R(D)函数一个初步描述。 则有: d(u. v)= (w-仍 H = \u-v

【免费下载】第四章 信息率失真函数 习题答案

4.1 一个四元对称信源，接收符号Y = {0, 1, 2, 3}，其失??????=??????4/14/1324/14/110)(X P X 真矩阵为，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。????????????0111101111011110解： 0041041041041),(min )(43041141141141),()(min min min max =?+?+?+?===?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数：??? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )(其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13ln 4ln )(函数曲线： D 其中：symbol nat D R D symbol nat D R D symbol nat D R D symbol nat R D /0)(,43/12ln 214ln )(,21/316ln 214ln )(,41/4ln )0(,0==-==-====4.2 若某无记忆信源，接收符号，其失真矩阵求信??????-=??????3/113/13/101)(X P X ??????-=21,21Y ??????????=112211D 源的最大失真度和最小失真度，并求选择何种信道可达到该D max 和D min 的失真度。

4.3 某二元信源其失真矩阵为求这信源的D max 和D min 和R(D)??????=??????2/12/110)(X P X ?? ????=a a D 00函数。解：0021021),(min )(202121),()(min min min max =?+?===?+?===∑∑i j i j i i j i i j j y x d x p D a a y x d x p D D 因为二元等概信源率失真函数：??? ??-=a D H n D R ln )(其中n = 2, 所以率失真函数为： ????????? ??-??? ??-+-=a D a D a D a D D R 1ln 1ln 2ln )(4.4 已知信源X = {0, 1}，信宿Y = {0, 1, 2}。设信源输入符号为等概率分布，而且失真函数，求信源的率失真函数R(D)。??????∞∞=1100D 4.5 设信源X = {0, 1, 2, 3}，信宿Y = {0, 1, 2, 3, 4, 5, 6}。且信源为无记忆、等概率分布。失真函数定义为 证明率失真函数R(D)如图所示。???????∞ ======且且且且53,21 41,010),(j i j i j i y x d j i log22log2D 4.6 设信源X = {0, 1, 2}，相应的概率分布p (0) = p (1) = 0.4，p (2) = 0.2。且失真函数为)2,1,0,(10),(=???≠==j i j i j i y x d j i (1) 求此信源的R(D)； (2) 若此信源用容量为C 的信道传递，请画出信道容量C 和其最小误码率P k 之间的曲线关系。 4.7 设0 < α, β < 1, α + β = 1。试证明：αR(D’) +βR(D”) ≥ R(αD’ +βD”) 4.8 试证明对于离散无记忆N 次扩展信源，有R N (D) = NR(D)。其中N 为任意正整数，D ≥ D min 。 4.9 设某地区的“晴天”概率p (晴) = 5/6，“雨天”概率p (雨) = 1/6，把“晴天”预报为“雨天”，把“雨天”预报为“晴天”造成的损失为a 元。又设该地区的天气预报系统把“晴天”预报为“晴天”，“雨天”预报为“雨天”的概率均为0.9；把把“晴天”预报为“雨天”，把“雨天”预报为“晴天”的概率均为

第4章 信息率失真函数

第四章 信息率失真函数 无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率 R 小于信道容量 C ，总能找到一种编码方法,使得在该信道上的信息传输的差错概率 P e 任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。但是，无失真的编码并非总是必要的。无失真的编码并非总是可能的。在实际信息传输系统中，失真是不可避免的，有时甚至是必须的。 香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。定理指出：在允许一定失真度D 的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。 1 失真测度 1.1 失真度 从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的。 离散无记忆信源U ，信源变量U ＝{u1,u2,…ur}，概率分布为P(u)＝[P(u1),P(u2),…P(ur)] 。 信源符号通过信道传输到某接收端，接收端的接收变量V ＝ {v1,v2,…vs} 。 对应于每一对(u,v)，我们指定一个非负的函数： 称为单个符号的失真度(或失真函数)。 通常较小的d 值代表较小的失真，而d(ui,vj)＝0表示没有失真。 若信源变量U 有r 个符号，接收变量V 有s 个符号，则d(ui,vj)就有r ×s 个,它可以排列成矩阵形式，即： 它为失真矩阵D ，是 r ×s 阶矩阵。 须强调: 这里假设U 是信源，V 是信宿，那么U 和V 之间必有信道。实际这里U 指的是原始的未失真信源，而V 是指失真以后的信源。因此，从U 到V 之间实际上是失真算法，所以这里的转移概率p(vj/ui)是指一种失真算法，有时又把p(vj/ui) 称为试验信道的转移概率，如图所示： j i j i v u d j i ≠=???>=)0(0),(α????????????=),(...),(),(:...::),(...),(),(),(...),(),(212221212111s r r r s s v u d v u d v u d v u d v u d v u d v u d v u d v u d D

信息率失真函数

第四章 信息率失真函数（第九讲） （2课时） 主要内容：（1）平均失真和信息率失真函数（2）离散信源和连续信源的R(D)计算 重点：失真函数、平均失真、信息率失真函数R(D)、信息率失真函数的计算。 难点：信息率失真函数R(D)、信息率失真函数的计算。 作业：4、1。 说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 §4-1 引言 （一） 引入限失真的必要性： 失真在传输中是不可避免的; 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的; 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真； 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos 要求下的最大允许（容忍）失真D ，及其相应的信源最小信息率R(D). 对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U). 显然 H(U)≥R(D). 当且仅当 D=0时，等号成立； 为了定量度量D ，必须建立信源的客观失真度量，并与D 建立定量关系； R(D)函数是限失真信源信息处理的理论基础； （二） R(D)函数的定义 信源与信宿联合空间上失真测度的定义：()i j d u v : [0,)U V R + ?→∞ 其中： i u U ∈ （单消息信源空间） j v V ∈ （单消息信宿空间） 则有 ()()i j i j i j u v d p u v d u v =∑∑ 称d 为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质 1〉()0i j d u v =, 当i j u v = 2〉 ,()0min i j i j u U v V d u v ∈∈=