第7章信息论
- 格式:pdf
- 大小:137.28 KB
- 文档页数:26
称为单个符号的失真度(或称失真函数)
第一节 失真度和平均失真度
失真函数用来表征信源发出一个符号 ui ,而在接收端再 现成符号 v j 所引起的误差或失真。d越小表示失真越小, 等于0表示没有失真。 可以将所有的失真函数排列成矩阵的形式:
d (u1 , v1 ) d (u1 , v2 ) ... d (u1 , vs ) d (u , v ) d (u , v ) ... d (u , v ) 2 1 2 2 2 s D ... d ( u , v ) d ( u , v ) ... d ( u , v ) r 1 r 2 r s
第一节 失真度和平均失真度
1、失真度 信源 信源 编码 信道 编码 信道 信道 译码 信源 译码 信宿
干扰 根据信道编码定理,我们可以把信道编码、信道和信道解 码等价成是一个没有任何干扰的广义信道,这样收信者收到 消息后,所产生的失真只是由信源编码带来的。我们也可以 把信源编码和信源译码等价成一个信道。
D E [d (ui , v j )]
若已知试验信道的传递概率,则平均失真度为:
D P(u, v )d (u, v ) P(ui ) P (v j / ui )d (ui , v j )
U ,V i 1 j 1 r s
若平均失真度 D 不大于我们所允许的失真D,我们称此为 保真度准则。 DD 凡满足保真度准则的这些试验信道称为D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合,用符号 BD 表示。
第一节 失真度和平均失真度
信源
试验信道
信宿
我们称此信道为试验信道。 现在我们要研究在给定允许失真的条件下,是否可以设计一种信 源编码使信息传输率为最低。为此,我们首先讨论失真的测度。 设信源变量为 U {u1 , u 2 ,...u r },其概率分布为 P(u ) [ P(u1 )...P(ur )] 接受端变量为 V {v1 , v 2 , ...v s } , 对于每一对(u,v),我们指定一个非负的函数
我们称它为失真矩阵。
第一节 失真度和平均失真度
例1:
0 当ui vj d (ui , v j ) 1 当ui vj
0 1 ... 1 1 0 ... 1 D ... 1 1 ... 0
这种失真成为汉明失真
失真矩阵为:
在二元情况下:
BD
改变试验信道求平均互信息的最小值,实质上是选择一种 编码方式使信息传输率为最小。
第二节 信息率失真函数及其性质
2、信息率失真函数的性质 1)、R(D)的定义域是(0, Dmax ) (1)、 D m in 和 R( Dmin ) 允许失真度D的最小值为0,即不允许有失真,这要求失真 矩阵中每行至少有一个为0。 R(0)的最小值为H(U),即信息传输率至少为信源的信息熵 例:
第七章 保真度准则下的信源编码
第一节 失真度和平均失真度 第二节 信息率失真函数及其性质 第三节 二元信源和离散对称信源的R(D)函数 第四节 保真度准则下的信源编码定理 第五节 联合有失真信源信道编码定理 第六节 有失真信源编码定理的实用意义
第一节 失真度和平均失真度
在实际生活中,人们不一定要求完全无失真的恢复消 息,也就是允许有一定的失真。 那么在允许一定程度失真的条件下,能够把信源信息压 缩到什么程度,也就是,允许一定程度失真的条件下,如何 能快速的传输信息,这就是本章所要讨论的问题。 本章所讨论的内容是量化、数模转换、频带压缩和数据 压缩的理论基础。
第一节 失真度和平均失真度
例3:对称信源r=s,定义失真度为:
d (ui , v j ) ( v j ui )2
当r=s=3时, U 0 1 2 失真矩阵为:
0 1 4 D 1 0 1 4 1 0
V 0 1 2
第一节 失真度和平均失真度
2、平均失真度
第二节 信息率失真函数及其性质
1、信息率失真函数 当信源和失真函数给定后,我们总希望在满足保真度准则 下寻找平均互信息的最小值。也就是在 BD 中找一个信道,使 平均互信息取极小值。这个最小值就是在 D D 的条件下, 信源必须传ห้องสมุดไป่ตู้的最小平均信息量。
R( D ) min{I (U ;V )}
1 0 D 0 1
第一节 失真度和平均失真度
例2:删除信源
s r 1
0 i j d (ui , v j ) 1 i j (除j=s以外的所有i和所有j) 1/ 2 j s(所有i )
对于二元删除信源r=2,s=3
0 1/ 2 1 D 1 1/ 2 0
0 1 1/ 2 D 1 0 1/ 2
Dmin P(ui )������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������