信息论导论-第5章-2012

(1)
=1 3
7
结论:错误概率不仅与信道的统计特性有关,而且与译 结论:错误概率不仅与信道的统计特性有关, 码规则有关. 码规则有关. 我们来定义译码规则 设信道的输入符号集为X =1, 设信道的输入符号集为X={ ai},i =1,2,…,r ; 输出符号集为Y =1, 输出符号集为Y= {bj},j =1,2,…,s. 制定译码规则就是设计一个单值函数F ),它对于 制定译码规则就是设计一个单值函数F(bj),它对于 每一个输出符号b 确定一个唯一的输入符号a 每一个输出符号bj确定一个唯一的输入符号ai与其对应 . F(bj)= ai 即 i =1,2,…,r =1, j =1,2,…,s =1, 种译码规则可供选择. 注:对于同一有噪信道共有 r s 种译码规则可供选择.
15
编码1 编码1:将每个码元重复三次 纠正任一位上的错误 设码字记为 (c8c7c6c5c4c3c2c1c0 ) 由编码方法知
c8 = c7 = c6 c5 = c4 = c3 c2 = c1 = c0
纠错: c c 位出错. 纠错:如果 8 = c6 ≠ c7,则 7位出错.在同一组中以 相同二 — ( ). 元数多的为正确 — — —大数判决法 择多译码"规则 "择多译码"
3×10-4 2×10-2 2.23×10-2 7.8×10-4 3×10-2 × × × × ×
14
错误概率与编码方法
重复发送——大数判决规则 重复发送——大数判决规则 信息数据 000 001 010 011 100 101 110 111 编码1 编码1 000000000 000000111 000111000 000111111 111000000 111000111 111111000 111111111 编码2 编码2 000000000 001001001 010010010 011011011 100100100 101101101 110110110 111111111

23
（7）码的N次扩展码
假定某码C，它把信源 S {s1 , s2 ,, sq }中的符号
s i 一一变换成码C中的码字 Wi ，则码C的N次扩展 码是所有N个码字组成的码字序列的集合。
24
例如：若码 C {W1 ,W2 ,,Wq } 满足：si Wi ( xi1 , xi 2 ,, xil ), si S , xil X 则码C的N次扩展码集合 B {B1 , B2 , , Bq } ,其中：
为了解决这两个问题，就要引入信源编码和信 道编码。
2
一般来说，抗干扰能力与信息传输率二者相互矛盾。 然而编码定理已从理论上证明，至少存在某种最佳 的编码能够解决上述矛盾，做到既可靠又有效地传 输信息。 信源虽然多种多样，但无论是哪种类型的信源， 信源符号之间总存在相关性和分布的不均匀性，使 得信源存在冗余度。
q r
N
l
（5.2）
36
25
（8）惟一可译码
若任意一串有限长的码符号序列只能被惟一地 译成所对应的信源符号序列，则此码称为惟一可译 码（或称单义可译码）。否则就称为非惟一可译码 或非单义可译码。
若要使某一码为惟一可译码，则对于任意给定 的有限长的码符号序列，只能被惟一地分割成一个 个的码字。
26
例如：对于二元码 C1 {1, 01, 00}，当任意给定一串 码字序列，例如“10001101”，只可唯一地划分为 1,00,01,1,01，因此是惟一可译码； 而对另一个二元码 C 2 {0,10, 01}，当码字序列 为“01001”时，可划分为0,10,01或01,0,01，所以是 非惟一可译的。
i
N
Bi {Wi1 ,Wi2 ,,WiN }; i1 ,, i N 1,, q; i 1,, q N

4 1 0
第一节 失真测度
• 以上所举的三个例子说明了具体失真度的定义. 一般情况下根据实际信源的失真, 可以定义不同 的失真和误差的度量.
• 另外还可按照其他标准, 如引起的损失、风险、 主观感受上的差别大小等来定义失真度d(ui,vj).
• 从实用意义上说, 研究符号实际信源主观要求的、 合理的失真函数是很重要的.
第一节 失真测度
设信源变量为U={u1,…,ur}, 接收端变量为 V={v1,…,vs}, 对于每一对(u,v), 指定一个非负 函数
d(ui,vj)≥0 称为单个符号的失真度(或称失真函数). 失真函数用来表征信源发出符号ui, 而接收端再现 成符号vj所引起的误差或失真. d越小表示失真越小, 等于0表示没有失真.
➢ 应该指出, 研究R(D)时, 条件概率p(v|u)并没有 实际信道的含义. 只是为了求互信息的最小值而引 用的、假想的可变试验信道. ➢ 实际上这些信道反映的仅是不同的有失真信源编 码或信源压缩. 所以改变试验信道求平均互信息最 小值, 实质上是选择编码方式使信息传输率为最小.
率失真理论与信息传输理论的对偶关系
– 接收端获得的平均信息量可用平均互信息量I(U;V)表示;
– 这就变成了在满足保真度准则的条件下 D D 找平均互信息量I(U;V)的最小值.
,寻
– 因为BD是所有满足保真度准则的试验信道集合, 即可以 在D失真许可的试验信道集合BD中寻找某一个信道 p(vj|ui), 使I(U;V)取最小值.
本章所讨论的内容是量化、数模转换、频带 压缩和数据压缩的理论基础.
前言
本章主要介绍信息率失真理论的基本内容, 侧 重讨论离散无记忆信源.
首先给出信源的失真度和信息率失真函数的定 义与性质, 然后讨论离散信源的信息率失真函数计 算. 在这个基础上论述保真度准则下的信源编码定 理.

07.10.2020
2
I(Y;Z)=H(Y)-H(Y/Z)=H(Z)-H(Z/Y)=I(Z;Y)
H ( Z ) H ( Z /Y ) E lo p ( 1 z ) g E lo p ( z 1 /g y ) E lo p ( p z ( / z ) g y )
I(X ;Z ) I(X ,Y ;Z ) E lo p ( p z (g z /) x ) E lo p (z p g / (z x ) ,y ) Elogpp(z(z//x,xy))
x y z p(x,y,z)lopg p (z(z//x,xy ))
lo xg y z p(x,y,z)pp (z(z//x,xy ))
这是山农信息理论对通信系统模型的一个基本假设。
U
信源
X
编码器
Y
信道
译码器 V
07.10.2020
10
U
X
Y
V
信源
编码器
信道
译码器
这是山农信息理论对通信系统模型的一个基本假设。 根据数据处理定理可以得到：
I(X;V)I(X;Y) I(U;V)I(U;Y) I(U;V)I(X;V)
I(U;V)I(X;Y)
2) 解决的方法是假设其为离散平稳随机序列信源，
极限熵存在，但求解困难；
3) 进一步假设其为m阶Markov信源，其信源熵用极
限熵H m+1近似； 4) 再进一步假设为一阶Markov信源，用其极限熵
H1+1(X2/X1) 来近似； 5) 最简化的信源是离散无记忆信源，
1) 其熵为H(x)=H1 (X); 6) 最后可以假定为等概的离散无记忆信源，
X(X1,X2,...X.n.). V(V1,V2,...V.k.).