信源压缩 编码基础
s1 s2 S 3 1 P(s) 4 4 随着N的增加，平均码长减小，有效性逐步提高；
当N趋于无穷时，平均码长可以无限制地减小吗？ N=3 N=4 H (S ) R3 0.985 (bit/code) R4 0.991 (bit/code) L3 / 3 H (S ) 3 0.985 4 0.991 L3 / 3 log 2
S N (S1,..., SN )
信源压缩 编码基础
Wi {xi1 , xi2 ..., xili }
编码器
Si {a1 ,..., aq } i 1, 2,..., N
X : x {x1,..., xr } i 1,2,..., q N
N次扩展信源无失真编码器
信息论与编码基础
1）请给出此信源的最佳码，并计算平均码长Lm. 2）哪些m值可使平均码长Lm等于熵？
3）定义变长码的冗余度为ρ= Lm – H。请问对怎样 的m值，编码冗余度可达到最大，其中2k≤m ≤ 2k+1? 当m→∞时，最坏情形下冗余度的极限值是什么？
信息论与编码基础
本课小结
信源编码器模型
性能指标
信源压缩 编码基础
01 00 111 110 101 10 1001 100 0.11 1000
0.35 0.26 11
0.39 0
平均码长 2.72 code/sig 信息熵 2.6 bit/sig 编码效率 95.6%
1000
信息论与编码基础
Huffman码
说明： 1、码字不唯一
信源压缩 编码基础
2、最佳性
所谓最佳性，就是指对于某个给定信源，在所有可能 3、输入、输出速率匹配问题 的唯一可译码中，此码的平均码长最短。
