M
L
px1, px 2,..., p x M L
给定有D个元素码符号集，对扩展信源编码，总能够找到
一个唯一可译码，使码长 n满L 足：
HX nL HX 1 (3-23)
logD L logD L
定理3.3是定理3.4在L=1时特例
第5页
由定理3.4证实过程：
HX nL HX 1;HX n HX 1
H ( XY ) H ( X ) H (Y / X ) H (Y ) H ( X / Y ) H ( X ) H (Y ) I ( X ;Y ) H ( X / Y ) H (Y / X ) I ( X ;Y )
I(X;Y) H(X ) H(X /Y) H (Y ) H (Y / X ) H ( XY ) H (Y / X ) H ( X / Y ) H ( X ) H (Y ) H ( XY )
定理含义是：只要码长n足够长，总能够找到一 个信源编码，使编码后信息传输率略大于(直至无限迫 近)率失真函数R(D)，而码平均失真度小于给定允许失 真，即：
DD
R(D)为给定D前提下信源编码可能到达下限， 所 以香农第三定理说明了：
到达此下限最正确信源编码是存在．
第19页19
实际信源编码(无失真编码或先限失真编码后无失真编码) 最终目标是尽可能靠近最正确编码，使编码信息传输率靠近 最大值log r，而同时又确保译码后能无失真地恢复信源全部 信息量H(X)或限失真条件下必要信息量R(D)．
③. 指了解信宿与信源之间某种需求而且表达与信道无关客
观描述——R(D) 信息率失真函数。
第10页
• 数据压缩是信息传输和处理主要研究内容 。
• 率失真理论研究就是在允许一定失真前提 下，对信源压缩编码。
