下载文档原格式
第4章离散无记忆信源无失真编码主要内容1、基本概念2、码的唯一可译性3、定长编码定理和定长编码方法4、变长编码定理5 变长编码方法6 几种实用的无失真信源编码1、基本概念信源发出的消息序列通常不能直接送给信道传输，需要经过信源编码和信道编码。
信道编码的目的是降低差错率，提高传送的可靠性。
信源编码的目的是为了降低冗余度，提高通信的有效性。
编码是一种映射，是将输入符号映射成码字。
无失真编码，映射一一对应，可逆。
编码器模型：码长：码字所含码元的个数定长编码：所有码字均有相同的码长，对应的码叫做定长码(FLC ，Fixed Length code)；否则为变长编码。
编码器12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源平均码长：码中所有码字码长的统计平均，即码元/符号编码效率：编码后的实际信息率与编码后的最大信息率之比冗余度：l l l2、码的唯一可译性（1）基本概念奇异码：一组码中含相同码字。
非奇异码：所有的码字都不相同。
唯一可译性：码字组成的任意有限长码字序列都能恢复成唯一的信源序列。
续长码：有些码字是在另一些码字后面添加码元得来的。
及时码：码字的最后一个码元出现时，译码器能立即判断一个码字已经结束，可以立即译码。
非续长码：任一码字都不是其它码字的延长。
唯一可译码定长非奇异码非续长码非奇异码5种不同的码35124121142183184()00001000100001001101001110011111110111111i P u W W W W W U u u u u（2）码树和Kraft不等式从树根开始，生长r个树枝，在节点处再各自生长r个树枝。
节点：树枝与树枝的交点。
l阶节点：经过l根树枝到达的节点。
整树：节点长出的树枝数等于r定理：对于任一r进制非续长码，各码字的码长必须满足Kraft不等式：反过来，若上式成立，就一定能构造一个r 进制非续长码。
3、编码器的输出f 是一一对应的映射i i P w P u i q()()1,2,, H W H U ()()bit/码字或bit/符号H W H U H X l l()()()bit/码元新信源X ：编码后的信息率R ：平均一个码元携带的信息量。
H W H U H X l l()()()bit/码元平均码长越小，每个码元携带的信息量就越多，传输一个码元就传输了较多的信息。
R X{,,,}12r x x x 编码器f12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源4、编码效率为了衡量编码效果，定义编码效率：编码后的实际信息率与编码后的最大信息率之比。
max max ()()()()log log c R H X H U l H U R H X r l r注：编码效率实际上也是新信源X 的信息含量效率或熵的相对率。
新信源的冗余度也是码的冗余度：1c c X{,,,}12rx x x 编码器f12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源5种不同的码i P u W W W W W U u u u u 351241234()1200001001401000010011810100111001118111110111111W 1: 定长码。
W 3: 变长码。
奇异码。
定长非奇异码肯定是UDC u u u u u u u u u u u u u12434321121211,00,10,010110,01,00,11,00,1,00,1W 2: 定长码。
W 4: 变长码。
W 5: 变长码。
非奇异码。
非奇异码。
非奇异码。
非奇异码。
续长码。
非续长码。
续长码。
及时码。
非及时码。
奇异码肯定不是UDC不是UDC非续长码肯定是UDC 是UDC非及时码。
非续长码。
W 3：1001001唯一可译码定长非奇异码非续长码非奇异码码奇异码非奇异码非唯一可译码唯一可译码定长非奇异码变长非续长码（部分）变长续长码4.3 定长编码定理和定长编码方法1、对信源输出的符号序列进行编码DMS编码器f12{,,,}q u u u 12{,,,}r x x x WU 12{,,,}q w w w XX12{,,,}r x x x DMS编码器f 12{,,,}N q 12{,,,}r x x x WNU 12{,,,}Nq w w w XX12{,,,}r x x x 对信源U 的单个符号进行编码对信源U 的N 长符号串进行编码对扩展信源U N 的单个符号进行编码12i i i iNu u u 1212,,,{,,,}i i iN q u u u u u u2、定长编码定理r 进制定长编码,码长为l N , 可用的码字数目：Nl r Nl Nrq唯一可译max max ()log ()log log N r H U l q H U N r r信息传输率编码效率()()/N H U R H X l Nmax ()()()log c NH X H U l H X r Nbit/码元DMS编码器f 12{,,,}Nq 12{,,,}r x x x W NU 12{,,,}N q w w w XX12{,,,}r x x x定长无失真编码定理：用r 元符号表对离散无记忆信源U 的N 长符号序列进行定长编码，N 长符号序列对应的码长为l N ，若对于任意小的正数ε，有不等式:就几乎能做到无失真编码，且随着序列长度N 的增大，译码差错率趋于0。
00001 001 0000001 0000000 01 0000000 0001 000001 0001 0000001 5 3 7 7 2 7 4 6 4 71 01 001 0001 00001 000001 0000001 0000000S1 s2 s3 s4 s5 s6 s7 s8000 001 010 011 100 101 110 111第四章无失真信源编码将信源产生的全部信息无损地发送给信宿，这种信源编码称无失真信源编码。
编码过程由编码器实现。
§4.1 编码器r编码器数学模型1、编码器构成：输入：信源符号集S =(s 1,s 2, …s q )，由q 个符号组成码符号集X =(x 1,x 2…x r )，由r 个符号组成输出：代码组C =(w 1, w 2,…w q )，由q 个码字组成其中，称为码字，l i 称为码字长度)...(21il i i i i x x x w =2、编码器的作用：将信源符号集S 中的符号s i ，i=1,2…,q→ 变换成由码符号集X 中的码元x j ，j=1,2…,r 组成的长度为l i 的一一对应的码字码字的集合称为代码组C 。
)...(21i l i i i i x x x w =3、码分类：根据代码组C 中码字的长度固定长度码：（定长码）代码组C 中所有码字的长度相同。
可变长度码：（变长码）代码组C 中码字的长度不相同。
10晴阴雨雪0.40.30.20.11*0.4+2*0.3+3*0.2+3*0.1=1.94、码奇异性：非奇异码：代码组C中所有码字都不相同。
奇异码：代码组C中有相同的码字。
§4.2 即时码与唯一可译码1、分组码定义：信源符号集S中的每一个符号si 都映射成一个固定的码字wi，这种码称为分组码。
2、分组码性质：(1) 奇异性：•非奇异性是分组码正确译码的必要条件。
(2) 唯一可译性：•如果一个分组码对于任意有限的整数N，其N次扩展码均为非奇异码，则称之为唯一可译码。
