下载文档原格式
第三章 信源编码——离散信源无失真编码本章分析问题：在信宿要求无失真接收时，或所有信源信息无损的条件下，离散信源输出的表示——即信源编码问题。
内容：信源分类，信息速率的计算，编码定理，有效编码方法等。
一、信源及其分类 1． 离散信源和连续信源离散信源表示：…Ｕ－２Ｕ－１Ｕ０Ｕ１Ｕ２…其中ＵＬ随机变量，取值范围：Ａ＝｛ａ１，ａ２，…ａｋ｝ ２．无记忆源和有记忆源无记忆源：各ＵＬ彼此统计独立简单信源：各ＵＬ彼此统计独立且服从同一概率分布 Ｐ（ＵＬ＝ａｋ）＝Ｐｋ，ｋ＝１，２，…，Ｋ∑=Kk 1Ｐｋ＝１有记忆源：各ＵＬ取值相关。
ＵＬ＝（Ｕ１，Ｕ２，…，ＵＬ）∈ＵＬ，其概率分布由Ｌ维随机矢量表示，Ｐ（ＵＬ＝ａ）＝Ｐ（Ｕ１＝ａｋ１，…，ＵＬ＝ａｋＬ） ３．平稳信源：概率分布与起始下标无关Ｐ（Ｕ１＝ａｋ１，…，ＵＬ＝ａｋＬ）＝Ｐ（Ｕｔ＋１＝ａｋ１，…，ＵＬ＝ａｋＬ）４．各态历经源：信源输出的随机序列具有各态历经性。
５．有限记忆源：用条件概率Ｐ（ＵＬ，ＵＬ－１，ＵＬ－２，ＵＬ－ｍ）表述。
ｍ为记忆阶数。
６．马尔可夫源：有限记忆源可用有限状态马尔可夫链描述，当ｍ＝１时为简单马尔可夫链。
７．时间离散的连续源：各随机变量ＵＬ取值连续。
８．随机波形源：时间和取值上均连续的信源；由随机过程ｕ（ｔ）描述，时间或频率上有限的随机过程可展开成分量取值连续的随机矢量表示，即时间上离散，取值连续的信源。
９．混合信源二、离散无记忆源的等长编码离散无记忆源：ＤＭＳＬ长信源输出序列：ＵＬ＝（Ｕ１，Ｕ２，…，ＵＬ），Ｕｌ取值｛ａ１，ａ２，…ａｋ｝，共ＫＬ种不同序列。
对每个输出序列用Ｄ元码进行等长编码，码长为Ｎ，则可选码共有ＤＮ个。
１．单义可译码或唯一可译码：条件：ＤＮ≥ＫＬ＝Ｍ，即Ｎ≥ＬｌｏｇＫ／ｌｏｇＤＮ／Ｌ：每个信源符号所需的平均码元数；Ｎ／Ｌ→３．３２２；２．信息无损编码要求：设每个信源符号的信息量为Ｈ（Ｕ），则Ｌ长信源序列的最大熵值为ＬＨ（Ｕ），编码时由于Ｄ个码元独立等概时携带信息量最大，使码长最短。
第三章信源编码定理与信道编码定理通信系统的两个基本问题问题一：数据压缩的理论极限是什么。
问题二：通信传输速率的理论极限是什么。
问题一（理论）：如何度量信源产生信息无失真信源编码定理离散无记忆信道离散无记忆信道容量计算时间离散的无记忆连续信道为什么要对信源进行编码?由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度。
信源编码的主要任务就是减少冗余，提高编码效率。
具体说，就是针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短的码字序列。
为什么还要引入有失真编码呢？感觉无失真编码应该优于有失真编码编码器可以看作这样一个系统，它的输入端为原始信源U，其符号集为U:{u1,u2,…,u q}；而信道所能传输的码符号集为X:{x1,x2,…,x r}；编码器的功能是用符号集X中的元素，将原始信源的符号ui 变换为相应的码字符号Wi，(i=1,2,…,q)，所以编码器输出端的符号集为W:{W1,W2,…,W q}。
码的类型信源的类型离散无记忆信源的等长编码无失真等长编码中文电报的汉字编码就是一种等长编码。
这里N=4,D=10 ，即每个汉字用4位十进制数表示。
例如，“西安”编码后就成为4687 16180。
此外，0, 1, 2, ... , 9这10个数字采用如右边的编码方法。
右边的表格中的码字有什么特点？A频率在［0.19,0.21 ］的序列的概率和A频率在［0.19,0.21 ］序列的比例结论●某些特定的信源序列的出现概率可能高于某个特定“常见”序列的出现概率；●随着序列长度的增加，常见序列构成的集合的总体概率趋于1 。
（弱大数定律）想法－渐近无失真编码•如果这些“常见”序列的概率之和接近于1，并且它们的数目相对2L小得多，那么我们就可以只对这些“常见”序列进行编码。
其他序列不做考虑。
•随着L 的增加，其它序列几乎不发生。
这样，这种编码方法也就几乎没有失真了。
如何用数学工具来描述“常见”序列弱典型序列渐进等同分割性质定理：如果U 1,U 2，…是独立离散随机变量,分布服从p (u )，则等价表述：设离散无记忆稳恒信源输出的一个特定序列u 1u 2…u L 。
