信息论与编码复习总结
- 格式：doc
- 大小：441.14 KB
- 文档页数：7
信息论与编码复习总结
题型：填空、解答、计算
1、 编码：无失真与限失真信源编码定理
编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真
三大定理:
无失真信源编码定理（第一极限定理）（可逆）
信道编码定理（第二极限定理）
限失真信源编码定理（第三极限定理） （不可逆）
Shannon(香农)信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论。
通信系统模型方框图:
信道的种类很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。也可以从信道的性质或其传送的信号情况来分类，例如：无干扰信道和有干扰信道、恒参信道和变参信道、离散信道（Discrete Channel）和连续信道（Continuous Channel）、单用户信道和多用户信道等。
信源的描述：通过概率空间描述
平稳包含齐次，而齐次不包含平稳 （重要，第二章计算题）
定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，pj称为平稳分布（如下）
设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj=p(sj)
自信息量的特性：
p(xi)=1,I(xi)=0; p(xi)=0,I(xi)=∞; 非负性；单调递减性；可加性；
定义：联合概率空间中任一联合事件的联合（自）信息量为：
定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特
...
信道模型：二进制离散信道BSC；离散无记忆信道DMC；波形信道
信源编码器的目的：是使编码后所需的信息传输率R尽量小。
信源编码：主要任务就是减少冗余，提高编码效率。 唯一可译码：（任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码）{0,10,11}为唯一可译码， 任意有限长码序列：100111000。
（分类）即时码和非即时码
变长编码定理：（解答，重要） ???
1、平均码长：
2、根据信源各个符号的统计特性，如概率大的符号用短码，概率小的用较长的码，使得编码后平均码长降低，从而提高编码效率。（统计匹配）
变长码要求编码效率96%时，序列长仅为2.随着L的增加，编码效率可接近1，有效的利用信道
问：小信号集如何实现统计匹配的变长编码？
答：基本思想为扩张信源，以实现统计匹配
哈夫曼编码（例题） （重要）哈夫曼码是即时码
例： 信源（u1，u2），对应概率为p1=2/3，p2=1/3，取L=1,2,3，分别进行二进制哈夫曼编码。
L=1，编码u10，u21，
对应平均码长k1=1
信源熵H=0.9183bit
编码效率=0.9183
L=2，每次取两个消息，组成新的联合信源
消息集 概率 编码
u1u1 4/9 1
u1u2 2/9 01
u2u1 2/9 000
u2u2 1/9 001
平均码长k=0.944
编码效率=0.9725
L=3，三次扩展
消息集 概率 编码
u1u1u1 8/27 01 u1u1u2 4/27 000
u1u2u1 4/27 001
u1u2u2 2/27 100
u2u1u1 4/27 110
u2u1u2 2/27 111
u2u2u1 2/27 1010
u2u2u2 1/27 1011
平均码长k=0.9383
编码效率=0.9787
纠错能力（汉明码）（重要）
...
卷积码（编码——状态图、网格图）：
...
交织码、级连码（填空）
交织码差错的两种类型：随机差错（独立差错）、突发差错
主要缺点：会带来较长的时延，在实时通信中会带来不利影响
改造方法：卷积交织器，可降低一半的时延
级连码：
既能纠随机独立差错又能纠单个或多个突发差错的码：交错码、乘积码、级连码
