信息论与编码知识点分布
- 格式:doc
- 大小:238.50 KB
- 文档页数:9
信息论与编码知识点分布
信息论与编码知识点分布
注:
(1)复习过程中参考如下知识点,重点复习教材与多媒体讲义中的相关内容,在理解的基础上进行针对性公式记忆。
(2)期末考试题量较大,题型较为灵活,求解速度很重要。因此复习中对典型例题、讲义中典型习题、教材中模拟题等要熟练掌握求解方法。
第二章 信源与信源熵
1信源的不确定性 2单符号离散信源
(1)单符号离散信源的数学模型
121
2,,,
,,(),
(),,
(),,
()()i n i n x x x x X p x p x p x p x P X ⎧⎫
⎡⎤⎪
=⎨⎬⎢⎥⎪⎣⎦⎭
⎩L L L L
(2)单符号离散信源的信息量(自信息量 、联合信息量、条件信息量及三种信息量的关系) 自信息量:
()log ()
i i I x p x =- 条件信息量:
2(/)log (/)
i j i j I x y p x y =-
联合信息量:
22()log ()log ()(/)()(/)()(/)
i j i j j i j i i j j j i I x y p x y p y p x y I x I x y I y I y x =-=-=+=+
互信息量:
2
(/)(;)log ()(/)()()()
()
i j i j i i j i j i j i p x y I x y I x I x y I x I y I x y p x ==-=+-
信源熵:
∑=-===n
i i i i i x p x p x p E x I E X H 1
22)
(log )(])(1
[log )]([)(
条件熵:
∑∑===
=m j n
i
j i j i j i y x I y x p y x I E Y X H 1
1
)/()()]/([)/( 联合熵:
∑∑∑∑====-==
n i m j n i m
j
j i j i j i j i y x p y x p y x I y x p XY H 1
1
1
1
2
)(log )()()()(
熵函数的性质:非负性;对称性;最大离散熵定理;扩展性;可加性;极值性; 平均互信息量:
2
11()(;)()log (;)
()()
n
m
i j i j i j i j p x y I X Y p x y I Y X p x p y ====∑∑
各种熵之间的关系:
例题:在理解的基础上求解实际问题:
3多符号离散平稳信源
离散无记忆扩展信源:定义;
离散无记忆信源X 的N 次扩展信源的熵就是离散信源X 的熵的N 倍
()()N
H X NH X
离散平稳信源:定义;平均符号熵与极限熵;
4马尔可夫信源:定义;信源状态转移图;各态遍历定理;熵计算
第三章 无失真信源编码
1信源编码的分类:
2 Kraft 不等式与码树表示法;平均码长;编码效率;
3定长编码定理;变长编码定理;
4香农、费诺、Huffman 、游程编码、LD 编码、算数编码、LZW 编码的编码过程。
第四章 限失真信源编码
1失真测度与失真矩阵; 2平均失真度与保真度准则;
3信息率失真函数R (D )及其定义域的确定; 4汉明失真下的的二元信源R (D )的定义式; 5对称失真矩阵下n 元等概信源率失真函数的定义式;
6限失真信源编码定理及应用; 7多媒体压缩编码(了解)
第五章 信道及信道容量
1一般信道的数学模型:
[]1121112
22212(|)(|)...(|)(|)
(|)...(|)(|)............(|)
(|)...
(|)m m n n m n p b a p b a p b a p b a p b a p b a P Y X p b a p b a p b a ⎡⎤⎢⎥⎢
⎥
=⎢⎥⎢
⎥
⎣⎦
2信道容量的定义:
()
max (;)
bit/i p x C I X Y =信道符号
3信道容量的计算:
特殊的单符号离散信道的信道容量 一一对应关系的无损信道 2
2()
()
()
max (;)max ()max ()log
log i i i p x p x p x C I X Y H X H Y n m
=====
具有归并性能的无噪信道
2()
()
max (;)max ()log i i p x p x C I X Y H X n
=== 具有扩展性能的无噪信道
2()
()
max (;)max ()log i i p x p x C I X Y H Y m
===
强对称离散信道的信道容量
()
()
222
max[()(/)]max[()]
log log log 1
i i ni p x p x C H Y H Y X H Y H p n p p p n =-=-=++-
对称离散信道的信道容量 (行可排列、列可排列性)
212()
max[()(/)]log (,,,)
i m p x C H Y H Y X m H q q q =-=-L
准对称离散信道的信道容量(行可排列,列不可排列--〉分割)
一般离散信道的信道容量计算步骤:
4多符号离散信道: