下载文档原格式
《信息论与编码》课程教学大纲一、课程基本信息课程代码：16052603课程名称：信息论与编码英文名称：Information Theory and Coding课程类别：专业课学时：48学分：3适用对象:信息与计算科学考核方式：考试先修课程：数学分析、高等代数、概率论二、课程简介《信息论与编码》是信息科学类专业本科生必修的专业理论课程。
通过本课程的学习，学生将了解和掌握信息度量和信道容量的基本概念、信源和信道特性、编码理论等，为以后深入学习信息与通信类课程、为将来从事信息处理方面的实际工作打下基础。
本课程的主要内容包括：信息的度量、信源和信源熵、信道及信道容量、无失真信源编码、有噪信道编码等。
Information Theory and Coding is a compulsory professional theory course for undergraduates in information science. Through this course, students will understand and master the basic concepts of information measurement and channel capacity, source and channel characteristics, coding theory, etc., lay the foundation for the future in-depth study of information and communication courses, for the future to engage in information processing in the actual work.The main contents of this course include: information measurement, source and source entropy, channel and channel capacity, distortion-free source coding, noisy channel coding, etc。
信息论与编码 第四章
4.5判断以下几种信道是不是准对称信道
（1）⎥⎦
⎤⎢⎣⎡3.02.05.05.03.02.0不是
（2）⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡7.03.06.04.03.07.0不是 （3）⎥⎦
⎤⎢⎣⎡7.01.02.02.01.07.0是
（4）⎥⎦
⎤⎢⎣⎡6/13/13/16/16/16/13/13/1 是 4.7计算以下离散无记忆信道DMC 的容量及最佳分布
（1）P=⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡---p p p p p p 101001
解：
此为对称信道，达到C 需要等概，则该信道的最佳分布为：
X q （X ） = x1 x2 x313 13 13
所以该信道的容量为：C=log 3+（1-p ）log(1−p)+p log p =log3-H 2（p ）
(2)P=⎥⎦⎤⎢⎣⎡----2/)1(2/)1(2/2
/2/2/2/)1(2/)1(p p p p p p p p
解:
易得该信道为一个准对称信道，假定最佳分布为：
X q （X ） = x1 x2 13 13
s1= (1−p)/2p/2p/2(1−p)/2 s2= (1−p)/2p/2p/2(1−p)/2
C=log k - N s *log M s -H
=log 2-(1/2*log 1/2+1/2*log 1/2)+(1-p)log(1−p)/2+p log p =log2+(1-p)log(1−p)/2+p log p
=log2-H 2（p ）
(5)P= 132323
13
解:
C=log 2+13×log 13+23×log 23 =0.083
4.10给定离散信道的信道转移概率矩阵P=⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡----q q q q p p p p 100100001001,计算其信道容量C
解:
s1= 1−p p p 1−p s2= 0000
S3= 0000
s4= 1−q q q 1−q C=log 4+(1-p)log(1−p)+p log p +(1-q)log(1−q)+q log q
4.11给定离散信道P=
0.30.70.50.5
，计算信道容量C 解：
P −1= −2.5 3.52.5−1.5 H(Y ｜x 1)=-0.3ln 0.3-0.7ln 0.7=0.6
H(Y ｜x 2)=-ln 0.5=0.7
C=ln e {− p −1H}2i=12k=1
=ln[e 2.5∗0.6−3.5∗0.7+e −2.5∗0.6+1.5∗0.7]
=0
4.18 N 个同样的二进制对称信道BSC 级联，如图所示，各信道的转
移概率矩阵为P= p 1−p 1−p p
,证明它等价于一个转移概率为12[1-(1−2p)n ]的BSC ，且当n →∞时，信道容量C →0
图见P98
证明：P N =(1-P N −1)*P+P N −1*(1-P)=P N −1*(1-2P)+P
P N −1=P N −2*(1-2P)+P
P N −2=P N −3*(1-2P)+P
…
P 2=P 1*(1-2P)+P
P 1=P
=>P N =P N −1*(1-2P)+P
=[P N −2*(1-2P)+P]*(1-2P)+P =P N −2*(1−2P)2+P*(1-2P)+P =P N −3*(1−2P)3+P*(1−2P)2+P*(1-2P)+P
=P ∗(1−2P)N −1+P* (1−2P)I N −2I=0
=P (1−2P)I N −1I=0
=P*
1−(1−2P)N 1−(1−2P) =1−(1−2P)N 2
Q N =P{X N =0}=P{X 0=0}*(1-P N )+P{X 0=1}*P N C=0。
