下载文档原格式
信息论复习提纲第一章绪论1．通信系统模型；2．香浓信息的概念；3．信源、信道、信源编码和信道编码研究的核心问题。
第二章离散信源及信源熵1．离散信息量、联合信息量、条件信息量、互信息量定义；2．信源熵、条件熵、联合熵定义；3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；4．最大信源熵定理及证明；5．本章所有讲过的例题；第三章离散信源的信源编码1．信息传输速率、编码效率定义；2．最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明；3．码组为即时码的充要条件；4．单义可译定理（Kraft不等式）及应用；5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；6．本章所有讲过的例题；第四章离散信道容量1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道）；2．本章讲过的例题；第五章连续消息和连续信道1．相对熵的定义；2．均匀分布、高斯分布、指数分布的相对熵及证明；3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明；4．香农公式及意义；5．本章所有讲过的例题；第六章差错控制1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即节定理）；3．本章所有讲过的例题；第七章线性分组码1．线性分组码定义；2．线性分组码的最小距离与最小重量的关系及证明；3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系；4．制作标准阵列并利用标准阵列译码；5．本章所有讲过的例题；第八章循环码1．生成多项式的特点，有关定理（三定理1，定理2，定理3）及证明；2． 生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典型形式；3．本章所有讲过的例题； 习题：1.已知随机变量X 和Y 的联合分布如下：计算：、I(X;Y)。
4.1 设有一离散无记忆信源，其概率空间为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X 它们通过一干扰信道，信道输出端的接收符号集为Y = { y1, y2 }，信道转移概率如题图4.1所示。
求：(1) 信源X 中事件x 1和事件x 2分别含有的自信息； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息。
解：信道转移矩阵为：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡414361651)bitx p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(2211=-=-==-=-=2)bity p x y p y x I bity p x y p y x I bity p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 322.02.04/3log )()/(log);( 093.08.04/1log )()/(log );( 263.02.06/1log )()/(log );( 059.08.06/5log )()/(log );(2.0414.0616.0)/()()/()()(8.0434.0656.0)/()()/()()(2222212112212211111122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=3)bity p y p Y H bitx p x p X H jj j ii i 722.0)2.0log 2.08.0log 8.0()(log )()( 971.0)4.0log 4.06.0log 6.0()(log )()(=+-=-==+-=-=∑∑4)∑∑-=iji j i j i x y p x y p x p X Y H )/(log )/()()/(5/61/4 3/4 1/6 1x2x 2y1y 题图 4.1bitY H X Y H X H Y X H Y X H Y H X Y H X H bit964.0722.0715.0971.0 )()/()()/()/()()/()( 715.0 43log 434.041log 414.061log 616.065log 656.0 =-+=-+=∴+=+=⎪⎭⎫ ⎝⎛⨯+⨯+⨯+⨯-=5)bit Y X H X H Y X I 0075.0964.0971.0)/()();(=-=-=4.2 设有扰离散信道的输入端是以等概率出现的A, B, C, D 四个字母。
第一章1、通信的目的就是传输消息中所包含的息。
消息就是信息的物理表现形式,信息就是消息的有效内容。
、信号就是消息的传输载体。
2、根据携载消息的信号参量就是连续取值还就是离散取值,信号分为模拟信号与数字信号.,3、通信系统有不同的分类方法。
按照信道中所传输的就是模拟信号还就是数字信号(信号特征分类),相应地把通信系统分成模拟通信系统与数字通信系统。
按调制方式分类:基带传输系统与带通(调制)传输系统。
4、数字通信已成为当前通信技术的主流。
5、与模拟通信相比,数字通信系统具有抗干扰能力强,可消除噪声积累;差错可控;数字处理灵活,可以将来自不同信源的信号综合刭一起传输;易集成,成本低;保密性好等优点。
缺点就是占用带宽大,同步要求高。
6、按消息传递的方向与时间关系,通信方式可分为单工、半双工及全双工通信。
7、按数据码先排列的顾序可分为并行传输与串行传输。
8、信息量就是对消息发生的概率(不确定性)的度量。
9、一个二进制码元含1b的信息量;一个M进制码元含有log2M比特的信息量。
等概率发送时,信源的熵有最大值。
10、有效性与可靠性就是通信系统的两个主要指标。
两者相互矛盾而又相对统一,且可互换。
在模拟通信系统中,有效性可用带宽衡量,可靠性可用输出信噪比衡量。
11、在数字通信系统中,有效性用频带利用率表示,可靠性用误码率、误信率表示。
12、信息速率就是每秒发送的比特数;码元速率就是每秒发送的码元个数。
13、码元速率在数值上小于等于信息速率。
码元速率决定了发送信号所需的传输带宽。
第二章14、确知信号按照其强度可以分为能量信号与功率信号。
功率信号按照其有无周期性划分,又可以分为周期性信号与非周期性信号。
15、能量信号的振幅与持续时间都就是有限的,其能量有限,(在无限长的时间上)平均功率为零。
功率信号的持续时间无限,故其能量为无穷大。
16、确知信号的性质可以从频域与时域两方面研究。
17、确知信号在频域中的性质有4种,即频谱、频谱密度、能量谱密度与功率谱密度。
