第三章 信道容量习题答案
第三章 信道容量习题答案
· 17 · 3.1 设信源4.06.0)(21xxXPX通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为43416165，求：
(1) 信源X中事件x1和事件x2分别包含的自信息量；
(2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量；
(3) 信源X和信宿Y的信息熵；
(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；
(5) 接收到信息Y后获得的平均互信息量。
解：
1)
bitxpxIbitxpxI 322.14.0log)(log)( 737.06.0log)(log)(22222121
2)
bitypxypyxIbitypxypyxIbitypxypyxIbitypxypyxIxypxpxypxpypxypxpxypxpyp 907.04.04/3log)()/(log);( 263.16.04/1log)()/(log);( 263.14.06/1log)()/(log);( 474.06.06/5log)()/(log);(4.0434.0616.0)/()()/()()(6.0414.0656.0)/()()/()()(222222221212122212221211121122212122121111
3)
symbolbitypypYHsymbolbitxpxpXHjjjiii/ 971.010log)4.0log4.06.0log6.0()(log)()(/ 971.010log)4.0log4.06.0log6.0()(log)()(22
4)
· 18 · symbolbitYHXYHXHYXHYXHYHXYHXHsymbolbitxypxypxpXYHijijiji/ 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10log)43log434.041log414.061log616.065log656.0( )/(log)/()()/(2
《信 息 论》
讲 义
204教研室
2005年11月
1 主要内容：
第一章 绪论
第二章 离散信源及其信息测度
第三章 离散信道及其信道容量
第四章 无失真信源编码
第五章 有噪信道编码
2 第一章 绪论
信息论——人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。
奠基人——香农
1948年发表了著名的论文——《通信的数学理论》，为信息论奠定了理论基础。
1.1 信息的概念
人类离不开信息，信息的接收、传递、处理和利用时时刻刻都在发生。
如：“结绳记事”、“烽火告警”，信息的重要性是不言而喻的。
什么是信息？——信息论中最基本、最重要的概念。
信息与“消息”、“情报”、“知识”、“情况”等的区别：
“情报”——人们对于某个特定对象所见、所闻、所理解而产生的知识。是一类特定的信息。
“知识”——人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到的有价值的、人们所需的信息。是一种具有普遍和概括性质的高层次的信息。
“消息”——以文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，表达客观物质运动和主观思维活动的状态。
消息包含信息，是信息的载体。二者既有区别又有联系。
“信号”——消息的运载工具。
香农从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。
收信者：
收到消息前，发送者发送的消息——1、描述的是何种事物运动状态的具体消息；2、描述的是这种消息还是那种消息；3、若存在干扰，所得消息是否正确与可靠。
存在“不知”、“不确定”或“疑问”
收到消息后，知道消息的具体内容，原先的“不知”、“不确定”或“疑问”消除或部分消除了。
消息传递过程——从不知到知的过程；从知之甚少到知之甚多的过程；从不确定到部分确定或全部确定的过程。
通信过程——消除不确定性的过程。
不确定性的消除，就获得了信息。
可复制、编制，期待你的好评与关注！
第三章
3.1 设二元对称信道的传递矩阵为32313132
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
解：
1)
symbolbitYXHXHYXIsymbolbitXYHYHXHYXHXYHYHYXHXHYXIsymbolbitypYHxypxpxypxpyxpyxpypxypxpxypxpyxpyxpypsymbolbitxypxypxpXYHsymbolbitxpXHjjijijijiii/ 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log4167.05833.0log5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log)32lg324131lg314131lg314332lg3243( )/(log)/()()/(/ 811.0)41log4143log43()()(222221212221221211112111222
2)
2221122max(;)loglog2(lglg)log100.082 /3333miCIXYmHbitsymbol其最佳输入分布为1()2ipx
3-2某信源发送端有2个符号，ix，i＝1，2；()ipxa，每秒发出一个符号。接受端有3种符号iy，j＝1，2，3，转移概率矩阵为1/21/201/21/41/4P。
通信原理知识要点
第一章 概论
1 、通信的目的
2 、 通信系统的基本构成
● 模拟信号、模拟通信系统、数字信号、数字通信系统
● 两类通信系统的特点、区别、基本构成、每个环节的作用
3 、通信方式的分类
4 、频率和波长的换算
5 、通信系统性能的度量
6 、传码速率、频带利用率、误码率的计算
第二章 信息论基础
1 、信息的定义
2 、离散信源信息量的计算（平均信息量、总信息量）
3 、传信率的计算
4 、离散信道的信道容量
5 、连续信道的信道容量：掌握香农信道容量公式
第三章 信道与噪声
了解信道的一般特性
第 四 章 模拟调制技术
1 、基带信号、频带信号、调制、解调
2 、模拟调制的分类、线性调制的分类
3 、 AM 信号的解调方法、每个环节的作用
第 五 章 信源编码技术
1 、低通、带通信号的采样定理（例 5 － 1 、例 5 － 2 ）
2 、脉冲振幅调制 3 、量化：
● 均匀量化：量化电平数、量化间隔、量化误差、量化信噪比
● 非均匀量化： 15 折线 u 律、 13 折线 A 律
4 、 13 折线 A 律 PCM 编码（过载电压问题－ 2048 份）
5 、 PCM 一次群帧结构（ P106 ）
6 、 PCM 系统性能分析
7 、增量调制 DM 、增量脉码调制 DPCM ：概念、特点、与 PCM 的比较
第 六 章 数字基带信号传输
1 、熟悉数字基带信号的常用波形
2 、掌握数字基带信号的常用码型
3 、无码间干扰的时域条件、频域条件（奈奎斯特第一准则）
4 、怎样求“等效”的理想低通（ ）
5 、眼图分析（示波器的扫描周期）
6 、均衡滤波器
第七章 数字调制技术
1 、 2ASK 、 2FSK 、 2PSK 、 2DPSK 的典型波形图
2 、上述调制技术的性能比较
3 、 MASK 、 MFSK 、 MPSK 、 MDPSK 、 QPSK 、 QDPSK 、 MSK （ h=0.5 ）、
