下载文档原格式
《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。
三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
一．填空１．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。
2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。
3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log22m m -+比特/符号。
4．离散对称信道输入等概率时，输出为 等概 分布。
5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。
6．设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
12设有ＤＭＣ，其转移矩阵为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/16/13/13/12/16/16/13/12/1|XY P ，若信道输入概率为[][]25.025.05.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。
解：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8/124/112/112/18/124/112/16/14/1][XYP最佳译码规则：⎪⎩⎪⎨⎧===331211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；极大似然规则：⎪⎩⎪⎨⎧===332211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。
安徽大学2011—2012学年第1学期 《信息论》考试试卷（AB 合卷）院/系 年级 专业 姓名 学号一、填空题1、接收端收到y 后，获得关于发送的符号是x 的信息量是 。
2、香农信息的定义 。
3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。
4、通信系统模型主要分成五个部分分别为： 。
5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。
6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。
7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()Px 的 型凸函数。
信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。
8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
信道剩余度定义为 。
9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。
10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。
11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。
12、多项式剩余类环[]())q F x f x 是域的充要条件为 。
13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
14、有限域122F 的全部子域为 。
15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。
安徽大学《信息论》考试试卷（A 卷）（闭卷 时间120分钟）院/系 年级 专业 姓名 学号一、填空题（每小题2分，共20分） 1、香农信息的定义 。
2、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。
3、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。
4、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。
5、信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。
6、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。
7、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。
8、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
9、有限域122F 的全部子域为。
10、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。
《Coding and Information Theory 》的书号为ISBN ：7-5062-3392- 。
二、判断题（每小题2分，共10分）1、离散信源的信息熵是信源无失真数据压缩的极限值。
（ ）2、对于有噪无损信道，其输入和输出有确定的一一对应关系。
（ ）3、在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。
如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，如不触及到丢失信息过程的输入端，就不能再恢复已丢失的信息。
一、填空题（每空1分，共35分）1、1948年,美国数学家发表了题为“通信的数学理论”的长篇论文,从而创立了信息论.信息论的基础理论是，它属于狭义信息论。
2、信号是的载体，消息是的载体。
3、某信源有五种符号,先验概率分别为，，，，则符号“a”的自信息量为 bit，此信源的熵为 bit/符号.4、某离散无记忆信源X,其概率空间和重量空间分别为和，则其信源熵和加权熵分别为和.5、信源的剩余度主要来自两个方面，一是，二是。
6、平均互信息量与信息熵、联合熵的关系是。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。
8、马尔可夫信源需要满足两个条件：一、 ;二、。
9、若某信道矩阵为,则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为和。
11、信源编码的概率匹配原则是:概率大的信源符号用，概率小的信源符号用 .(填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的性,信道编码主要用于解决信息传输中的性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为、和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错.15、码字101111101、011111101、100111001之间的最小汉明距离为。
16、对于密码系统安全性的评价，通常分为和两种标准。
17、单密钥体制是指。
18、现代数据加密体制主要分为和两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、和.20、时间戳根据产生方式的不同分为两类:即和。
二、选择题（每小题1分,共10分）1、下列不属于消息的是（）。
A。
文字 B。
信号 C。
图像 D。
语言2、设有一个无记忆信源发出符号A和B,已知，发出二重符号序列消息的信源，无记忆信源熵为（)。
A。
0.81bit/二重符号B。
1。
62bit/二重符号 C. 0。
1、选择题(共10分，每题2分) B D B C B2、（本题10分）一个消息由符号0，1，2，3组成，已知p(0)=3/8, p(1)= 1/8, p(2)=1/4, p(3)= 1/4。
求此消息的剩余度为多少？试求由无记忆信源产生的60个符号构成的所有消息所含的平均信息量（bit/消息）。
解： H （X ）=H （3/8，1/8，1/4，1/4）（2） =1.9bit/符号（2）05.029.114log )(1≈-≈-=X H γ(3) H （X 60）=60*H （X ）=114bit/消息（3）3、（本题12分）某一离散平稳信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/19/436/11210)(u p U ，并设发出的符号只与前一个符号有关，即可用条件概率P(uj / ui)给出它们的关联程度如下表所示：求此平稳信源的极限熵及信源效率。
H ∞=H(U 2 /U 1)=0.872bit/符号（3）H 0=H （1/3，1/3，1/3）=1.6bit/符号（3） 信源效率：H ∞/H 0=54.5%（3）4、（12分）设信源X 的符号集为{0，1，2}，其概率分布为1014P P==，122P =，每信源符号通过信道传输，输出为Y ，信道转移概率如图所示：求（1）H (Y )； （6分） （2）H (XY )； （2分） （3）I (X;Y )。
（4分） 解：(4)（1）353355888888()(,)log log 0.955 /H Y H ==--=比特符号(2)（2） 11114882()(,,,) 1.75 /H XY H ==比特符号(2)（3） 111442()(,,) 1.5 /H X H ==比特符号(2)(;)()()()1.50.9551.750.705I X Y H X H Y H X Y =+-=+-=比特符号(2)5、（共20分）某离散无记忆信源符号集为{}129,,,a a a ，所对应的概率分别为：0.4，0.2，0.1，0.1，0.07，0.05，0.05，0.02，0.01，码符号集为{0，1，2，3}。
