2.3 一副充分洗乱的牌〔含52〕，试问：〔1〕任一特定排列所给出的不确定性是多少？〔2〕随机抽取13牌，13牌的点数互不一样时的不确定性是多少？ 解：〔1〕52扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为 因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A 为任一特定排列，则其发生概率为可得，该排列发生所给出的信息量为()()22log log 52225.58I A P A =-=!≈ bit 67.91≈ dit〔2〕设事件B 为从中抽取13牌，所给出的点数互不一样。
扑克牌52中抽取13，不考虑排列顺序，共有1352C 种可能的组合。
13牌点数互不一样意味着点数包括A ，2，…，K ，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。
所以13牌中所有的点数都不一样的组合数为134。
因为每种组合都是等概率发生的，所以则发生事件B 所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ bit3.976≈ dit2.5 设在一只布袋中装有100只对人手的感觉完全一样的木球，每只上涂有1种颜色。
100只球的颜色有以下三种情况：(1) 红色球和白色球各50只； (2) 红色球99只，白色球1只； (3) 红，黄，蓝，白色各25只。
求从布袋中随意取出一只球时，猜想其颜色所需要的信息量。
解：猜想木球颜色所需要的信息量等于木球颜色的不确定性。
令R ——"取到的是红球〞，W ——"取到的是白球〞， Y ——"取到的是黄球〞，B ——"取到的是蓝球〞。
〔1〕假设布袋中有红色球和白色球各50只，即 则 ()()221log log 212I R I W ==-== bit 〔2〕假设布袋中红色球99只，白色球1只，即 则 ()()22log log 0.990.0145I R P R =-=-= bit()()22log log 0.01 6.644I W P W =-=-=bit〔3〕假设布袋中有红，黄，蓝，白色各25只，即 则 ()()()()21log 24I R I Y I B I W ====-= bit 2.7 设信源为 求()()62log iiiP x P x -∑，井解释为什么()()622log log6i i iP x P x ->∑，不满足信源熵的极值性。
题号 一 二 三 四 总分 统分人 题分 35 10 23 32 100得分 一、填空题（每空1分，共35分） 得分| |阅卷人|1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和1234 0.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0100010000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
信息理论与编码-期末试卷A及答案⼀、填空题（每空1分，共35分）1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论⽂，从⽽创⽴了信息论。
信息论的基础理论是，它属于狭义信息论。
2、信号是的载体，消息是的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的⾃信息量为 bit ，此信源的熵为 bit/符号。
4、某离散⽆记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P =???和12340.5122X x x x x w=，则其信源熵和加权熵分别为和。
5、信源的剩余度主要来⾃两个⽅⾯，⼀是，⼆是。
6、平均互信息量与信息熵、联合熵的关系是。
7、信道的输出仅与信道当前输⼊有关，⽽与过去输⼊⽆关的信道称为信道。
8、马尔可夫信源需要满⾜两个条件：⼀、；⼆、。
9、若某信道矩阵为010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为和。
11、信源编码的概率匹配原则是：概率⼤的信源符号⽤，概率⼩的信源符号⽤。
（填短码或长码）12、在现代通信系统中，信源编码主要⽤于解决信息传输中的性，信道编码主要⽤于解决信息传输中的性，保密密编码主要⽤于解决信息传输中的安全性。
13、差错控制的基本⽅式⼤致可以分为、和混合纠错。
14、某线性分组码的最⼩汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。
15、码字1、0、1之间的最⼩汉明距离为。
16、对于密码系统安全性的评价，通常分为和两种标准。
17、单密钥体制是指。
18、现代数据加密体制主要分为和两种体制。
19、评价密码体制安全性有不同的途径，包括⽆条件安全性、和。
20、时间戳根据产⽣⽅式的不同分为两类：即和。
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。
