4.1
失真矩阵为
,由题的转移概率矩阵：11p εεεε-??=??-??
平均失真：11
(,)(,)0(1)10(1)12n m i j i j i j D p a b d a b εεεεε===
=?-+?+?-+?=∑∑
4.2 失真矩阵：0120d ??=????
， min min 2
max 1112211122221,21,211,21,2max 0,()()(1/2,1/2)log 21/10:01min min{,)111111min{02,10}min{1,}222222
01,:,()001()i ij j j i j j D R D H X H bit P D p d p d p d p d p d P R D R D ==========??=????
==++=?+??+?==??==????
∑符号
转移矩阵此时转移矩阵定12
义域:[0,]
4.4 失真矩阵：101
41104d ????=???????? min min 2
max 1112211122221132231,2,31,2,311,2,31,2,30,()()(1/2,1/2)log 21/100:010min min{,,)11111111111min{01,10,}min{,,}22222424224i ij j j i j j D R D H X H bit P D p d p d p d p d p d p d p d ==========??=????
==+++=?+??+??+?=∑符号转移矩阵max 14
001,:,()00011()4P R D R D =??==????
此时转移矩阵定义域:[0,]
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
第八章 限失真信源编码 8.1设信源X 的概率分布P(X):{p(α1), p(α2), …,p(αr ) },失真度为d (αi , βj )≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明: ∑==r i j i j i b a d a p D 1 min )},(min ){( 并写出取得min D 的试验信道的传输概率选取的原则,其中 ))}/(,),/(),/({min ),(min 21i S i i j j i j a b p a b p a b p b a d = (证明详见:p468-p470) 8.2设信源X 的概率分布P(X):{p(α1), p(α2), …,p(αr ) },失真度为d(αi , βj )≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明: }),()({min 1 max ∑==r i j i i j b a d a p D 并写出取得max D 的试验信道传递概率的选取原则. (证明详见:p477-p478) 8.5设二元信源X 的信源空间为: -1 )( 1 0X :][X ????ωωX P P 令ω≤1/2,设信道输出符号集Y:{0,1},并选定汉明失真度.试求: (1) D min ,R(D min ); (2) D max ,R(D max ); (3) 信源X 在汉明失真度下的信息率失真函数R(D),并画出R(D)的曲线; (4) 计算R(1/8). 解： {}{}{}{}0 )()(0);()1()}0();1({min )1,1()1()1,0()0(;)0,1()1()0,0()0(min ),()(min )2() ()()/()(min );(min )0()(0 )/(),2,1(1)/(0)/(100110][1 0 00 0)1(0)0(),(min )()1(max 21min max min min 2 1 min ==∴====++=? ?? ???=' ===-===∴====?? ?? ??===?+?==∑∑==ωω ωR D R Y X I p p p d p d p d p d p b a d a p D D H X H Y X H X H Y X I R D R Y X H i a b p a b p P D D p p b a d a p D j j i j i i j i j i j i j i j i 此时故此时或的信道矩阵 则满足保真度＝最小允许失真度：
2011-2012 信息论与编码理论1 B 卷答案 一、 单项选择题（每题3分，总计15分） 1．当底为e 时，熵的单位为（ C ）。 A 奈特 B 哈特 C 奈特/符号 D 哈特/符号 2．下列关系式中( B )正确。 A )();(X I Y X I ≥ B );(),(Y X I Y X H ≥ C )|()|(X Y H Y X H ≥ D );();(Y X H Y X I ≤ 3．下列（ D ）陈述是正确的。 A Shannon 编码是最优码 B LZ 编码是异字头码 C Huffman 编码可以不需要知道信源的分布 D 典型序列的数目不一定比非典型的多 ) 4．下列数组中（ A ）不满足二个字母上的Kraft 不等式。 A (1，1，1) B (2,2,2,2) C (3,3,3) D （4，4，4） 5．下列（ D ）是只对输出对称的。 A ????? ? ??316 12121613 1 B ????? ??2.04.04.04.02.04.04.04.02.0 C ??????? ? ??32313132 3231 D ??? ? ??2.04.04.04.02.02.0 二、填空题（每空2分，总计20分） 1．若二元离散无记忆中25.0)0(=p ，75.0)1(=p ，则当给出100比特的信源序列，其中有5个1，则其自信息为3log 52002-比特，整个序列的熵为)3log 4 3 2(1002- 比特/符号. 2．若某离散信道信道转移概率矩阵为?? ????????5.025.025.025.05.025.025.025.05.0，则其信道容量为5.13log 2-比 特/符号；转移概率矩阵为???? ? ?????25.05.025.05.025.025.025.025.05.0，则其信道容量为5.13log 2-比特/符号。 3. 两个相同的BSC 做级联信道，其信道转移矩阵分别为??? ? ??--p p p p 11 ， 则级联信道的信道转移矩阵为??????+---+-22222212222221p p p p p p p p ，无穷多个级联后的矩阵为??? ???5.05.05.05.0。 4．若一个信道的输入熵为6.2)(=X H 比特/符号，输出熵为3.2)(=Y H 比特/符号，
信息论与编码理论习题（三） 一、填空题（每空2分，共32分）。 1.在现代通信系统中，信源编码主要用于解决信息传输中的 ，信道编码主要用于解决信息传输中的 ，加密编码主要用于解决信息传输中的 2.离散信源?? ????=??????8/18/14/12/1)(4321x x x x x p X ，则信源的熵为 。 3.采用m 进制编码的码字长度为K i ，码字个数为n ，则克劳夫特不等式为 ，它是判断 的充要条件。 4.如果所有码字都配置在二进制码树的叶节点，则该码字为 。 5.齐次马尔可夫信源的一步转移概率矩阵为P ，稳态分布为W ，则W 和P 满足的方程为 。 6.设某信道输入端的熵为H(X)，输出端的熵为H(Y)，该信道为无噪有损信道，则该信道的容量为 。 7.某离散无记忆信源X ，其符号个数为n ，则当信源符号呈 分布情况下，信源熵取最大值 。 8.在信息处理中，随着处理级数的增加，输入消息和输出消息之间的平均互信息量趋于 。 二．选择题（共10分，每小题2分） 1、有一离散无记忆信源X ，其概率空间为? ? ????=??????125.0125.025.05.04321x x x x P X ，则其无记忆二次扩展信源的熵H(X 2)=( ) A 、1.75比特/符号； B 、3.5比特/符号； C 、9比特/符号； D 、18比特/符号。 2、信道转移矩阵为112132425363(/)(/) 000000(/)(/)000000(/)(/)P y x P y x P y x P y x P y x P y x ?????? ???? ，其中(/)j i P y x 两两不相等，则该信道为 A 、一一对应的无噪信道 B 、具有并归性能的无噪信道 C 、对称信道 D 、具有扩展性能的无噪信道 3、设信道容量为C ，下列说法正确的是：（ ） A 、互信息量一定不大于C
7.1 设输入符号集为}1 ,0{=X ，输出符号集为}1 ,0{=Y 。定义失真函数为 1 )0,1()1,0(0)1,1()0,0(====d d d d 试求失真矩阵D 。 解： 041 041041041),(min )(43 0411********),()(min min min max =?+?+?+?=== ?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 7.2 设输入符号集与输出符号集为}3 ,2 ,1 ,0{==Y X ，且输入信源的分布为 )3 ,2 ,1 ,0( 4 1 )(===i i X p 设失真矩阵为 []????? ???? ???=01 11 101111011110d 求D max 和D min 及R(D)。 解： 041 041041041),(min )(43 0411********),()(min min min max =?+?+?+?=== ?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数： ?? ? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )( 其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13 ln 4ln )( 7.3 利用R(D)的性质，画出一般R(D)的曲线并说明其物理含义？试问为什么R(D)是非负且非增的？ 解： 函数曲线：
广州大学 2016—2017 学年第 一 学期考试卷 课程 《信息论与编码理论1》 考试形式（闭卷，考试） 学院 系 专业 班级 学号 姓名_ 一、 单项选择题（每题2分，总计10分） 1．当底为e 时，信道容量的单位为（ C ）。 A 奈特 B 哈特 C 奈特/符号 D 哈特/符号 2．下列量中（ D ）一定最大。 A );(Y X I B ),(X Y I C )|(Y X H D ),(Y X H 3．下列（ A ）陈述是错误的。 A 算术编码不需要知道信源的分布 B 游程编码不需要知道信源的分布 C LZ 编码不需要知道信源的分布 D LZW 编码不需要知道信源的分布 4．下列数组中（ C ）不满足二个字母上的Kraft 不等式。 A (2，2，1) B (2,2) C (1,1,3) D （3，3，3） 5．下列（ A ）是准对称信道的状态转移概率矩阵。 A ?????? ??613 12121613 1 B ????? ??5.05.05.05.05.05.05.05.05.0 C ??????? ? ??32313231 3231 D ??? ? ??2.02.08.02.08.02.0 二、填空题（每空2分，总计20分） 1．若二元离散无记忆信源25.0)0(=p ，75.0)1(=p ，则当给出10比特的信源序列，其中有4个1，其自信息为3log 4202-比特，整个序列的熵为)3log 4 3 2(102- 比特/符号。 2．若某离散信道信道转移概率矩阵为? ? ? ? ??125.0125.05.025.0125.0125.025.05.0，则其信道容量为4 3log 352-比特/符号；转移概率矩阵为???? ? ?????5.05.04.06.06.04.0，则其信道容量为1比特/符号。
第五章无失真信源编码定理与编码 5．1．1 信源编码和码的类型 1．信源编码 2．码的类型 若码符号集中符号数r=2称为二元码，r=3称为三元码，……，r元码。 若分组码中所有码字的码长都相同则称为等长码，否则称为变长码。 若分组码中所有码字都不相同则称为非奇异码，否则称为奇异码。 若每个码符号x i∈X的传输时间都相同则称为同价码，否则称为非同价码。 若分组码的任意一串有限长的码符号只能被唯一地译成所对应的信源符号序列则称为唯一可译码，否则称为非唯一可译码。 若分组码中，没有任何完整的码字是其他码字的前缀，则称为即时码(又称非延长码或前缀条件码)，否则称为延长码。 本章主要研究的是同价唯一可译码。 5．1．2 即时码及其树图构造法 即时码(非延长码或前缀条件码)是唯一可译码的一类子码。 即时码可用树图法来构造。构造的要点是： (1)最上端为树根A，从根出发向下伸出树枝，树枝总数等于r，树枝的尽头
为节点。 (2)从每个节点再伸出r枝树枝，当某节点被安排为码字后，就不再伸枝，这节点为终端节点。一直继续进行，直至都不能伸枝为止。 (3)每个节点所伸出的树枝标上码符号，从根出发到终端节点所走路径对应的码符号序列则为终端节点的码字。 即时码可用树图法来进行编码和译码。 从树图可知，即时码可以即时进行译码。 当码字长度给定，即时码不是唯一的。 可以认为等长唯一可译码是即时码的一类子码。 5．1．3 唯一可译码存在的充要条件 (1)对含有q个信源符号的信源用含r个符号的码符号集进行编码，各码字的码长为l1，l2，…，l q的唯一可译码存在的充要条件是，满足Kraft不等式 5．1．4 唯一可译码的判断法 唯一可译码的判断步骤： 首先，观察是否是非奇异码。若是奇异码则一定不是唯一可译码。 其次，计算是否满足Kraft不等式。若不满足一定不是唯一可译码。 再次，将码画成一棵树图，观察是否满足即时码的树图的构造，若满足则是唯一可译码。 或用Sardinas和Patterson设计的判断方法：计算出分组码中所有可能的尾
第6章 限失真信源编码 一、例题： 【例6.1】 二元对称信源，信源{0,1}U =，接收变量{0,1}V =，在汉明失真定义下，失真函数为： (0,0)(1,1)0d d ==，(0,1)(1,0)1d d == 其失真矩阵为 011 0??=? ??? D 容易看出：对于离散对称信源，其汉明失真矩阵D 为一个方阵，且对角线上的元素为零，即： 011110111 1011 1 1 0?? ??????=???????? D 【例6.2】 信源U ＝{0,1,2}，接收变量V ＝{0,1,2},失真函数为2 (,)()i j i j d u v u v =-，求失真矩阵。由失真定义得： d (0,0)＝d (1,1)＝d (2,2)＝0 d (0,1)＝d (1,0)＝d (1,2)＝d (2,1)＝1 d (0,2)＝d (2,0)＝4 所以失真矩阵D 为 141 014 1 4?? ??=?????? D 【例 6.3】 离散无记忆信源输出二维随机序列12()U U =U ，其中(1,2)i U i =取自符号集 {0,1}，通过信道传输到信宿，接收N 维随机序列12()V V =V ，其中(1,2)i V i =取自符号集
{0,1}，定义失真函数 (0,0)(1,1)0(0,1)(1,0)1 d d d d ==== 求符号序列的失真矩阵。 解： 由N 维信源序列的失真函数的定义得 1 1(,)(,)(,) ,k k N N N i j i j k d d d u v N αβ=== ∈∈∑u v u U v V 所以 [][]1(00,00)(0,0)(0,0)0211(00,01)(0,0)(0,1)2 2 N N d d d d d d =+== += 类似计算其他元素值，得到信源序列的失真矩阵为 11012211012211102211102 2 N ??????????=? ?????????? ? D 【例6.4】 设信源符号有8种，而且等概率，即1()8 i P u = 。失真函数定义为 0(,)1i j i j d u v i j =?=?≠? 假如允许失真度12 D =，即只要求收到的符号平均有一半是正确的。我们可以设想这 样的方案： 方案一：对于1234,,,u u u u 这四个信源符号照原样发送，而对于5678,,,u u u u 都以4u 发送。如图6.1(a )所示。 方案二：对于1234,,,u u u u 这四个符号照原样发送，而对于5678,,,u u u u 分别以 1234,,,u u u u 发送。如图6.1(b )所示。
2011-2012 信息论与编码理论1 A 卷答案 一、 单项选择题（每题3分，总计15分） 1．当底为10时，熵的单位为（ D ）。 A 比特 B 哈特 C 比特/符号 D 哈特/符号 2．下列哪些量当Y X ,交换位置时（ C ）没有对称性。 A );(Y X I B ),(Y X H C )|(Y X H D )|,(Z Y X I 3．下列（ B ）陈述是正确的。 A 算术编码不需要知道信源的分布 B LZ 编码不需要知道信源的分布 C 典型序列出现的概率比非典型的大 D 典型序列的数目比非典型的多 4．下列数组中（ C ）不满足二个字母上的Kraft 不等式。 A (2，2，1) B (2,2) C (1,2,3) D （3，3，3） 5．下列（ D ）是准对称信道的状态转移概率矩阵。 A ????? ? ??613 12121613 1 B ????? ??5.05.05.05.05.05.05.05.05.0 C ??????? ? ??32313231 3231 D ??? ? ??2.02.08.02.08.02.0 二、填空题（每空2分，总计20分） 1．若二元离散无记忆中25.0)0(=p ，75.0)1(=p ，则当给出100比特的信源序列，其中有10个1，其自信息为3log 102002-比特，整个序列的熵为)3log 4 3 2(1002- 比特/符号。 2．若某离散信道信道转移概率矩阵为? ? ? ? ??125.0125.05.025.0125.0125.025.05.0，则其信道容量为4 3log 352-比特/符号；转移概率矩阵为???? ? ?????5.05.04.06.06.04.0，则其信道容量为1比特/符号。 3. 两个相同的BSC 做级联信道，其信道转移矩阵分别为??? ? ??--p p p p 11 ， 则级联信道的信道转移矩阵为??????+---+-22222212222221p p p p p p p p ，无穷多个级联后的矩阵为??? ???5.05.05.05.0。 4．若一个信道的输入熵为6.1)(=X H ，输出熵为3.2)(=Y H ，7.0);(=Y X I ，则 =),(Y X H __3.2比特/符号__，疑义度为0.9比特/符号_。
部分答案，仅供参考。 信息速率是指平均每秒传输的信息量 点和划出现的信息量分别为3log ,2 3log ， 一秒钟点和划出现的次数平均为 4 15314.0322.01= ?+? 一秒钟点和划分别出现的次数平均为4 5.410 那么根据两者出现的次数，可以计算一秒钟其信息量平均为2 53log 4 153log 4 52 3log 4 10-=+ 解： (a)骰子A 和B ，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3≈ bit (b) 骰子A 和B ，掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9≈ bit 解： 出现各点数的概率和信息量： 1点：1/21，log21≈ bit ； 2点：2/21，log21-1≈ bit ； 3点：1/7，log7≈； 4点：4/21，log21-2≈； 5点：5/21，log （21/5）≈； 6点：2/7，log(7/2)≈ 平均信息量： (1/21)×+(2/21)×+(1/7)×+(4/21)×+(5/21)×+(2/7)×≈ 解： X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语 P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10； P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=, P(Z=1/ X=1, Y=0)=, P(Z=1/Y=0)= (a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)= I (X ;Y=1)=∑∑=====x x ) P() 1Y /(P log )1Y /(P )1Y (I )1Y /(P x x x x;x =1) P(X ) 1Y /1X (P log )1Y /1X (P 0)P(X )1Y /0X (P log )1Y /0X (P =====+=====
部分答案，仅供参考。 2.1信息速率是指平均每秒传输的信息量 点和划出现的信息量分别为3log ,2 3log ， 一秒钟点和划出现的次数平均为 4 15314.0322.01= ?+? 一秒钟点和划分别出现的次数平均为4 5.410 那么根据两者出现的次数，可以计算一秒钟其信息量平均为2 53log 4 153log 4 52 3log 4 10-=+ 2.3 解： (a)骰子A 和B ，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3≈2.58 bit (b) 骰子A 和B ，掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9≈5.17 bit 2.5解： 出现各点数的概率和信息量： 1点：1/21，log21≈4.39 bit ； 2点：2/21，log21-1≈3.39 bit ； 3点：1/7，log7≈2.81bit ； 4点：4/21，log21-2≈2.39bit ； 5点：5/21，log （21/5）≈2.07bit ； 6点：2/7，log(7/2)≈1.81bit 平均信息量： (1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×1.81≈2.4bit 2.7解： X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语 P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10； P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0)=0.4, P(Z=1/Y=0)=0.4 (a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=0.075, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=0.125 P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=0.2 P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=0.375, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=0.625 I (X ;Y=1)=∑∑=====x x )P() 1Y /(P log )1Y /(P )1Y (I )1Y /(P x x x x;x =1) P(X ) 1Y /1X (P log )1Y /1X (P 0)P(X )1Y /0X (P log )1Y /0X (P =====+=====
教学大纲 课程编号：0121016 课程总学时：46学时 先修课程：概率论与随机过程开课院系：通信工程学院学分：3学分 课程性质：必修 开课学期：第五学期 适用专业：通信工程、电子信息工程、信息安全 一、课程的基本要求以及在教学计划中的地位与作用 应掌握数字通信系统的基本原理和理论，掌握无失真信源编码的编码方法及信道编码的基本概念和编译码方法。该课程属通信学科的专业基础课程，是更好掌握其它专业课的必备基础。 二、课程内容和学时分配 1、引论：通信系统模型、Shannon信息论的中心问题（2学时）。 2、信息量和熵：离散随机变量的熵、平均互信息，连续随机变量的互信息和相对熵、互信息和相对熵，互信息的凸性（10学时）。 3、离散信源无失真编码：离散无记忆源的等长编码与不等长编码，Huffman编码，算术编码，LZ编码（12学时）。 4、信道容量：离散无记忆信道、组合信道、时间离散无记忆、连续信道、波形信道（8学时）。 5、离散信道编码定理（4学时）。 6、信道编码：线性分组码（8学时）。 7、总结及发展：（2学时）。 三、教材与参考书目 [1] 王育民、梁传甲编著《信息与编码理论》，西北电讯工程学院出版社，1986 [2] 王新梅肖国镇编著，《纠错码——原理与方法》，西安电子科技大学出版社 [3] 吴伟陵编著《信息处理与编码》，人民邮电出版社，1999 [4] 姜丹等编著《信息理论与编码》，中国科学技术大学出版社，1992 [5] 周炯槃著《信息论基础》，人民邮电出版社，1983 [6] [美]林舒、科斯特洛著，王育民、王新梅译，《差错控制编码、基础与应用》，
人民邮电出版社 [7] 王新梅编著，《纠错码与差错控制》，人民邮电出版社