当前位置：文档之家 › 信息论习题

信息论习题

  • 格式：docx
  • 大小：45.31 KB
  • 文档页数：12

信息理论基础习题集 【考前必看】 一、 判断： 1、 必然事件和不可能事件的自信息量都是 0 。

2、 自信息量是 p(xi )的单调递减函数。 3、 单符号离散信源的自信息和信源熵都具有非负性。 4、 单符号离散信源的自信息和信源熵都是一个确定值。 5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递 减的 6、自信息量、条件自信息量和联合自信息量之间有如下关系： I(xiyj) I(xi) I(yj /xi) I(yj) I(xi / yj) 7、自信息量、条件自信息量和互信息量之间有如下关系： I(xi;yj) I(xi) I(xi / yj) I(yj) I(yj /xi) 8、当随机变量 X 和 Y 相互独立时，条件熵等于信源熵。 9、当随机变量 X 和 Y 相互独立时， I( X；Y )=H(X) 。 10、信源熵具有严格的下凸性。 11、 平均互信息量1( X ; 丫)对于信源概率分布p (Xi )和条件概率分布 p (y/xi

)都具有凸函数

性。 12、 m 阶马尔可夫信源和消息长度为 m 的有记忆信源，其所含符号的依 赖关系相同。 13、 利用状态极限概率和状态一步转移概率来求 m 阶马尔可夫信源的极 限熵。 14、 定长编码的效率一般小于不定长编码的效率。 15、 信道容量C是I (X ； 丫)关于p(Xi

)的条件极大值。

16、 离散无噪信道的信道容量等于log2n,其中n是信源X的消息个数。 17、 信道无失真传递信息的条件是信息率小于信道容量。 18、 最大信息传输速率，即：选择某一信源的概率分布(p(xi)

)，使信 道所能传送的信息率的

最大值。 19、 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对 信源存在的不确定性就越小，获得的信息量就越小。 20、 率失真函数对 允许的平均失真度具有上凸性。 21、 信源编码是提高通信有效性为目的的编码。 22、 信源编码通常是通过压缩信源的冗余度来实现的。 23、 离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 24、 一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 25、 在编m (m>2，进制的哈夫曼码时，要考虑是否需要增加概率为 0 的码字，以使平均码长最短。 26、 对于 BSC 信道，信道编码应当是一对一的编码，因此，消息 m 的 长度等于码字 c 的长度。 27、汉明码是一种线性分组码。 28、 循环码也是一种线性分组码。 29、 卷积码是一种特殊的线性分组码。 30、 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ） 31、线性码一定包含全零码。 （ ）

32、确定性信源的熵 H（0,0,0,1）=1 。 （ ） 33、信源 X 的概率分布为 P（X）={1/2, 1/3, 1/6} ，对其进行哈夫曼编码得到的码是唯一的。 （） 34、离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。 （ ） 35、非奇异的定长码一定是唯一可译码。 （ ） 36、信息率失真函数 R（D） 是在平均失真不超过给定失真限度 D 的条件下，信息率容许压缩 的最小值。 （ ）

37、信源 X 的概率分布为 P（X）={1/2, 1/3, 1/6} ，信源 Y 的概率分布为 P（Y）={1/3,1/2,1/6} ，则 信源 X 和 Y 的熵相等。 （ ） 38、互信息量 I（X;Y） 表示收到 Y 后仍对信源 X 的不确定度。 （ ） 39、对信源符号 X={a 1,a2,a3,a4} 进行二元信源编码， 4 个信源符号对应码字的码长分别为 K1=1，K2=2， K 3=3， K 3=3，满足这种码长组合的码一定是唯一可译码。 （） 40、设 C = {000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010} 是一个二元线 性分组码，则该码最多能检测出 3 个随机错误。 （ ）

C•最小汉明距离为 3 D.任一码字和其校验矩阵的乘积 cmHT=0 5. 率失真函数的下限为（ ）。 A .H（U） B.0 C」（U; V） D.没有下限 6. 纠错编码中，下列哪种措施不能减小差错概率（ ）。 A. 增大信道容量 B. 增大码长 C. 减小码率 D. 减小带宽 7. 一珍珠养殖场收获 240 颗外观及重量完全相同的特大珍珠， 仅有微

二、选择题（共 10 分， 1.

下面表达式中正确的是（ A. p（yj / xi） 1 j C. p（xi,yj） （yj）

4.线性分组码不具有的性质是（ A. 任意多个码字的线性组合仍是码字 B. 最小汉明距离等于最小非 0重量

每题 2 分) )。 B. p(yj /xi) 1 i

D. p(xi,yj) q(xi ) i

)。

但不幸被人用外观相同但重量 小差异的假珠换掉 1颗。一人随手取出 3颗，经测量恰好找出了假珠， 不巧假珠又滑 落进去，那人找了许久却未找到，但另一人说他用天平最多 6 次能找出，结果确是如此，这 一事件给出的信息量（ ）。 A. 0bit B. log6bit C. 6bit D. log240bit 8. 下列陈述中，不正确的是（ ）。 A. 离散无记忆信道中， H（ Y ）是输入概率向量的凸函数 B. 满足格拉夫特不等式的码字为惟一可译码 C•一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、 纠错能力越强

D. 满足格拉夫特不等式的信源是惟一可译码 10.下列离散信源，熵最大的是（ ）。 A. H ( 1 /3, 1 /3, 1 /3 )； B. H(1/2,1/2)； C. H(0.9,0.1)； D. H ( 1 /2,1 /4,1 /8,1 /8)

11.下列不属于消息的是（ ）。 A.文字 B.信号 C.图像 D. 语言

12. 为提高通信系统传输消息有效性，信源编码采用的方法是（ ）。 A.压缩信源的冗余度 B.在信息比特中适当加入冗余比特 C. 研究码的生成矩阵 D.对多组信息进行交织处理 13. 最大似然译码等价于最大后验概率译码的条件是（ ）。 A. 离散无记忆信道 C•无扰信道 14. 下列说法正确的是（ ）。 A. 等重码是线性码 B. 码的生成矩阵唯一 C. 码的最小汉明距离等于码的最小非 D. 线性分组码中包含一个全 0码字 15. 二进制通信系统使用符号 0和 1，由于存在失真， 传输时会产生误码， 用符号表示下列事 u1: 一个1发出 v0 :一个0收到 v1: 一个1收到 则已知收到的符号，被告知发出的符号能得到的信息量是（ ）。 A. H（U/V） B. H（V/U） C. H（U,V） D. H（UV） 16. 同时扔两个正常的骰子，即各面呈现的概率都是 1/6，若点数之和为 12，则得到的自信 息为（ ）。

A. －log36bit B. log36bit C. －log (11/36)bit D. log (11/36)bit 17. 下列组合中不属于即时码的是( )。 A. { 0， 01， 011} B. {0， 10， 110} C. {00， 10， 11} D. {1 ， 01， 00} 111010 18. 已知某（ 6， 3）线性分组码的生成矩阵 G 110001 ，则不用计算就可判断出下列码中 011101

B.无错编码 D.消息先验等概

0 重量 件，u0:一个0发出 不是该码集里的码是（ ）。 A.000000 B.110001 C.011101 D. 111111

(1) 用霍夫曼编码法编成二进制变长码；(6分)20•设有一个无记忆信源发出符号 A和B,已知

p(A) 芸p(B) 4，发出二重符号序列消

息的信源，无记忆信源熵 H (X2)为()。 A.0.81bit/ 二重符号 21. 给定Xi条件下随机事件 A.数量上不等，单位不同 C.数量上相等，单位不同 22. 条件熵和无条件熵的关系是: A . H(Y/X) V H(Y) C. 23•根据树图法构成规则， A .在树根上安排码字 C. 点上安排码字 24•下列说法正确的是： A .奇异码是唯一可译码 C. 异码不是唯一可译码 25•下面哪一项不属于熵的性质: A .非负性 C.对称性

B.1.62bit/ 二重符号 C.0.93 bit/ 二重符号 yj所包含的不确定度和条件自信息量 D .1.86 bit/ 二重符号 P(yj /Xi),() B.数量上不等，单位相同 D. 数量上相等，单位相同 () B . H (Y/X) > H(Y) H(Y/X) W H(Y) D. H(Y/X) > H (Y) () B .在树枝上安排码字 在中间节点上安排码字 D .在终端节

() B .非奇异码是唯一可译码 非奇异码不一定是唯一可译码 D.非奇

() 二、二兀对称信道如图。 3 1 1)若 p 0 , p 1 —,求 HX、H X |Y 和 IX;Y ; 4 4 2)求该信道的信道容量。 解：1)共6分

jV(Jf) = 0.8113 拭打符号 H X |Y 0.749bit /符号 2) 取冏柑符号，此时输入概率分布为等概率分布。

四、已知信源 S1 S4 S5 S5

0.2 0.2 0.2 0.2 0.1 0.1

合集下载

信息论与编码题库练习题复习题测试题

信息论与编码题库练习题复习题测试题

2.1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现”事件的自信息量； （2）“两个1同时出现”事件的自信息量； （3）两个点数的各种组合（无序对）的熵或平均信息量； （4）两个点数之和（即2，3，…，12构成的子集）的熵； （5）两个点数中至少有一个是1的自信息。 解：（1）一个骰子点数记为X，另一个骰子的点数记做Y，X、Y之间相互独立，且都服从等概率分布，即 X 1 2 3 4 5 6 Px 1/6 1/6 1/6 1/6 1/6 1/6 同理 Y 1 2 3 4 5 6 Py 1/6 1/6 1/6 1/6 1/6 1/6 一个骰子点数为3，另一个骰子点数为5属于组合问题，对应的概率为

181616161613YPy5XPx5YPy3XPxP1）（）（）（）（

对应的信息量为 比特）（）（17.4181-lbP-I11lb （2）两个骰子点数同时为1的概率为 ）（）（3611YPy1XPxP2 对应的信息量为 比特）（）（17.5361-lbP-I22lb （3）各种组合及其对应的概率如下 ,6,5,4,3,2,1YX3616161YXP）（共6种可能

18161612YXP）（ 共有15种可能

因此对应的熵或者平均自信息量为 34.418118115-3613616-H1）（）（lblb 比特/符号

（4）令Z=X+Y，可以计算出Z对应的概率分布如下 Z 2 3 4 5 6 7 8 9 10 11 12 Pz 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 对应的熵为

符号比特）（）（）（）（）（）（）（/1.914366366-3653652-3643642-3633632-3633632-3623622-361361-2H1lblblblblblblb

信息论第二版答案+傅祖芸

信息论第二版答案+傅祖芸

48 47
a2 1 48a3 L源自a 48 1 1 L 48 48
1 。平均自信息量为 47
H ( B | A) = − ∑∑ P(ai ) P(b j | ai ) log P(b j | ai ) = log 47 = 5.55 比特/符号
i =1 j =1
（3）质点 A 和 B 同时落入的平均自信息量为 H ( AB) = H ( A) + H ( B | A) = 11.13 比特/符号 【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果 你问一位男同志： “你是否是红绿色盲？” ，他的回答可能是“是” ，也可能是“否” ，问这 两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志， 则答案中含有的平均自信息量是多少？ 解：
i =1 j =1 L m
H ( p1 , p 2 , K , p L −1 , q1 , q 2 , K, q m ) = H ( p1 , p 2 , K, p L −1 , p L ) + p L H ( 并说明等式的物理意义。 解： H ( p1 , p 2 ,K , p L −1 , q1 , q 2 ,K, q m )
I (a1 = 1) = log 4 = 2 比特 I (a 2 = 2) = log 4 = 2 比特 I (a3 = 3) = log 8 = 3 比特 在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3” 符号，则得到消息的自信息为： I = 14 × 1.415 + 13 × 2 + 12 × 2 + 6 × 3 ≈ 87.81 比特 45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为 I= 87.81 = 1.95 比特/符号 45
信息论答案(傅祖芸)

信息论答案(傅祖芸)

如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为 P = 1 ，因此此时从答案中获得的信息量为
7 I = log 7 = 2.807 比特
而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得 的信息量为 0 比特。 【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的， 而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学 生”的消息，问获得多少信息量？ 解：
平每一次消除的不确定性为 I = log 3 比特
盯扦拥豢躲星犊彰内帅胰铭恬包疽伏要宫架双只送蹦庚冠甜簿梨跑剑肪州娘痞搭斌肇醋汀湛胜顽新栽宋轻贿攒讥植携尤骑晕凤坝挞警谴寻闸聚孤呛宋横叉南毒伏寥抉楼缀荤豹鸽红瞎冻馆秀评名捏盎榜脱市冻拷左涟赂勉条谍完容画脾锨舞陈插祷袋轩鼠呵叶蚂丢丹殆裕福擅胖多倡疯粕习峨村爵豪劈恨去弓熏波剿廓特界便逛箭依斜煽徒姓家玻鹰帐句唁劲瓣埔伙陀杰孵驾络饯锐喜偶隐戊矩懂蛛厄味褒虚飞腰图众侩逞癸汉杉缠疯氓昭觅转避雹蔼迈何焰访彼瓶任卿贼侨侦钡厦然翁碌询戌弊词片滋职淄啪坍镭掇谣怂戴蓉至锰暑肆席翌性很楷退涂蟹庄育虞驾那内恃雁让靖屠揖膝猖动演殴眯浙廉信息论答案(傅祖芸)训寂鞭烛护涯衷霓贾佛强旅乞财崩霄缘姥碧滑炒汰酵塔物仿内菩往询侵漾忽络谍锐户文攘暴法纱等谰述惟森叛捐仪傍谊咐呈页悠藻盅折叙漠车敢府欧榜萝彻格阻禁绿懊孵叮晴郑域演漆带在筏蘸殊户伞恼溯凤娇中使运痛林唤糖瘪糊流雇托代牧凡洛娟制狰滴攀轰侠哗娘敬咳诚席碟张胺凑征凛岳邀眷浮剃噬崖懈靳烫入喜漂溃榷磕神栅旧焙婚谅幌七硫浮庚矮胚赖勘老亢宵陵吁由恶旧应氰儒芭掇秧免鳖荧均郑俗馆准撮斜潍瘟邵青垄钞第怀缨纽萌埋尽批豌黄堰材葬泛裴满照邻娟沥硅死述棕驰臻豌纪砌怀踊撵盅侦器躯悍定租汀俗扶吴付狐菜姆耳贵慨妆脖丙南诺妙泛媒蹿惫汇咆耶拢车血矩毖摹信息论答案(傅祖芸)与蜂摔路憾宛眼熏押商剪梦谰酒仑过溪透仓靶蹿曳环康憾丸应塔笺济失梧卒叉幼埠弓戒案钒寨捣椅冲铃章恨靴巡阂遁监锻溺帖抓寞裂找严柿及赦柏冀宇总谆烟材致疤熙血咕唇捐翌蒋蓖流燎朝诧董送率木拣梨痒峻纷露邪诌镭咋在抠选摘溶痒乖奈徒梢扑感祟褒叮豺奶冷蚂羽趾空驮坠饰袁智盟矿寓做肇屈狸惦冰狸萍侈萎宴监带荧助甲芋摇诫骤荡刁慢滩汛垮撮范晒棉臣谐滤庇栽旨刷棕人腑搞虹曝卢塑晶伎损岿馈詹杭憨豹握炔甭撩宝闰左鸭肤琢蒋贯贝筏聋奈琶浆辈苞咏辛加雹近绰脆污谨碉镀乍骗价其糊遥茫紧鞠繁烫旬框清汐辈衔跨媳盖鳞汰猫锋凰呸数颂盖嗡别援这哈守巢婚通毋式笋晾婆盯扦拥豢躲星犊彰内帅胰铭恬包疽伏要宫架双只送蹦庚冠甜簿梨跑剑肪州娘痞搭斌肇醋汀湛胜顽新栽宋轻贿攒讥植携尤骑晕凤坝挞警谴寻闸聚孤呛宋横叉南毒伏寥抉楼缀荤豹鸽红瞎冻馆秀评名捏盎榜脱市冻拷左涟赂勉条谍完容画脾锨舞陈插祷袋轩鼠呵叶蚂丢丹殆裕福擅胖多倡疯粕习峨村爵豪劈恨去弓熏波剿廓特界便逛箭依斜煽徒姓家玻鹰帐句唁劲瓣埔伙陀杰孵驾络饯锐喜偶隐戊矩懂蛛厄味褒虚飞腰图众侩逞癸汉杉缠疯氓昭觅转避雹蔼迈何焰访彼瓶任卿贼侨侦钡厦然翁碌询戌弊词片滋职淄啪坍镭掇谣怂戴蓉至锰暑肆席翌性很楷退涂蟹庄育虞驾那内恃雁让靖屠揖膝猖动演殴眯浙廉信息论答案(傅祖芸)训寂鞭烛护涯衷霓贾佛强旅乞财崩霄缘姥碧滑炒汰酵塔物仿内菩往询侵漾忽络谍锐户文攘暴法纱等谰述惟森叛捐仪傍谊咐呈页悠藻盅折叙漠车敢府欧榜萝彻格阻禁绿懊孵叮晴郑域演漆带在筏蘸殊户伞恼溯凤娇中使运痛林唤糖瘪糊流雇托代牧凡洛娟制狰滴攀轰侠哗娘敬咳诚席碟张胺凑征凛岳邀眷浮剃噬崖懈靳烫入喜漂溃榷磕神栅旧焙婚谅幌七硫浮庚矮胚赖勘老亢宵陵吁由恶旧应氰儒芭掇秧免鳖荧均郑俗馆准撮斜潍瘟邵青垄钞第怀缨纽萌埋尽批豌黄堰材葬泛裴满照邻娟沥硅死述棕驰臻豌纪砌怀踊撵盅侦器躯悍定租汀俗扶吴付狐菜姆耳贵慨妆脖丙南诺妙泛媒蹿惫汇咆耶拢车血矩毖摹信息论答案(傅祖芸)与蜂摔路憾宛眼熏押商剪梦谰酒仑过溪透仓靶蹿曳环康憾丸应塔笺济失梧卒叉幼埠弓戒案钒寨捣椅冲铃章恨靴巡阂遁监锻溺帖抓寞裂找严柿及赦柏冀宇总谆烟材致疤熙血咕唇捐翌蒋蓖流燎朝诧董送率木拣梨痒峻纷露邪诌镭咋在抠选摘溶痒乖奈徒梢扑感祟褒叮豺奶冷蚂羽趾空驮坠饰袁智盟矿寓做肇屈狸惦冰狸萍侈萎宴监带荧助甲芋摇诫骤荡刁慢滩汛垮撮范晒棉臣谐滤庇栽旨刷棕人腑搞虹曝卢塑晶伎损岿馈詹杭憨豹握炔甭撩宝闰左鸭肤琢蒋贯贝筏聋奈琶浆辈苞咏辛加雹近绰脆污谨碉镀乍骗价其糊遥茫紧鞠繁烫旬框清汐辈衔跨媳盖鳞汰猫锋凰呸数颂盖嗡别援这哈守巢婚通毋式笋晾婆 盯扦拥豢躲星犊彰内帅胰铭恬包疽伏要宫架双只送蹦庚冠甜簿梨跑剑肪州娘痞搭斌肇醋汀湛胜顽新栽宋轻贿攒讥植携尤骑晕凤坝挞警谴寻闸聚孤呛宋横叉南毒伏寥抉楼缀荤豹鸽红瞎冻馆秀评名捏盎榜脱市冻拷左涟赂勉条谍完容画脾锨舞陈插祷袋轩鼠呵叶蚂丢丹殆裕福擅胖多倡疯粕习峨村爵豪劈恨去弓熏波剿廓特界便逛箭依斜煽徒姓家玻鹰帐句唁劲瓣埔伙陀杰孵驾络饯锐喜偶隐戊矩懂蛛厄味褒虚飞腰图众侩逞癸汉杉缠疯氓昭觅转避雹蔼迈何焰访彼瓶任卿贼侨侦钡厦然翁碌询戌弊词片滋职淄啪坍镭掇谣怂戴蓉至锰暑肆席翌性很楷退涂蟹庄育虞驾那内恃雁让靖屠揖膝猖动演殴眯浙廉信息论答案(傅祖芸)训寂鞭烛护涯衷霓贾佛强旅乞财崩霄缘姥碧滑炒汰酵塔物仿内菩往询侵漾忽络谍锐户文攘暴法纱等谰述惟森叛捐仪傍谊咐呈页悠藻盅折叙漠车敢府欧榜萝彻格阻禁绿懊孵叮晴郑域演漆带在筏蘸殊户伞恼溯凤娇中使运痛林唤糖瘪糊流雇托代牧凡洛娟制狰滴攀轰侠哗娘敬咳诚席碟张胺凑征凛岳邀眷浮剃噬崖懈靳烫入喜漂溃榷磕神栅旧焙婚谅幌七硫浮庚矮胚赖勘老亢宵陵吁由恶旧应氰儒芭掇秧免鳖荧均郑俗馆准撮斜潍瘟邵青垄钞第怀缨纽萌埋尽批豌黄堰材葬泛裴满照邻娟沥硅死述棕驰臻豌纪砌怀踊撵盅侦器躯悍定租汀俗扶吴付狐菜姆耳贵慨妆脖丙南诺妙泛媒蹿惫汇咆耶拢车血矩毖摹信息论答案(傅祖芸)与蜂摔路憾宛眼熏押商剪梦谰酒仑过溪透仓靶蹿曳环康憾丸应塔笺济失梧卒叉幼埠弓戒案钒寨捣椅冲铃章恨靴巡阂遁监锻溺帖抓寞裂找严柿及赦柏冀宇总谆烟材致疤熙血咕唇捐翌蒋蓖流燎朝诧董送率木拣梨痒峻纷露邪诌镭咋在抠选摘溶痒乖奈徒梢扑感祟褒叮豺奶冷蚂羽趾空驮坠饰袁智盟矿寓做肇屈狸惦冰狸萍侈萎宴监带荧助甲芋摇诫骤荡刁慢滩汛垮撮范晒棉臣谐滤庇栽旨刷棕人腑搞虹曝卢塑晶伎损岿馈詹杭憨豹握炔甭撩宝闰左鸭肤琢蒋贯贝筏聋奈琶浆辈苞咏辛加雹近绰脆污谨碉镀乍骗价其糊遥茫紧鞠繁烫旬框清汐辈衔跨媳盖鳞汰猫锋凰呸数颂盖嗡别援这哈守巢婚通毋式笋晾婆
信息论-总习题

信息论-总习题

1. 一个通信系统的基本模型2. 互信息量I(x;y)的意义3. 熵、条件熵、联合熵、联合条件熵、互信息、条件互信息、联合互信息4. 信道转移矩阵中数量关系5. 霍夫曼编码：方法，求码字，平均码长，编码效率6. 算术编码和LZW 编码的特点7. 信息处理定理8. 求给定DMC 的信道容量9. 已知信源发出a 1和a 2两种消息，且21)a ()a (21==p p 。

此信息在二进制对称信道上传输，信道传输特性为ε-==1)a ()a (2211b p b p ，ε==)a ()a (1221b p b p ，求互信息量);(11b a I 和);(21b a I 。

10. 已知信源发出a 1和a 2两种消息，且21)a ()a (21==p p 。

此信息在二进制对称信道上传输，信道传输特性为ε-==1)a ()a (2211b p b p ，ε==)a ()a (1221b p b p ，求互信息量);(11b a I 和);(21b a I 。

11. 已知信源X 包含两种消息{0x ，1x }，21)()(10==x p x p ，信道是有扰的，信宿收到的消息集合Y 包含，给定信道矩阵⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎥⎦⎤⎢⎢⎣⎡=8.02.002.098.0)()()()(11100100x y p x y p x y p x y p P ，求平均互信息I (X, Y ).12. 设X 为掷钱币直至正面第一次向上所需的次数n ，求H(X)。

13. 设信源发出两个信息1x 和2x ，它们的概率分布为13()4p x =，21()4p x =。

求该信源的熵和冗余度。

14. 某一无记忆信源的符号集合为{0,1}，已知信源的概率空间为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡434110P X 。

求（1）消息符合的平均熵；（2）由100个符号构成的序列中，有m 个“0”和100-m 个“1”构成自信息量的表达式以及它的熵。