信息理论基础 周荫清 答案
- 格式:docx
- 大小:551.48 KB
- 文档页数:41
第一章计算机基础知识第一节信息技术概述1信息化社会的技术特征是______。
A.现代信息技术B.计算机技术C.通信技术D.网络技术2下面关于信息的定义,不正确的是______。
A.信息是不确定性的减少或消除B.信息是控制系统进行调节活动时,与外界相互作用、相互交换的内容C.信息是事物运动的状态和状态变化的方式D.信息就是指消息、情报、资料、信号3信息来源于社会又作用于社会,说明信息具有______。
A.社会性B.传载性C.时间性D.不灭性4信息被存储和传输,说明了信息具有______。
A.社会性B.传载性C.能动性D.不灭性5信息技术的根本目标是______。
A.获取信息B.利用信息C.生产信息D.提高或扩展人类的信息能力6信息技术指的是______。
A.获取信息的技术B.利用信息的技术C.生产信息的技术D.能够提高或扩展人类信息能力的方法和手段的总称7信息技术的发展经历了______发展时期。
A.2个B.3个C.4个D.5个8信息技术大致上可以归纳为______相互区别又相互关联的层次。
A.5个B.4个C.3个D.2个9信息获取技术属于信息技术的______。
A.主体层次B.应用层次C.外围层次D.其它层次10下列技术不属于信息获取技术的是______。
A.传感技术B.遥测技术C.遥感技术D.机器人技术11信息技术的主体层次,除了包括信息获取技术、信息存储技术、信息处理技术、信息传输技术外,还包括______。
A.激光技术B.微电子技术C.卫星通信技术D.信息控制技术12目前在信息处理技术中起中坚作用的是计算机技术和_______等。
A.人工智能技术B.多媒体技术C.计算机网络技术D.无线通信技术13关于信息技术的功能的描述,不正确的是______。
A.信息技术的功能是指信息技术有利于自然界和人类社会发展的功用与效能B.从宏观上看,信息技术最直接、最基本的功能或作用主要体现在:辅人功能、开发功能、协同功能、增效功能和先导功能C.在信息社会中,信息技术的功能或作用是有限的,且固定不变D.信息技术的天职就是扩展人的信息器官功能,提高或增强人的信息获取、存储、处理、传输、控制能力14下面关于信息化的描述,不正确的是______。
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?解:四进制脉冲可以表示4个不同的消息,例如:{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息,例如:{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息,例如:{0, 1} 假设每个消息的发出都是等概率的,则:四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以:四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?解:设随机变量X 代表女孩子学历X x 1(是大学生) x 2(不是大学生) P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1(身高>160cm ) y 2(身高<160cm ) P(Y) 0.5 0.5已知:在女大学生中有75%是身高160厘米以上的 即:p(y 1/ x 1) = 0.75求:身高160厘米以上的某女孩是大学生的信息量 即:bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=⎪⎭⎫⎝⎛⨯-=⎥⎦⎤⎢⎣⎡-=-=2.3 一副充分洗乱了的牌(含52张牌),试问(1) 任一特定排列所给出的信息量是多少?(2) 若从中抽取13张牌,所给出的点数都不相同能得到多少信息量?解:(1) 52张牌共有52!种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:bit x p x I i i 581.225!52log )(log )(2==-=(2) 52张牌共有4种花色、13种点数,抽取13张点数不同的牌的概率如下:bit C x p x I C x p i i i 208.134log )(log )(4)(13521322135213=-=-==2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ,其发出的信息为(202120130213001203210110321010021032011223210),求 (1) 此消息的自信息量是多少?(2) 此消息中平均每符号携带的信息量是多少?解:(1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是:bit p I 811.87log 2=-=(2) 此消息中平均每符号携带的信息量是:bit n I 951.145/811.87/==2.5 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男士:“你是否是色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量是多少?解: 男士:symbolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(22222222=+-=-==-=-===-=-==∑女士:symbolbit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2222=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ,求这个信源的熵,并解释为什么H(X) > log6不满足信源熵的极值性。
信息技术模拟习题与答案一、单选题(共100题,每题1分,共100分)1.个人计算机申请了账号并采用PPP拨号方式,接人Internet网后,该机( ) 。
A、没有自己的IP地址B、拥有固定的IP地址C、可以有多个IP地址D、拥有独立的IP地址正确答案:D2.软件的复杂性是(),它引起通信困难、开发费用超支、开发时间超时等问题。
A、固有的B、不可降低的C、人为的D、可消除的正确答案:A3.数据库中,数据的物理独立性是指( )A、数据库与数据库管理系统的相互独立B、用户程序与DBMS的相互独立C、用户的应用程序与存储在磁盘上的数据库中的数据是相互独立的D、应用程序与数据库中数据的逻辑结构相互独立正确答案:C4.设一棵完全二叉树中有65个结点,则该完全二叉树的深度为()。
A、5B、7C、6D、8正确答案:B5.运算器的组成部分不包括()。
A、加法器B、寄存器C、控制线路D、译码器正确答案:D6.移动商务整合可以把难于战胜的风险变成()的风险。
A、可以化解B、规避C、潜在D、控制正确答案:A7.在资源管理器窗口中,被选中的文件或文件夹会()。
A、闪烁显示B、加框显示C、加亮显示D、反像显示正确答案:D8.在 Dreamweaver 中,若希望设计一个能被拖动到任意位置的图象,则应对该图象如何设置:()A、首先将图象放在一新层中再设层特性B、直接插入图象,将属性设为浮动C、直接插入图象,将属性设为两端对齐D、引入帧,将图象放入帧中。
正确答案:D9.在Windows 的“资源管理器”的目录窗口中, 显示着指定目录里的文件信息, 其显示方式是( )。
A、可以只显示文件名, 也可以显示文件的部分或全部目录信息, 由用户选择B、固定为显示文件的全部目录信息C、固定为显示文件的部分目录信息D、只能显示文件名正确答案:A10.在空白幻灯片中不可以直接插入( )A、Word表格B、文字C、文本框D、艺术字正确答案:B11.支持发送彩色图片的应用平台是()A、对象中间件B、MMS多媒体短信平台C、EMS增强型短信平台D、移动中间件正确答案:B12.两个以上的申请人分别就相同内容的计算机程序的发明创造,先后向国务院专利行政部门提出申请,()可以获得专利申请权。
2.3 一副充分洗乱的牌〔含52〕,试问:〔1〕任一特定排列所给出的不确定性是多少?〔2〕随机抽取13牌,13牌的点数互不一样时的不确定性是多少? 解:〔1〕52扑克牌可以按不同的顺序排列,所有可能的不同排列数就是全排列种数,为 因为扑克牌充分洗乱,任一特定排列出现的概率相等,设事件A 为任一特定排列,则其发生概率为可得,该排列发生所给出的信息量为()()22log log 52225.58I A P A =-=!≈ bit 67.91≈ dit〔2〕设事件B 为从中抽取13牌,所给出的点数互不一样。
扑克牌52中抽取13,不考虑排列顺序,共有1352C 种可能的组合。
13牌点数互不一样意味着点数包括A ,2,…,K ,而每一种点数有4种不同的花色意味着每个点数可以取4中花色。
所以13牌中所有的点数都不一样的组合数为134。
因为每种组合都是等概率发生的,所以则发生事件B 所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ bit3.976≈ dit2.5 设在一只布袋中装有100只对人手的感觉完全一样的木球,每只上涂有1种颜色。
100只球的颜色有以下三种情况:(1) 红色球和白色球各50只; (2) 红色球99只,白色球1只; (3) 红,黄,蓝,白色各25只。
求从布袋中随意取出一只球时,猜想其颜色所需要的信息量。
解:猜想木球颜色所需要的信息量等于木球颜色的不确定性。
令R ——"取到的是红球〞,W ——"取到的是白球〞, Y ——"取到的是黄球〞,B ——"取到的是蓝球〞。
〔1〕假设布袋中有红色球和白色球各50只,即 则 ()()221log log 212I R I W ==-== bit 〔2〕假设布袋中红色球99只,白色球1只,即 则 ()()22log log 0.990.0145I R P R =-=-= bit()()22log log 0.01 6.644I W P W =-=-=bit〔3〕假设布袋中有红,黄,蓝,白色各25只,即 则 ()()()()21log 24I R I Y I B I W ====-= bit 2.7 设信源为 求()()62log iiiP x P x -∑,井解释为什么()()622log log6i i iP x P x ->∑,不满足信源熵的极值性。
( )是现代通用计算机的雏形宾州大学于1946年2月研制成功的ENIAC 查尔斯.巴贝奇于1834年设计的分析机冯.诺伊曼和他的同事们研制的EDVIC艾伦.图灵建立的图灵模型B计算机集成制造系统的英文缩写是( )CAT CAI CAM CIMS D 计算机硬件系统由( )组成控制器,显示器,打印机和键盘控制器,运算器,存储器,输入输出设备CPU,主机,显示器,硬盘和电源主机箱,集成块,显示器和电源B操作系统是一种( )操作者所直接接触的硬件设备的总称系统软件软件和硬件的统称操作者所用软件的总称B微机中1KB表示的二进制位数是( )10008x10008x10241024C 微型计算机中使用的鼠标器是连接在( )串行接口上的显示器接口上的并行接口上的打印机接口上的A 在进位计数制中,当某一位的值达到某个固定量时,就要向高位进位。
这个固定量就是该种进位计数制的( )阶码原码尾数基数D 若用8位机器码表示二进制数-10100,其补码表示为( ) 11100100111010111110110011100100C 在下面关于字符之间大小关系的说法中,正确的是( )。
空格符>b>B空格符>B>b b>B>空格符B>b>空格符C 能管理计算机的硬件设备并使得应用软件能方便、高效率地使用这些设备的是()。
数据库编辑软件操作系统键盘C 以下关于Windows功能的描述不正确的是( )一切操作都通过图形用户界面,不能执行DOS命令可以用鼠标操作代替许多烦琐的键盘操作提供了多任务环境不再依赖DOS,因而在一些方面也有所突破A在Windows的( )中可以对显示器、鼠标、键盘、日期、时间等进行设置。
桌面资源管理器回收站控制面板D Windows中应用程序的扩展名一般为( ).EXE或.COM.EXE或或.DOC.DOC或.XLS A 删除某个应用程序的快捷方式,意味着( )该应用程序连同其图标一起被删除只删除了图标,该应用程序不受影响该应用程序无法再使用只删除了该应用程序,对应的图标被隐藏B下列关于线程的说法中错误的是( )在任务管理器中可以看到每个进程所包含的线程数线程拥有系统资源把进程细分成线程可以更好地实现并发处理和共享资源有些进程只包含一个线程B下列关于文件扩展名的说法中正确的是( )文件夹不能有扩展名每个文件都必须有扩展名文件扩展名必须是3个字符文件扩展名表示了文件的类型DWindows的目录结构是( )的树状网状星型环型A 在WINDOWS 中,不能进行文件夹重命名的操作是( )选择文件后再按F4键选定文件后再单击文件名一次用鼠标右键单击文件,在弹出的快捷菜单中选择“重命名”命令用“资源管理器”的“文件”下拉菜单中的“重命名”命令A我们平时所说的“数据备份”中的数据包括()内存中的各种数据各种程序文件和数据文件存放在CD-ROM上的数据内存中的各种数据,程序文件和数据文件B在WINDOWS 中,在下面关于即插即用设备的说法中,正确的是( ) WINDOWS 保证自动正确地配置即插即用设备,永远不需要用户干预即插即用设备只能由操作系统自动配置,用户不能手工配置非即插即用设备和即插即用设备不能用在同一台计算机上非即插即用设备只能由用户手工配置D有一篇文档,编完之后想检查错误最方便的方法是( )自动拼写检查将字号调大将显示器换成大的将文稿打印出来校对A设计一个简历,最简便的方法是( )在[工具]中选择[自定义] 再应用相关模板在[格式]中选择[样式]再应用相关模板在[格式]中选择[主题] 再应用相关模板从[文件]中选择[新建],再应用相关模板D下列选项中,属于对单元格的绝对引用的是( )=¥B¥2=$B2=B2=$B$2D 幻灯片的切换方式是指( )在编辑新幻灯片时的过渡形式在编辑幻灯片时切换不同视图在幻灯片放映时两张幻灯片间过渡形式在编辑幻灯片时切换不同的设计模板C计算机网络发展过程中,( )对计算机网络的形成与发展影响最大OCYOPUS Newhall DATAPAC ARPANET D 衡量网络上数据传输速率的单位是bps,其含义是()信号每秒传输多少公里信号每秒传输多少千公里每秒传送多少个二进制位每秒传送多少个数据C以下关于MAC的说法中错误的是( )可以用Ipconfig/all命令来检查MAC地址MAC地址一共有48比特,它们从出厂时就被固化在网卡中MAC地址也称做物理地址,或通常所说的计算机的硬件地址MAC地址在每次启动后都会改变D接入Internet的电脑必须装有()Word Excel TCP/IP HTML C DNS是用来解析下列各项中的哪一项( )IP地址和MAC地址TCP名字和地址用户名和IP地址主机名和传输层地址CHTML是( )超文本标记语言传输协议统一资源定位器机器语言A WWW服务是Internet上最方便与最受用户欢迎的()数据计算方法信息服务类型数据库费用方法B 在企业内部网与外部网之间,用来检查网络请求分组是否合法,保护网络资源不被非法使用的技术是( )防病毒技术防火墙技术差错控制技术流量控制技术B 数据库中存储的是什么( )数据信息数据结构数据模型A 在关系型数据库中,二维表中的一行被称作什么( )字段数据元组数据视图C 在一个单位的人事数据库,字段“简历”应当是什么数据类型( )关系型数字型日期/时间型备注型D 表达式1+(5 mod 2)*2 的运算结果是( )1324B 在SQL命令中,属于数据定义的语句是()CREAT SELECT INSERT UPDATE a 如下()不是图形图像处理软件。
1-6章分节习题答案第一章信息技术概述1.1 信息与信息技术一、判断题1、正确2、错误二、选择题3、B4、B1.1 微电子技术一、判断题1、错误2、错误3、正确二、选择题4、A5、B6、C1.2 通信技术一、判断题1、错误2、正确3、正确二、选择题4、C5、D6、C1.3 计算机技术一、判断题1、错误2、正确3、正确二、选择题4、D5、B6、D1.4 信息化与信息社会一、判断题1、正确2、正确二、选择题3、D4、B第二章计算机组成原理2.1 计算机的组成与分类一、判断题1、错误2、正确 3 、错误二、填空题4、辅助存储器5、寄存器6、总线7、内存8、100万9、巨型计算机三、选择题10、D 11、B 12、A 13、B 14、D 15、B 16、D 17、B 18、A 19、D 20、A 21、C2.2 CPU的结构与原理一、判断题1、错误2、正确二、选择题3、D4、A5、C6、B7、A8、C9、B 10、D 11、A 12、D 13、B 14、A三、填空题15、超标量结构 16、操作码 17、指令系统 18、寄存器 19、逻辑 20、程序存储与程序控制 21、指令2.3 PC机的组成一、判断题1、错误2、错误3、正确4、错误5、正确6、错误7、错误8、正确9、正确 10、错误 11、错误二、填空题12、基本输入输出系统13、静态随机存取存储器 14、双列直插 15、DMA 16、地址信号 17、USB18、127 19、IEEE-1394 20、CMOS 21、芯片组 22、POST程序 23、SIMM三、选择题24、B 25、D 26、D 27、C 28、D 29、D 30、A 31、C 32、A 33、B 34、B 35、D 36、B 37、C 38、B 39、B 40、A 41、C 42、D 43、B 44、D 45、C 46、D 47、B 48、C 49、A 50、D 51、A 52、C 53、C2.4 常用输入设备一、判断题1、错误2、错误二、填空题3、光机式4、光电转换5、CCD6、CCD像素的个数三、选择题7、B 8、D 9、C 10、D 11、B 12、C 13、A 14、D 15、D 16、B 17、C 18、C2.5常用输出设备一、判断题1、错误2、错误二、填空题3、EPA4、AGP5、显示存储器三、选择题6、B7、D8、A9、B 10、C 11、B 12、C 13、A 14、C 15、D 16、B2.6 外存储器一、判断题1、正确2、错误3、错误二、填空题4、SCSI5、66、温彻斯特7、扇区号三、选择题8、C 9、B 10、C 11、D 12、C 13、B 14、B 15、B 16、A 17、A 18、A 19、C第三章软件3.1 计算机软件及计算机软件技术一、判断题1、正确2、错误3、错误4、正确二、选择题5、D6、C7、B8、B9、C 10、A 11、A 12、A三、填空题13、系统软件 14、系统软件3.2 操作系统一、判断题1、正确2、错误3、正确4、错误5、正确6、正确7、正确8、错误9、错误 10、错误二、选择题11、A 12、C 13、A 14、C 15、C 16、A 17、D 18、A 19、C 20、A 21、B 22、C 23、D24、B 25、B 26、C 27、A二、填空题26、网络服务器部分、客户服务器部分3.3 程序设计语言及其语言处理程序一、判断题1、错误2、正确3、正确4、正确二、选择题5、B6、B7、C8、D9、A 10、C 11、D 12、D 13、D 14、B 15、B 16、C 17、C 18、B 19、A二、填空题20、有穷性 21、数据的运算 22、顺序结构、条件选择结构、重复结构 23、机器语言、汇编语言、高级语言5.4 计算机软件理论基础和方法一、判断题1、正确2、正确3、正确4、正确二、选择题5、D6、D5.4 计算机软件理论一、填空题1、时间2、数据结构第四章数字媒体及应用4.1 数值信息和数值计算1、正确2、错误3、正确4、正确二、选择题5、A6、B7、 C8、B9、A 10、B 11、C 13、A 14、 C 15、A 16、D 17、B 18、D三、填空题19、11000011110010101(未加15个0) 20、-1 21、16MB 22、100104.2 文本与文本处理一、判断题1、正确2、错去3、错误4、正确二、选择题5、D6、D7、A8、B9、A 10、D 11、A 12、B 13、D 14、A 15、C 16、A 17、A 18、C三、填空题19、 B6 D2 H 20、00110111 21、32 22、.txt4.3 图像与图形一、判断题1、正确2、错误3、正确4、错误5、错误6、错误7、正确二、填空题8、分色 9、压缩倍数的大小 10、1 11、几何模型三、选择题12、B 13、A 14、C 15、D 16、B 17、A 18、B 19、C 20、B 21、C 19、B 20、D 21、A 22、C 23、B 24、A 25、C 26、A 27、D 28、D 29、B 30、A 31、B 32、A 33、C34、3 35、象素 36、压缩算法的复杂程度4.4 数字声音及应用一、判断题1、错误2、正确3、错误4、正确5、正确6、错误7、正确8、错误9、正确 10、错误 11、错误二、填空题12、带宽 13、量化 14、插值处理 15、流媒体 16、语音合成 17、音序器三、选择题18、D 19、A 20、A 21、B 22、B 23、C 24、A 25、C4.5 数字视频及应用一、判断题1、错误2、正确3、正确4、错误5、错误6、错误二、填空题7、计算机动画 8、数字视频编辑器 9、YUV 10、VOD 11、Video CD或VCD 12、MPEG-4三、选择题13、B 14、C 15、A 16、B 17、B 18、B第五章信息系统与数据库5.1 计算机信息系统一、判断题1、正确2、正确3、错误4、正确二、选择题5、B6、D7、D8、C9、D 10、D 11、B 12、C 13、D 14、C 15、D 16、B三、填空题17、用户界面 18、信息检索系统19、功能智能化 20、数据库5.2 数据库系统及应用一、判断题1、错误2、正确3、错误4、错误5、正确6、正确7、正确8、正确9、错误 10、正确 11、正确12、正确 13、正确 14、错误 15、正确 16、错误 17、正确 18、错误二、选择题19、D 20、C 21、D 22、A 23、B 24、D 25、C 26、D 27、B 28、D 29、B 30、A 31、B 32、B 33、D 34、C 35、D 36、D 37、A 38、D 39、D 40、D 41、D 42、D 43、A 44、B 45、A 46、C47、B 48、D三、填空题49、Internet上的Web数据库 50、数据共享 51、网状模型 52、结构化查询语言 53、连接54、数据库查询 55、二维表 56、数据仓库 57、投影 58、知识发现 59、Select 60、Insert5.3 信息系统开发与管理一、判断题1、错误2、正确3、正确4、错误5、错误6、正确7、正确8、正确9、正确二、选择题10、A 11、D 12、B 13、D 14、B 15、D 16、D 17、B 18、D 19、D 20、A 21、C 22、D 23、A24、D 25、C 26、A 27、B 28、C 29、C三、填空题30、模块测试 31、适应性维护 32、数据 33、系统分析 34、软件工程 35、面向对象方法36、系统设计5.4 典型信息系统介绍1、正确2、错误3、正确4、错误5、正确6、错误二、选择题7、D 8、B 9、D 10、B 11、C 12、D 13、A 14、D 15、B 16、B 17、D 18、B 19、B 20、D 21、B22、D 23、D 24、A三、填空题25、基于视频会议系统26、遥感技术 27、EDI(电子数据交换) 28、地理信息系统29、远程教育30、数字图书馆第六章计算机网络与因特网4.1 计算机网络与数据通信基础一、判断题1、正确2、正确3、错误4、错误二、选择题5、D6、B7、A8、D9、C 10、D 11、A 12、C 13、C 14、A 15、D 16、A 17、D 18、D 19、D三、填空题20、通信子网 21、数字 22、时分多路复用23、53个4.2 计算机局域网一、判断题1、正确2、正确3、正确4、正确二、选择题5、D6、B7、A8、D9、C 10、A 11、D 12、A 13、C 14、C 15、A 16、D 17、A 18、C 19、D 20、D三、填空题21、通信子网 22、数字 23、时分多路复用24、53个4.3 计算机广域网一、判断题1、错误2、正确3、正确4、错误二、选择题5、C6、B7、A8、C9、A 10、A 11、D 12、A 13、C 14、C 15、A 16、A 17、D 18、D 19、B20、D三、填空题21、规模 22、广域网交换机 23、交换机 24、包交换技术4.4 因特网及其应用一、判断题1、正确2、错误3、错误4、正确5、错误6、正确7、正确8、错误二、选择题9、C 10、B 11、A 12、B 13、B 14、A 15、D 16、A 17、C 18、B 19、C 20、D 21、A 22、D 23、B24、A 25、B 26、C三、填空题27、TCP/IP 28、路由器29、分组交换 30、域名系统DNS 31、SMTP 32、POP。
2.4 居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?解:设随机变量X 代表女孩子学历X x 1(是大学生) x 2(不是大学生) P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1(身高>160cm ) y 2(身高<160cm ) P(Y) 0.5 0.5已知:在女大学生中有75%是身高160厘米以上的 即:p(y 1/ x 1) = 0.75求:身高160厘米以上的某女孩是大学生的信息量 即:b y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=⎪⎭⎫⎝⎛⨯-=⎥⎦⎤⎢⎣⎡-=-=2. 8:英文字母中e 出现的概率为0.105,c 出现的概率为0.023,o 出现的概率是0.001,分别计算它们的自信息量。
解:2.18有两个二元随机变量X 和Y ,它们的联合概率为并定义另一随机变量Z = XY (一般乘积),试计算:(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ);(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY);(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解: (1)111()log 3.25,()log 5.44,()log 9.970.1050.0230.001I e bit I c bit I o bit ======218381)()()(21111=+=+=y x p y x p x psymbol bit y p y p Y H y x p y x p y p y x p y x p y p symbol bit x p x p X H y x p y x p x p jj j ii i / 1)(log )()(218183)()()(218381)()()(/ 1)(log )()(218183)()()(22221212111222122=-==+=+==+=+==-==+=+=∑∑ Z = XY 的概率分布如下:symbolbit z p Z H z z Z P Z kk / 544.081log 8187log 87)()(818710)(22221=⎪⎭⎫ ⎝⎛+-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧===⎥⎦⎤⎢⎣⎡∑ symbolbit z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i kk i k i / 406.1)81log 8183log 8321log 21()(log )()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(22222222221211112121111112121111=++-=-===+==-=-=+====+=∑∑symbolbit z y p z y p YZ H z p z y p z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p j kk j k j / 406.1)81log 8183log 8321log 21()(log )()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(22222222221211112121111112121111=++-=-===+==-=-=+====+=∑∑838121)()()()()()(8/1)()()()()(0)(0)(0)(11111121111111211111111211111212221211=-=-==+===+===z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x psymbolbit z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p ijkk j i k j i / 811.181log 8183log 8383log 8381log 81)(log )()(81)()()()()(0)(83)()()()()(2222222222222221221221211212212112=⎪⎭⎫ ⎝⎛+++-=-====+====+∑∑∑(2)symbolbit XY H XYZ H XY Z H symbol bit XZ H XYZ H XZ Y H symbol bit YZ H XYZ H YZ X H symbol bit Y H YZ H Y Z H symbol bit Z H YZ H Z Y H symbol bit X H XZ H X Z H symbol bit Z H XZ H Z X H symbol bit X H XY H X Y H symbol bit Y H XY H Y X H symbolbit y x p y x p XY H i jj i j i / 0811.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 811.01811.1)()()/(/ 811.01811.1)()()/(/ 811.181log 8183log 8383log 8381log 81)(log )()(22222=-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==⎪⎭⎫ ⎝⎛+++-==-=∑∑ (3)symbolbit YZ X H Y X H Y Z X I symbol bit XZ Y H X Y H X Z Y I symbol bit YZ X H Z X H Z Y X I symbolbit Z Y H Y H Z Y I symbol bit Z X H X H Z X I symbol bit Y X H X H Y X I / 406.0405.0811.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 138.0862.01)/()();(/ 138.0862.01)/()();(/ 189.0811.01)/()();(=-=-==-=-==-=-==-=-==-=-==-=-=3.1 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ,其发出的信息为(202120130213001203210110321010021032011223210),求(1) 此消息的自信息量是多少?(2) 此消息中平均每符号携带的信息量是多少?解:(1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是:bit p I 811.87log 2=-=(2) 此消息中平均每符号携带的信息量是:bit n I 951.145/811.87/==3.3 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ,求这个信源的熵,并解释为什么H(X) > log6不满足信源熵的极值性。
第二章习题参考答案2.2证明:l(X;Y|Z) H(X|Z) H(X|YZ) H (XZ) H (Z) H (XYZ) H(YZ)H(X) H(Z |X) H(Z) H(XY) H (Z | XY) H (Y) H(Z|Y) [H(X) H(Y) H(XY)] H(Z|X) H(Z) H (Z | XY) H(Z |Y) I(X;Y) H(Z|X) H(Z) H (Z | XY) H(Z | Y)0 H(Z) H(Z) H (Z | XY) H(Z) H(Z) H (Z | XY)1 H (Z) H (Z | XY),即 H(Z) 1 H (Z | XY) 又 H(Z) 1,H(Z |XY) 0,故 H(Z) 1,H (Z | XY) 0 同理,可推出H(X) 1;H(Y) 1;H (XYZ) H(XY) H (Z | XY) H(X) H (Y) H (Z | XY) 1 1 0 22.3 1) H(X)= 0.918 bit , H(Y) = 0.918 bit2) H(X|Y)2= bit H(Y|X)=2-bit , H(X|Z)= 3 2 —bit33) I(X;Y): =0.251 bit , H(XYZ)= =1.585 bit2.4证明:(1)根据熵的可加性,可直接得到,a k 1), H(Y) log(k 1),故原式得证2.5考虑如下系统:又 l(X;Y|Z) = H(X|Z) — H(X|YZ) = H(X|Z) = 1 bit1不妨设 P(Z=0) = P(Z=1)=2设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1 — p1~[ Plogp + (1 — p)log (1 — p)]-[qlogq + (1 — q)log(1 — q)] =11满足上式的p 、q 可取:p =; q =2.1 In2 xnatIOg 2bi tP(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1 — q⑵ Y 的值取自(31,32,假设输入X 、Y 是相互独立 的,则满足 I(X;Y) = 0则 H(X|Z)=•满足条件的一个联合分布:11 P(X=0, Y=0, Z=0)=4 P(X=1, Y=1, Z=0)=411 P(X=1, Y=1, Z=0)= 4P(X=1, Y=0, Z=1)=42.6 解:1 给出均匀分布p(x)—a x b 其中b a1,则 h(X) 0b a2.7 证明:l(X;Y;Z) = l(X;Y) — l(X;Y|Z)=I(X;Z) — I(X;Z|Y)•/ A, B 处理器独立,l(X;Z|Y) = 0••• l(X;Z) = I(X;Y) — I(X;Y|Z) W I(X;Y) 等号于p(x/yz) = p(x)下成立11 2.8 N=2 时, P(0 0) =, P(1 1)=—,其它为 022l( X ! ;X 2) = 1 bit N 工2时,l(X k1;X k |X 1 …X k 2) (3 W k)=P(X 「・・X k 2中有奇数个1) l(X k1;X k |X 「・・X k 2中有奇数个1) 1) l(X k1;X k |X 1…X k2中有偶数个1)1P(X 1…X k 2中有奇数个1)=-2 1P(X 1…X k 2中有偶数个1)=-2P(X k 1=1|X 1 - X k 2中有奇数个1P(X k1=0|X 1…X k 2中有奇数个1)=-2 1P(X k =1|X 1 - X k 2 中有奇数个 1)=-2 1P(X k =0|X 1…X k 2中有奇数个1)=-2 1P(X k 1=1|X 1 - X k 2 中有偶数个 1)=-+ P(X 1 - X k 2中有偶数个 1)=1(注意,这里k W N — 1)1 P(X k 1=0|X1- X k 2中有偶数个1)=-2P(X k=1|X「・X k2中有偶数个1)= (注意,这里k w N-1P(X k=O|X i…X k 2中有偶数个1)=-21P(X k 1=0, X k=0|X1- X k 2中有奇数个1)=—41P(X k 1=0, X k=1|X1 …X k 2 中有奇数个1)=-41P(X k 1=1, X k=0|X1- X k 2中有奇数个1)=-41P(X k 1=1, X k=1|X1 …X k 2 中有奇数个1)=-41P(X k 1=0, X k=0|X1 …X k 2 中有偶数个1)=-41P(X k1=O, X k=1|X1- X k 2中有偶数个1)=-41P(X k 1=1, X k=0|X1 …X k 2 中有偶数个1)=-41P(X k 1=1, X k=1|X1- X k 2中有偶数个1)=-4综上:l(X k1;X k|X1 …X k 2 中有奇数个1)(3w k w N -1)奇数个1)=H(X k 1|X1…X k 2中有奇数个1) + H(X k |X1…X k 2中有-H(X k 1;XJX1…X k 2中有奇数个1)=0l(X k1;X k|X1…X k 2中有偶数个1) = 0当 3 w k w N- 1 时,l(X k1;X k|X1 …X k 2) = 0当k = N时即l(X N 1 ;X N | X1 X N 2)=H(X N 1 |X 1 X N 2 )—H(X N 1 |X 1 X N 2 ,X N ) =1 bit2.91)实例如2.5题2)考虑随机变量X=Y=Z的情况1取P(X=0, Y=0, Z=0)=- P(X=1, Y=1, Z=1)= 则l(X;Y|Z) = 0I(X;Y) = 1 满足I(X;Y|Z)V I(X;Y)2.10 H(X Y) < H(X) + H(Y)等号在X 、Y 独立时取得满足H(X Y)取最大值2.11证明:p(xyz) p(x)p(y |x)p(z/y) l(X;Z|Y) 0,2.12证明:H (XYZ) H (XZ) H(Y | XZ) I (Y;Z |X) H(Y|X) H (Y | XZ) H (XYZ) H (XZ) H(Y|X) I(Y;Z|X)2.13证明:I(X;Y;Z) I(X;Y) I(X;Y|Z)H(X) H(X |Y) H(Y|Z) H (Y | XZ) H(X) H(X |Y) H(Y|Z) H(XYZ) H(XZ)H(XYZ) H(X |Y) H (Y|Z) H(Z|X) 而等式右边 H(XYZ)H(X) H (Y) H (Z)H (X) H (X |Y) H(Y) H(Y |Z) H(Z) H(Z | X) H (XYZ) H(X |Y) H (Y | Z) H (Z | X)故左式 右式,原式成立2.16证明:1卩心4)= 12 P( a2b2 )= 1 '24 P(a 3b 2)= 124P( a2b3)=P(a 3b 3)=1 24丄24I(X;Y) I(X;Y|Z) I(X;Y;Z) 故I (X ;Y ) I (X ;Y |Z )成立I(X;Z) I(X;Z|Y) I(X;Z) 02.15H(X)=1log(^)n=n (」)n = 2bitn 12 2222 121log(nat)1--P( a i b i )=3 - 1 P( a2b1)= 6 一 1 PGS)=- P(a 1b s )=2.14 P(X=n) = (2)n 1 1=(舟)"2 22 12 211E I(2PN (a k )尹N '(ak ),p(ak ))根据鉴别信息的凸性11 1 11(二 P N (aQ -P N '(a k ), p(a k )) -I (P N (a k ),P(aQ)二 1仇'何),p(aQ) 2 2 2 21 1 1 1又 E :l(P N (a k ), p(aQ) ; I 仇'何),p(aQ) 二 E l(P N (aQ, p(aQ) ; E I(P N '(aj p(aQ2 2 2 2而根据随机序列的平稳 性,有:1 1E -I (P N (a k ), p(a k )) T(P N ‘(a k ), p(aj)E I (P N (a k ), p(a k )) E I (P N '(a k ), p(a k )2 21 1E I (P 2N (a k ), p(a k )) E l(—P N (aQ - P N '(a k ), p(a k ))2 2R N (a k ) 1 2N 耐1^ a"二丄的概率为p k (丄),其中X 1X 2 2N 2NX N 中出现a k 的频 1 率为P N (a k )N N nW a k ) n 1 的概率为6中,X N 1X N 2X 2N 中出现a k 的 1 频率为P N '(a k)—N n2N l(X n N 1 n 2 N P N (a k )的概率为P k (晋),则有 1 F2N (a k )P N (ak ) 1 尹血)所以E 1 ( P2N (a k ),P(ak ))1 1E -I(P N(a k), p(a k)) -I(P N'(a k), P(aQ)2 2E l(P N(aJ p(a k))2-- log e2.17 解:2.18 I(P 2,P i ;X) l(q 2,q i ;X |Y)q 2(X k |y j )h 2(y j )log q2(xk |Yj)qm |y j )g,P i ;XY) P 2(xy) log P 2(xy))P 1(xy)dxdy ;P i (xy) g(x)h(y);其中 g(x)2x2 exP(1h(y) ------ 2 exp(2 yI(P 2,P I ;XY) p 2 (xy) log p 2(xy)dxdyg(x)h(y)1 、• •「2 / ---- JP 2(xy)log( ---- 2 )dxdy 2 loge P 2(xy) 12~~2(1 ) 2x~2 xxy2y_ 2 y2 x~2 x2y_ 2 ydxdy|(P I ,P 2;XY )1log( ---- 2)1 22(11log (------ 2)1 2 log e2E(X ) 22-E(Y )yE(XY)x yp 1(xy)log鷲dxdylog (〒丄诗)log e 2(1 2) 22-E(X )x22-E(Y )y-—E(XY)x yJ(P 2,P I ;XY) I(P 2,P I ;XY) I(P I , P 2;XY) 2--- log e当XY 满足P 1(xy)分布时,I (X;Y) 0; 当XY 满足P 2(xy)分布时,I (X ;Y) 1I(P 2,P 1;XY) log('12) P 2(xjlog P2"xk)P i (xQq 2(X k ,y j ) P 2(xQ q i (X k ,y j ) P i (X k )jP 2(x)h 2(y),且 q i (X k ,y j ) P i (xQh i (y j )时I(P 2,P i ;X) I(q 2,q i ;X |Y)q 2 (X k , y j ) log q i (X k ,y j ) P i (X k ) h i (y j )关系不定 2.19 解:天平有3种状态,即平衡,左重,左轻,所以每称一次消除的不确定性为Iog3, 12个一 一 1 1球中的不等重球(可较轻,也可较重)的不确定性为: loglog 24 因为3log312 2> log24••• 3次测量可以找出该球具体称法略。