下载文档原格式
判断30名词解释4*5计算3道20分第一章1、自信息和互信息P6 公式2、信道P9 概念第二章1、离散平稳信源P18概念2、离散无记忆信源P19概念3、时齐马尔可夫信源P20概念4、自信息P22概念5、信息熵P25概念6、信息熵的基本性质P281)对称性2)确定性3)非负性4)扩展性5)可加性6)强可加性7)递增性8)极值性9)上凸性7、联合熵条件熵P42公式P43例题8、马尔克夫信源P54公式P55例题9、信源剩余度P5810、熵的相对率信源剩余度P5811、课后作业：2、4、13、21、22第三章1、有记忆信道P73概念2、二元对称信道BSC P743、前向概率、后向概率、先验概率、后验概率P764、条件熵信道疑义度、平均互信息P775、平均互信息、联合熵、信道疑义度、噪声熵计算公式P786、损失熵噪声熵 P797、平均互信息的特性P821)非负性2)极值性3)交互性4)凸状性8、信息传输率R P869、无噪无损信道P87概念10、有噪无损信道P88概念11、对称离散信道 P89概念12、对称离散信道的信道容量P90公式张亚威2012/06/20张亚威2012/06/2116、 数据处理定理 P113定理 17、 信道剩余度 P118公式 18、 课后作业：1、 3、 9第五章1、 编码：实质上是对信源的原始符号按一定的数学规则进行的一种变换。
2、 等长码 P172概念3、 等长信源编码定理 P1784、 编码效率 P1805、 克拉夫特不等式 P1846、 香农第一定理 P1917、 码的剩余度 P194第六章1、 最大后验概率准则 最小错误概率准则 P2002、 最大似然译码准则 P2013、 费诺不等式 P2024、 信息传输率（码率） P2055、 香农第二定理 P2156、 课后习题 3、第八章1、 霍夫曼码 最佳码 P2732、 费诺码 P2793、 课后习题 11、第八章1、 编码原则 译码原则 P3072、 定理9.1 P3133、 分组码的码率 P314公式4、 课后习题 3、一、 填空题1、 在现代通信系统中，信源编码主要用于解决信息传输中的 有效性 ，信道编码主要用于解决信息传输中的 可靠性 ，加密编码主要用于解决信息传输中的 安全性 。
第一章 绪论1、什么是信息？香农对于信息是如何定义的。
答：信息是事物运动状态或存在方式的不确定性的描述(Information is a measure of one's freedom of choice when one selects a message )。
2、简述通信系统模型的组成及各部分的含义。
答：（1）、信源：信源是产生消息的源。
信源产生信息的速率---熵率。
（2）、编码器：编码器是将消息变成适合于信道传送的信号的设备。
包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。
（3）、信道：信道是信息传输和存储的媒介。
（4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。
（5）、信宿：信宿是消息的接收者（人或机器）。
3、简述香农信息论的核心及其特点。
答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。
（2）、特点：①、以概率论、随机过程为基本研究工具。
②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。
③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。
④、要求信源为随机过程，不研究信宿。
第二章 信息的度量2.1 自信息和互信息1、自信息（量）：（1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。
某个消息i x 出现的不确定性的大小定义为自信息，用这个消息出现的概率的对数的负值来表示： （2）、性质：①、()i x I是()i x p 的严格递减函数。
当()()21x p x p <时()()21x I x I >概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。
()()()i i i x p x p x I 1loglog =-=②、极限情况下，当()0=i x p 时()∞→i x I ；当()1=i x p 时，()0→i x I 。
I□离散信源的不肯定程度表示某些随机事件是否会发生。
2□离散信源的不肯定性表示信源某时刻发不发送信源符号不能肯定。
3□离散信源的不肯定性表示信源某时刻发送某个信源符号的概率大小不能肯定。
4□离散信源的不肯定性表示信源某时刻发送哪个信源符号是不能绝对肯定的。
5□离散信源的不肯定程度表示某些随机事件是否会发生的难易程度。
6□不肯定程度仅与离散信源概率空间的状态数有关。
7□不肯定程度仅与离散信源概率空间的概率分布有关。
8□不肯定程度与离散信源概率空间的状态数及概率分布有关。
9□离散信源概率空间的概率分布差别越大时不肯定程度也越大。
10□离散信源概率空间的概率分布差别越小时不肯定程度就越大。
II□离散信源概率空间的概率分布为等概时不肯定程度最大。
12 □不肯定度用取对数的度量方法是因为不这样定义是错的。
13□不肯定度用取对数的度量方法是因为其符合人对信息量的直观理解。
14 □信息的多少定义为信息量。
15□信息量定义为不肯定程度的减小量。
16□先验概率分布和后验概率分布分别表示信源发送消息前后的概率分布。
17□先验概率分布和后验概率分布分别表示收信者收到消息前后的概率分布。
18 □信源输出所有消息的量叫做信源熵。
19□信源输出一个消息所提供的信息量叫做信源熵。
20□信源输出所有消息所提供的总的信息量叫做信源熵。
21口信源输出一个消息所提供的平均信息量叫做信源熵。
22口信源的不肯定度叫做信源熵。
23□离散信源熵不可能为负数。
24□信源如发送错误消息则其输出的熵为负数。
25□二元联合信源的共熵一定小于每个单独信源熵的和。
26□二元联合信源的共熵小于或等于每个单独信源熵的和。
27□二元联合信源的共熵有可能等于每个单独信源熵的和。
28□—个离散信源输出的符号前后无相关性时表示该信源无剩余。
29□—个离散信源输出的符号前后有相关性时其熵将减少。
30□—个离散信源输出的符号前后有相关性时表示该信源有剩余。
31□条件熵永远小于无条件熵。
