信息论与编码复习

“信息论与编码”总复习1．消息、信号、信息的含义、定义及区别。

信息是指各个事物运动的状态及状态变化的方式。

消息是指包含信息的语言，文字和图像等。

信号是消息的物理体现。

消息是信息的数学载体、信号是信息的物理载体信号：具体的、物理的消息：具体的、非物理的信息：非具体的、非物理的同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。

同样，同一类型信号或消息也可以代表不同内容的信息2．信息的特征与分类。

1接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容；2信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；3信息可以产生，也可以消失，同时信息可以被携带，被存储及处理；4信息是可以量度的，信息量有多少的差别。

3．狭义信息论、广义信息论、一般信息论研究的领域。

狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。

它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。

广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。

包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪声理论，信号的检测与估值等。

概率信息：信息表征信源的不定度，但它不等同于不定度，而是为了消除一定的不定度必须获得与此不定度相等的信息量4．信息论的起源、历史与发展。

⏹1924年，Nyquist提出信息传输理论；⏹1928年，Hartly提出信息量关系；⏹1932年，Morse发明电报编码；⏹1946年，柯切尼柯夫提出信号检测理论；⏹1948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。

5．通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。

第1章 概论1. 信号(适合信道传输的物理量）、信息（抽象的意识/知识，是系统传输、转换、处理的对象）和消息(信息的载体)定义；相互关系：(1信号携带消息，是消息的运载工具(2信号携带信息但不是信息本身(3同一信息可用不同的信号来表示(4同一信号也可表示不同的信息。

2. 通信的系统模型及目的:提高信息系统可靠性、有效性和安全性，以达到系统最优化.第2章 信源及信息量1. 单符号离散信源数学模型2. 自信息量定义：一随机事件发生某一结果时带来的信息量I(xi)=- log2P(xi)、单位：bit 、物理意义：确定事件信息量为0；0概率事件发生信息量巨大、性质：I(xi)非负；P(xi)=1时I(xi)=0；P(xi)=0时I(xi)无穷；I(xi)单调递减；I(xi)是随机变量。

3. 联合自信息量：I(xiyi)=- log2P(xiyj) 物理意义：两独立事件同时发生的信息量=各自发生的信息量的和、条件自信息量：I(xi/yi)=- log2P(xi/yj)；物理意义：特定条件下(yj 已定)随机事件xi 所带来的信息量。

三者关系：I(xi/yi)= I(xi)+ I(yi/xi)= I(yi)+ I(xi/yi)4. 熵：定义(信源中离散消息自信息量的数学期望)、单位(比特/符号)、物理意义(输出消息后每个离散消息提供的平均信息量；输出消息前信源的平均不确定度；变量的随机性)、计算:(H(X)=-∑P(xi)log2 P(xi)) 1)连续熵和离散的区别：离散熵是非负的2)离散信源当且仅当各消息P 相等时信息熵最大H (X )=log 2 n 。

3)连续信源的最大熵:定义域内的极值.5.条件熵H(Y/X) = -∑∑P(xiyj) log2P(yj/xi)，H (X /Y )= -∑∑P(xiyj) log2P(xi/yj) 、物理意义：信道疑义度H(X/Y)：信宿收到Y 后，信源X 仍存在的不确定度，有噪信道传输引起信息量的损失，也称损失熵。

1、通信系统模型的组成，及各部分的功能。

答：信源，产生消息的源，消息可以是文字，语言，图像。

可以离散，可以连续。

随机发生。

编码器，信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性。

信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性。

调制器：将信道编码输出变成适合信道传输的方式信道，信号从发端传到收端的介质干扰源，系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声译码器，编码器的逆变换信宿，信息的接收者2、消息，信号，信息三者之间的关系答：关系：信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。

信号---则是抽象信息在物理层表达的外延；消息---则是抽象信息在数学层表达的外延。

3、信源的分类答：分类：单消息（符号）信源：离散信源；连续变量信源。

平稳信源。

无/有记忆信源。

马尔可夫信源。

随机波形信源。

离散信源：信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息。

可以用一维离散型随机变量X来描述这个信源输出的消息。

这个随机变量X的样本空间就是符号集A；而X的概率分布就是各消息出现的先验概率，信源的概率空间必定是一个完备集。

连续变量信源：数据取值是连续的，但又是随机的。

可用一维的连续型随机变量X来描述这些消息。

这种信源称为连续信源，其数学模型是连续型的概率空间：4、自信息的含义：当事件ai发生以前，表示事件ai发生的不确定性，当事件ai发生以后表示事件ai所含有（所提供）的信息量。

5、互信息含义：信源发送消息ai,而由于干扰，在接收端收到的为消息bj ，此时获得的信息量——互信息，即最初的不确定性减去尚存在的不确定性。

6、离散单符号信源熵的物理含义：熵是随机变量的随机性的描述。

熵是信源输出消息前随机变量平均不确定性的描述。

信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量。

一、填空题1. 设信源X 包含4个不同离散消息，当且仅当X 中各个消息出现的概率为___1/4___时，信源熵达到最大值，为__2__，此时各个消息的自信息量为__2 __。

2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3____个随机错，最多能纠正__1____个随机错。

3.克劳夫特不等式是唯一可译码___存在___的充要条件。

4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是___(X;Y)=H(X)-H(X/Y )___。

5._信源___提高通信的有效性，_信道____目的是提高通信的可靠性，_加密__编码的目的是保证通信的安全性。

6.信源编码的目的是提高通信的 有效性 ，信道编码的目的是提高通信的 可靠性 ，加密编码的目的是保证通信的 安全性 。

7.设信源X 包含8个不同离散消息，当且仅当X 中各个消息出现的概率为__1/8__时，信源熵达到最大值，为___3____。

8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_小___。

9.信源的冗余度来自两个方面，一是信源符号之间的__相关性__，二是信源符号分布的__不均匀性__。

10.最大后验概率译码指的是 译码器要在已知r 的条件下找出可能性最大的发码 作为译码估值 ，即令 =maxP( |r)_ __。

11.常用的检纠错方法有__前向纠错___、反馈重发和混合纠错三种。

二、单项选择题1.下面表达式中正确的是（A ）。

A.∑=j i j x y p 1)/( B.∑=i i j x y p 1)/( C.∑=j j j iy y x p )(),(ω D.∑=ii j i x q y x p )(),( 2.彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。

1第1章 概论1. 信号(适合信道传输的物理量）、信息（抽象的意识/知识，是系统传输、转换、处理的对象）和消息(信息的载体)定义；相互关系：(1信号携带消息，是消息的运载工具(2信号携带信息但不是信息本身(3同一信息可用不同的信号来表示(4同一信号也可表示不同的信息。

2. 通信的系统模型及目的:提高信息系统可靠性、有效性和安全性，以达到系统最优化.第2章 信源及信息量1. 单符号离散信源数学模型2. 自信息量定义：一随机事件发生某一结果时带来的信息量I(xi)=-log2P(xi)、单位：bit 、物理意义：确定事件信息量为0；0概率事件发生信息量巨大、性质：I(xi)非负；P(xi)=1时I(xi)=0；P(xi)=0时I(xi)无穷；I(xi)单调递减；I(xi)是随机变量。

3. 联合自信息量：I(xiyi)=- log2P(xiyj) 物理意义：两独立事件同时发生的信息量=各自发生的信息量的和、条件自信息量：I(xi/yi)=- log2P(xi/yj)；物理意义：特定条件下(yj 已定)随机事件xi 所带来的信息量。

三者关系：I(xi/yi)= I(xi)+ I(yi/xi)= I(yi)+ I(xi/yi)4. 熵：定义(信源中离散消息自信息量的数学期望)、单位(比特/符号)、物理意义(输出消息后每个离散消息提供的平均信息量；输出消息前信源的平均不确定度；变量的随机性)、计算:(H(X)=-∑P(xi)log2 P(xi)) 1)连续熵和离散的区别：离散熵是非负的2)离散信源当且仅当各消息P相等时信息熵最大H (X )=log 2 n 。

3)连续信源的最大熵:定义域内的极值. 5.条件熵H(Y/X) = -∑∑P(xiyj) log2P(yj/xi)，H (X /Y )= -∑∑P(xiyj) log2P(xi/yj) 、物理意义：信道疑义度H(X/Y)：信宿收到Y 后，信源X 仍存在的不确定度，有噪信道传输引起信息量的损失，也称损失熵。

信息论与编码复习
去年考点（部分）：
简答题：香农第一定理P106、香农第二定理P141
计算题：马尔可夫信源P37、香农编码P110、霍夫曼编码P111、费诺编码P115、平均错误概率P131(例6.3)、例5.10。

重点：
第二章：本章为基础性内容，主要是理解专业词语的含义，记住公式，可参考笔记。

第三章：
重点3.3节，特别是马尔可夫信源P37~P40，会画状态转移图，会求状态转移概率矩阵(例3.5 P38、例3.6 P40）。

第四章：
各种信道容量的计算P58（例4.1、4.2、4.3）、离散对称信道的判别和信道容量计算P61~P64。

第五章：
定长码、码的分类P91、定长码及定长编码定理P94、编码效率P97、Kraft和McMillan不等式、唯一可译码存在条件P100、编码效率及剩余度P108、变长码编码（例 5.5 P108、例5.6 P110、例5.7 P112、例5.8 P115、例5.9 P116）。

第六章：
最大后验概率译码准则、极大似然译码规则P131、平均错误概率P131（例6.3 P131）、编码效率P150、线性分组码P150（例6.6 、6.7、6.8 P154、例5.10 P161）。