下载文档原格式
信息论复习提纲第一章1、信息的概念。
信息是事物运动状态或存在方式的不确定性的描述。
2、信息论的研究对象、研究目的。
对象：通信系统模型。
目的：找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。
3、通信系统模型的组成，及各部分的功能（1）信息源：产生消息的源，消息可以是文字，语言，图像。
可以离散，可以连续。
随机发生。
（2）编码器：信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性（3）信道：信号从发端传到收端的介质（4）译码器：译码就是把信道输出（已叠加了干扰）的编码信号进行反变换。
（5）信宿：信宿是消息传送的对象，即接受消息的人或机器。
（6）干扰源：系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要研究的是统计特性。
4、消息，信号，信息三者之间的关系信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
信号---则是抽象信息在物理层表达的外延；消息---则是抽象信息在数学层表达的外延第二章1、信源的分类，着重单符号信源。
信源的概率空间的构成形式。
单消息（符号）信源，离散信源，连续变量信源，平稳信源，无/有记忆信源，马尔可夫信源，随机波形信源。
单消息（符号）信源：单消息（符号）信源－－离散信源单消息（符号）信源－－连续信源2、自信息的计算及物理含义，单位与底数的关系，含义。
计算：含义：当事件ai发生以前，表示事件ai发生的不确定性当事件ai发生以后表示事件ai所含有（所提供）的信息量单位与底数的关系：通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便，这时单位为哈特（Hart）。
它们之间可以引用对数换底公式进行互换。
复习提纲第一章概述提纲：I.什么是信息II.什么是信息论需掌握的问题：1.信息的定义是什么（有通俗定义、广义定义、Shannon信息论定义）2.它们三个定义的区别3.什么是信息论，它研究范围的是什么4.狭义信息论的研究内容5.画出通信系统模型图，并说明每一部分的作用。
第二、三章信源熵提纲：I.信源的数学模型及分类II.自信息量III.互信息量IV.熵1.定义2.含义3.联合熵、条件熵4.性质（9个）V.平均互信息1.定义2.含义3.联合平均互信息、条件平均互信息4.性质（6个）VI.离散信源的数学模型及分类1.随机过程介绍2.数学模型3.分类VII.无记忆多符号离散平稳信源VIII.马尔可夫信源1.m阶马尔可夫信源2.含义IX.信源相关性和冗余度1.信源冗余度2.熵的相对率需掌握的问题：1.信源的数学模型是什么2.信源如何分类，不同信源类别的区别是什么3.不同类别信源的数学描述是什么4.自信息量的大小如何计算（公式）5.自信息量公式中对数的底数不同单位分别是什么（单位的中英文名称）6.自信息量的含义是什么（它是对什么量的度量）7.联合自信息量、条件自信息量、自信息量之间的关系是什么8.自信息的性质是什么说明各个性质的含义。
9.互信息量的大小如何计算（公式）10.互信息量的含义是什么互信息量在通信系统模型中描述哪部分的信息量11.联合互信息量、条件互信息量、互信息量之间的关系是什么12.互信息的性质是什么13.熵的表达式是什么怎么推导的14.熵的单位是什么15.熵的含义是什么16.单符号离散信源最大熵是多少信源概率如何分布时能达到17.熵的性质是什么（能够证明，并说明每个性质的含义）18.联合熵、条件熵和熵的关系。
19.平均互信息的定义是什么平均互信息的表达式怎么推导20.信道疑义度、损失熵和噪声熵的含义21.平均互信息的性质（能够证明，并说明每个性质的含义）22.联合平均互信息、条件平均互信息和平均互信息的关系23.自信息量、熵、互信息、平均互信息之间的关系24.离散信源的数学模型如何描述25.离散信源如何分类26.无记忆多符号离散平稳信源的熵如何计算27.有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵的关系和性质。
第二章知识要点： 1．自信息量：(),)log ()i i i i p x p x =-设事件x 的概率为那么，他的自信息定义为I(x上定义式取对数的底为2，信息量的单位为比特 (bit); 上定义式取对数的底为e ，信息量的单位为奈特 (nat);上定义式取对数的底为10，信息量的单位为哈脱来(haitely---hat)。
2．互信息量：(|)(;)log ()11loglog()(|)i j i j i i i j p x y I x y p x p x p x y ==-3．平均自信息量（熵）1()[()][log ()]()log ()qi i i i i H X E I x E p x p x p x ===-=-∑3’.熵函数：12121X ,,...,()()(,,...,)log q qq i ii p p p H X H p H p p p p p ===-∑因为随机变量集的熵H(X)只是其概率分布的函数，所以熵函数又可记为4．条件熵：(|)()(|)()log (|)XYXYH Y X p xy I y x p xy p y x ==-∑∑5．联合熵(,)()()()log ()i j i j XYi j i j XYH X Y p x y I x y p x y p x y ==-∑∑6．平均互信息量(;)()(;)(|)()log()()(;)j j Yi j i j XYi i j i j XYI X Y p y I X y p x y p x y p x p x y I x y ===∑∑∑2.9 如有6行8列的棋型方格，若有2个质点A 和B ，分别以等概率落入任一方格内，且它们的坐标分别为(X A ，Y A )、(X B ，Y B )，但A ，B 不能落入同一方格内。
试求： (1)若仅有质点A ，求A 落入任一个方格的平均自信息量是多少? (2)若已知A 已人，求B 落人的平均自信息量。
书中：1.信息科学，材料科学，能源科学仪器被称为当代的“三大支柱”。
2.带宽与数据传输速率信道带宽与数据传输速率的关系可以奈奎斯特(Nyquist)准则与香农(Shanon)定律描述。
奈奎斯特准则指出：如果间隔为π/ω(ω=2πf),通过理想通信信道传输窄脉冲信号，则前后码元之间不产生相互窜扰。
因此，对于二进制数据信号的最大数据传输速率Rmax 与通信信道带宽B （B=f,单位Hz)的关系可以写为：Rmax ＝2.f(bps)；对于二进制数据若信道带宽B=f=3000Hz ，则最大数据传输速率为6000bps 。
香农定理则描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信噪比之间的关系。
香农定理指出：在有随机热噪声的信道上传输数据信号时，数据传输速率Rmax 与信道带宽B 、信噪比S/N 的关系为： Rmax ＝B.log2(1+S/N)3.自信息量的性质：非负性、必然事件信息量为0、不可能事件信息量为无穷、信息量是概率的单调递减函数。
4.当X 和Y 相互独立时，互信息为0.5.信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。
6信源熵H(X)与信息率R 和信道容量C 的关系：不论何种信道，只要信息率R 小鱼信道容量C ，总能找到一种编码，能在信道上以任意小的错误概率和任意接近于C 的传输率来传送信息。
反之，若R>C,则传输总要产生失真。
又由无失真信源编码定理可知，要做到几乎无失真信源编码，信息率R 必须大于信源熵H （X ）。
故三者的关系为：H(x)<=R<=C7.保真度准则下的信源编码定理：即译码平均失真度大于允许失真度。
8.香农三个基本编码定理：无失真信源编码定理、信道编码定理和限失真信源编码定理。
三个基本概念：信源熵、信道容量和信息率失真函数。
9.信源编码、信道编码和安全编码信源编码是以提高通信有效性为目的的编码。
通常通过压缩信源的沉余度来实现。
第一章 绪论1、什么是信息？香农对于信息是如何定义的。
答：信息是事物运动状态或存在方式的不确定性的描述(Information is a measure of one's freedom of choice when one selects a message )。
2、简述通信系统模型的组成及各部分的含义。
答：（1）、信源：信源是产生消息的源。
信源产生信息的速率---熵率。
（2）、编码器：编码器是将消息变成适合于信道传送的信号的设备。
包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。
（3）、信道：信道是信息传输和存储的媒介。
（4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。
（5）、信宿：信宿是消息的接收者（人或机器）。
3、简述香农信息论的核心及其特点。
答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。
（2）、特点：①、以概率论、随机过程为基本研究工具。
②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。
③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。
④、要求信源为随机过程，不研究信宿。
第二章 信息的度量2.1 自信息和互信息1、自信息（量）：（1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。
某个消息i x 出现的不确定性的大小定义为自信息，用这个消息出现的概率的对数的负值来表示： （2）、性质：①、()i x I是()i x p 的严格递减函数。
当()()21x p x p <时()()21x I x I >概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。
()()()i i i x p x p x I 1loglog =-=②、极限情况下，当()0=i x p 时()∞→i x I ；当()1=i x p 时，()0→i x I 。
第一章
1、信息的概念。
信息是事物运动状态或存在方式的不确定性的描述。
2、信息论的研究对象、研究目的。
对象：通信系统模型。
目的：找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。
3、通信系统模型的组成，及各部分的功能
（1）信息源：产生消息的源，消息可以是文字，语言，图像。
可以离散，可以连续。
随机发生。
（2）编码器：
信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性
信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性（3）信道：信号从发端传到收端的介质
（4）译码器：译码就是把信道输出（已叠加了干扰）的编码信号进行反变换。
（5）信宿：信宿是消息传送的对象，即接受消息的人或机器。
（6）干扰源：系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要研究的是统计特性。
4、消息，信号，信息三者之间的关系
信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
信号---则是抽象信息在物理层表达的外延；
消息---则是抽象信息在数学层表达的外延
第二章
1、信源的分类，着重单符号信源。
信源的概率空间的构成形式。
单消息（符号）信源，离散信源，连续变量信源，平稳信源，无/有记忆信源，马尔可夫信源，随机波形信源。
单消息（符号）信源：
单消息（符号）信源－－离散信源
单消息（符号）信源－－连续信源
2、自信息的计算及物理含义，单位与底数的关系，含义。
计算：
含义：当事件ai发生以前，表示事件ai发生的不确定性
当事件ai发生以后表示事件ai所含有（所提供）的信息量
单位与底数的关系：
通信与信息中最常用的是以2为底，这时单位为比特（bit）；
理论推导中用以e为底较方便，这时单位为奈特（Nat）；
工程上用以10为底较方便，这时单位为哈特（Hart）。
它们之间可以引用对数换底公式进行互换。
比如：
1 bit = 0.693 Nat = 0.301 Hart
3、互信息的计算。
ex ：设信源发出消息，通过信道后信宿收到，则互信息量的表达式
4、 离散单符号信源熵的计算，注意单位，熵的物理含义。
计算：
单位：（Bit/符号） 物理含义：
熵是随机变量的随机性的描述。
熵是信源输出消息前随机变量平均不确定性的描述
信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量
5、信源熵的性质，着重非负性(会证明)，对称性，最大离散熵定理，强可加性，上凸性。
(1) 非负性 证明一：
而：
故： （取底数大于1时） 所以：
证明二：
有： 或： 所以：
(2) 对称性
① 定义：当变量p(x1),p(x2),…,p(xn) 的顺序任意互换时，熵函数的值不变，即
② 含义：该性质说明熵只与随机变量的总体结构有关，与信源的总体统计特性有关。
如果某些信源的统计特性相同（含有的符号数和概率分布相同），那么这些信源的熵就相同。
(3) 最大离散熵定理
定理：离散无记忆信源输出N 个不同的信息符号，当且仅当各个符号出现概率相等时(即p(xi)=1/N)，熵最大。
H[p(x1),p(x2),…,p(xN) ]≤H(1/N,1/N,…,1/N)=log2N
结论：出现任何一个符号的可能性相等时，信源的平均不确定性最大。
∑
=-=N
n n
n N p p p p p H 121log ),...,,(∑=-=N
n
n n N p p p p p H 1
21log ),...,,(1
0≤≤n
p 0
log ≤n p 0)(≥P H 101>>>∀x x 1log
-≤x x x
x
-≥1log 10
)1(log )(1
1
1≥-≥=∑
∑==n N
n n p N n n p p p P H n
(4) 扩展性 (5) 确定性 (6) 可加性
H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y)
(7) 上凸性
设有一个多元矢量函数 f(x1,x2,…,xn)=f(X )，对任一小于1的正数α(0＜α＜1)及f 的定义域中任意两个矢量X ,Y ，
若f[αX +(1-α)Y ]＞αf(X )+(1-α)f(Y )，则称f 为严格上凸函数。
设P ,Q 为两组归一的概率矢量：
P =[p(x1),p(x2), …,p(xn)]，Q=[p(y1),p(y2), …,p(yn)]
0≤p(xi)≤1，0≤p(yi)≤1，
有：
H[αP +(1-α)Q ]＞αH(P )+(1-α)H(Q )
6、什么是离散无记忆信源X 的N 次扩展信源？扩展信源的符号个数
定义：一个离散无记忆信源X ，其样本空间为{a1,a2,…,aq}，信源输出的消息可以用一组组长度为N 的序列表示。
此时信源X 可等效成一个新信源XN=（X1,X2,…,XN ），其中的每个分量Xi 都是随机变量，都取于X ，分量之间统计独立，这样的新信源就是离散无记忆信源X 的N 次扩展信源。
结论：离散无记忆信源X 的N 次扩展信源的熵等于离散信源x 的熵的N 倍。
7、某一二维离散无记忆平稳信源：
联合概率：
8、联合熵，条件熵之间的关系： H(X1X2) = H(X1)+ H(X2/X1)
)()(X NH X H N =⎥
⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)(),(),(,,
)(2121q q a P a P a P a a a x P X )(j i a a P ∑∑
==-=q i q
j j i j i a a P a a P X X H 112
1)(log )()(
⏹求联合熵H(X1X2)
⏹求条件熵H(X2/X1)
9、剩余度与信源输出的符号序列的依赖程度之间的关系。
信源编码是通过减小剩余度来提高有效性的。
剩余度可以衡量信源输出序列中符号间的依赖程度，也表明了信源可压缩的程度。
剩余度r越大，表示信源的实际熵越小，即表明信源符号间的依赖关系越强。
第三章 离散信道
1、信道的分类，着重单符号信道，离散信道，无噪信道，N 次扩展信道 (1) 根据输入、输出端用户的个数
单用户信道——输入、输端出均只有一个用户
多用户信道——输入、输出端至少有一端包含两个以上用户
(2) 根据输入、输出端的关联
无反馈信道——输出端无信号反馈到输入端 反馈信道 ——输出端的信号反馈到输入端
(3) 根据信道的参数与时间的关系
固定参数信道——参数不随时间变化而改变 时变参数信道——参数随时间变化而变化
(4) 根据输入、输出随机变量的个数
单符号信道——输入、输出均用随机变量表示 多符号信道——输入、输出用随机矢量表示
(5)根据输入、输出随机信号特点
离散信道——输入、输出随机序列均离散取值 连续信道——输入、输出随机序列均连续取值 半离散(连续)信道——一为离散，另一为连续
2、信道的三种数学模型：图示法，信道矩阵法
3、单符号离散信道的传递概率；二元对称信道、二元删除的数学模型，传递概率矩阵的特点。
概率：
模型：
二者共同描述一个二维离散平稳信源。
X Y ]
),(,[Y x y P X
)()()(i j i j a b P a x b y P x y P ====信道
特点：
传递矩阵中每一行之和等于1。
4、单符号离散信道的各概率关系
5、信道疑义度的计算，平均互信息的计算，及平均互信息与各熵之间的关系（数
学公式和图示两种描述），平均互信息的物理含义
信道疑义度
平均互信息与各熵之间的关系
I(X;Y)=H(X)-H(X/Y) =H(X)+H(Y)-H(XY) =H(Y)-H(Y/X)
平均互信息的物理含义
①观察者站在输出端
②观察者站在输入端
③观察者站在通信系统总体立场上
6、无噪无损信道，全损信道的平均互信息的取值，信道的输入输出信源的熵值
7、平均互信息的性质
②对称性
I(X;Y)= I(Y;X)
②非负性
即I(X;Y)≥0，当且仅当X和Y相互独立，即p(x i y j)= p(x i) p(y j)
I(X;Y)=0
③极值性
I(X;Y)≤H(X) I(Y;X)≤H(Y)
③凸函数性
平均互信息量I(X;Y)是输入信源概率分布p(xi)的上凸函数
平均互信息量I(X;Y)是输入转移概率分布p(yj /xi)的下凸函数
8、信道容量的与平均互信息的关系。
信道的信息传输率R(信道中平均每个符号所能传送的信息量)：就是平均互信息 R=I(X;Y)。
9、无噪无损信道，有噪无损信道，无噪有损信道的信道容量的计算。
10、会判断强对称离散信道，对称离散信道，并会计算其信道容量。
