信息论期末总结

 消息中包含信息，消息是信息的载体。

信息：信息是对事物运动状态或存在方式的不确定性的描述。

 通信的过程就是消除不确定性的过程。

 信息与概率的关系：

 事件发生的概率越大，该事件包含的信息量越小；

 如果一个事件发生的概率为1，那么它包含的信息量为0；



两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。



某个消息的不确定性（含有的信息量）可以表示为：

 信源的平均不确定性：

 信源发出的消息的统计特性

 离散信源、连续信源、波形信源

 有记忆信源和无记忆信源

 平稳信源和非平稳信源

 编码器的功能：将消息变成适合信道传输的信号

 编码器包括：（1）信源编码器（2）信道编码器（3）调制器

 信源编码器：去除信源消息中的冗余度，提高传输的有效性

 信道编码器：将信源编码后的符号加上冗余符号，提高传输的可靠性。

 调制器：

功能：将信道编码后的符号变成适合信道传输的信号

目的： 提高传输效率

 信道的统计特性

无噪声信道、有噪声信道

离散信道、连续信道、波形信道

有记忆信道和无记忆信道

恒参信道（平稳信道）和随参信道（非平稳信道）

单用户信道和多用户信道

 信道传输信息的最高速率：信道容量

 译码器的功能：从接收到的信号中恢复消息。

包括：（1）解调器（2）信道译码器（3）信源译码器

 提高有效性： （数据压缩）

信源编码：无失真信源编码和限失真信源编码

 提高可靠性： （可靠传输）

信道编码

 香农第一定理： 如果编码后的信源序列的编码信息率不小于信源的熵，那么一定存在一种无失真信源编码方法；否则，不存在这样的一种无失真信源编码方法。 1()loglog()()iiiIxpxpxqiiixpxpXH1)(log)()(

 香农第二定理：如果信道的信息传输率小于信道容量，那么总可以找到一种编码方式，使得当编码序列足够长时传输差错任意小；否则，不存在使差错任意小的信道编码方式。

 香农第三定理：对于任意的失真度

，只要码字足够长，那么总可以找到一种编码方法，使编码后的编码信息率

，而码的平均失真度 。

 公理性条件：

(1) 如果p(x1) < p(x2)，则I(x1) > I(x2)， I(xi )是 p(xi) 的单调递减函数；

(2) 如果p(xi)=0，则I(xi ) → ∞ ; 如果p(xi)=1，则I(xi ) =0 ;

(3)由两个相对独立的事件所提供的信息量，应等于它们分别提供的信息量之和： I(xi

yj)=I(xi )+I(yj)

 自信息可以从两个方面来理解：

自信息是事件发生前，事件发生的不确定性。

自信息表示事件发生后，事件所包含的信息量。

 先验概率：信源发出消息 的概率 。

 后验概率：信宿收到消息 后推测信源发出 的概率，即条件概率

。



 互信息有两方面的含义：

 表示事件 出现前后关于事件 的不确定性减少的量；

 事件 出现以后信宿获得的关于事件 的信息量。

 观察者站在输出端

I(xi;yj)=logp(xi|yj)–logp(xi)=I (xi) – I(xi|yj)

 观察者站在输入端

I(yj; xi)=logp(yj | xi)–logp(yj)=I (yj) – I(yj | xi)

 当后验概率大于先验概率时，互信息为正。

当后验概率小于先验概率时，互信息为负。

当后验概率与先验概率相等时，互信息为零。

任何两个事件之间的互信息不可能大于其中任一事件的自信息

 例6：居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占总数一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？

 例7：已知信源发出 和 两种消息，且 。此消息在二进制对称信道上传输，信道传输特性为

 求互信息量 和 。

 自信息是一个随机变量：自信息是指信源发出的某一消息所含有的信息量。不同的消息，它们所含有的信息量也就不同。

 平均自信息（信息熵/信源熵/香农熵/无条件熵/熵函数/熵）

例2：一信源有6种输出符号，概率分别为P(A)=0.5， P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，

P(F)=0.025。 0D()RDdDix()ipxjyix(|)ijpxy(;)()(|)log()log(|)(1,2,,;1,2,,)(|)log()ijiijiijijiIxyIxIxypxpxyinjmpxypxjyixjyix1()[()][log()]()log()niiiiiHXEIxEpxpxpx121()()2papa11221221(|)(|)1,(|)(|)pbapbapbapba)(1;1baI12;Iab

1)计算H(X)。

2)求符号序列ABABBA和FDDFDF的信息量，并将之与6位符号的信息量期望值相比较。

递增性（递推性)

 例4 ：利用递推性计算熵函数 H(1/3，1/3，1/6，1/6)的值

 极值性（最大离散熵定理）

定理： 离散无记忆信源输出n个不同的信息符号，当且仅当各个符号出现概率相等时(即 )，熵最大，即

定义2.4 随机变量X和Y的联合分布为p(xiyj)，则这两个随机变量的联合熵定义为：

联合熵表示对于二维随机变量的平均不确定性。

定义2.5 随机变量X和Y的条件熵定义为：

条件熵表示已知一个随机变量时，对另一个随机变量的平均不确定性。

例6： 已知 联合概率分布如下，求：H(XY)，H(X), H(Y), H(Y|X), H(X|Y)。

各种熵之间的关系

• H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)

• H(X|Y)H(X)，H(Y|X)H(Y)

• H(XY)H(X)+H(Y)

若X与Y统计独立，则H(XY)=H(X)+H(Y)

 平均互信息的概念

12112121211(,,,,,,,)(,,,)(,,)1,nmmnnnnnnmijnijHpppqqqqqqHppppHppppqp其中：12111(,,...,)(,,...,)lognHpppHnnnn1ipnnimjjijiyxpyxpXYH11)(log)()(ijijjiyxpyxpYXH)|(log)()|(iijjjixypyxpXYH)|(log)()|(005.00010.005.000010.005.000030.010.000025.0543214321xxxxxyyyy0.250.400.150.150.050.350.350.200.10(;)()(|)()(|)()()()IXYHXHXYHYHYXHXHYHXY

平均互信息和各类熵的关系:

I(X;Y)=H(X)-H(X|Y)=H(Y)H(Y|X)=H(X)+H(Y)H(XY)

X, Y 互相独立时

定义2：随机变量序列中，对前N个随机变量的联合熵求平均称为平均符号熵

如果当 时上式极限存在，则 被称为熵率，或极限熵，记为

 离散平稳无记忆信源的N次扩展信源的熵等于离散单符号信源熵的N倍：

对于马氏链 符号间相关性越大，熵越小。

 熵的相对率

 信道的数学模型为{X, P(Y|X),Y}

二元对称信道输入符号集A={0,1}, 输出符号集B={0,1}，r＝s＝2．传递概率：

二元删除信道输入符号集A={0,1}，符号输出集B={0,?,1}，r=2, s=3

 平均互信息：

例3：求二元删除信道的

已知

信道容量

例4 以二元对称信道。信源的概率空间为

信道矩阵为 求信道容量？

一个输入对应多个输出

一个输出对应多个输入

输入、输出之间有确定的一一对应关系。

定义1 ： 若信道矩阵P中每行都是第一行的排列，则称此信道是行对称信道。

定义2：若信道矩阵中每行都是第一行的排列，并且每列都是第一列的排列， 则称之为对称信道。 121()()NNHHXXXNXNlim()NNHXlim()NNHHX()()()NHHXNHXX121()()2HHXXHX0HHpppp)1|0()0|0((1|0)(1|1)ppppppppP1001ppqqP)|()();(YXHXHYXI()()(|)(;)HXHYHXYIXY、、和4341XP3231002121P()max(;)/PXCIXY比特符号10)(XPXppppP()()max(;)max()logpxpxCIXYHXr()()max(;)max()logpxpxCIXYHYs()()max(;)max()logpxpxCIXYHXr