信息论编码 田宝玉chapter2

第2章 离散信源及其信息测度
第2章 离散信源及其信息测度
2.1 单符号离散信源的数学模型 2.2 自信息和信息函数 2.3 信息熵 2.4 信息熵的基本性质 2.5 联合熵和条件熵的分解与计算 2.6 信息熵的解析性质 2.7 离散信源的最大熵值 2.8 多符号离散平稳信源 2.9 多符号离散平稳无记忆信源及其信息熵 2.10 多符号离散平稳有记忆信源及其信息熵 2.11 信源的相关性与冗余度
第2章 离散信源及其信息测度
第2章 离散信源及其信息测度
上述对应的数学表达式为
(2-3)
I(ai；bj)=I(ai)－I(ai|bj)
为了便于引出一个重要的结果，我们不妨假定信道中没有
噪声的随机干扰，这时，显然有bj=ai本身，收信者确切无误地 收到信源发出的消息。那么，收到bj后，对ai仍然存在的不确 定性等于0，即I(ai|bj)=0。这样，根据式(2-3)，收到bj后，从 bj中获取关于ai的信息量为I(ai；bj)=I(ai)－I(ai|bj)=I(ai), 这个I(ai)也就是ai本身所含有的信息量，即信源能提供的全部 信息量，我们称I(ai)为ai的自信息量。
(1) 若P(a1)>P(a2)，则I(a1)<I(a2)，即f[P(ai)]是P(ai) 的单调递减函数；
(2) 若P(ai)=0，则f [P(ai)]→∞； (3) 若P(ai)=1，则f [P(ai)]=0；
第2章 离散信源及其信息测度
(4) 若两个事件ai和bj统计独立，则ai和bj的联合信息量应 等于它们各自的信息量之和，即I(aibj)=I(ai)+I(bj)。如有两 个统计独立的信源X和Y，它们的信源空间分别是
{1，2，3，4，5，6}中的任何一个，不可能是这个集合以外的符号，

I(xi ) = −log p(xi )
• I (xi) 含义:
– 当事件xi发生以前,表示事件xi 发生的不确定性 不确定性 – 当事件xi发生以后,表示事件xi所含有的信息量 信息量
4
自信息量
• 自信息量
I(xi ) = −log p(xi )
• 条件自信息量
I(xi | yj ) = −log p(xi | yj )
9
互信息
• 互信息
• 定义为 xi的后验概率与先验概率比值的对数
I(xi ; y j ) = log 2
I(xi ; y j ) = log p(xi | y j ) p(xi ) = log
p(xi | y j ) p(xi )
p(xi y j ) = log p(y j | xi ) p(y j )
i l l
29
L
L
离散无记忆信源的序列熵
• 若又满足平稳特性,即与序号l无关时：
p(X) = ∏p(xil ) = pL
1 l=
L
• 信源的序列熵
H(X) = LH(X)
• 平均每个符号(消息)熵为
1 HL(X) = H(X) = H(X) L
30
例:有一个无记忆信源随机变量X∈(0,1),等概率分
• 联合自信息量 联合自信息量
I(xi yj ) = −log p(xi yj )
5
离散信源熵
• 离散信源熵H(X)
H(X) = ∑p(xi )I(xi ) = −∑p(xi )log p(xi )
i i
• 信源熵具有以下三种物理含意： – 信息熵H(X)表示信源输出后,每个离散消息 所提供的平均信息量。 – 信息熵H(X)表示信源输出前,信源的平均不 确定性。 – 信息熵H(X)反映了变量X的随机性 。

仙农在1948年指出 ：
“ 通信的基本问题是在一点精确地或近似地恢复 另一点所选择的消息。通常，这些消息是有含义 的，即它对于某系统指的是某些物理的或概念的 实体。这些通信的语义方面与通信问题无关，而
重要的方面是实际消息是从一个可能消息集合中
选择出的一条消息。”
可见，仙农在研究信息理论时，排除了语义 信息与语用信息的因素，先从语法信息入手，解 决当时最重要的通信工程一类的信息传递问题。 同时他还把信源看成具有输出的随机过程，所研 究的事物运动状态和变化方式的外在形式遵循某 种概率分布。因此仙农信息论或经典信息论所研 究的信息是语法信息中的概率信息。
信 息 论 即 仙 农 (Claude Edwood Shannon, 1916—2001 ) 信 息 论 ， 也 称 经 典信息论，是研究通信系统极限性能的理 论。从信息论产生到现在几十年来，随着 人们对信息的认识不断深化，对信息论的 研究日益广泛和深入，信息论的基本思想 和方法已经渗透到许多学科，在人类社会 已经进入信息时代的今天，信息理论在自 然科学和社会科学研究领域还会发挥更大 的作用。
第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？ （语义问题） 第三层：所接收的含义如何以所需要的方式有效地 影响行为？（效用问题）
• Weaver认为仙农的工作属于第一层，但他又证明 仙农的工作是交叉的，对第二、三层也有意义。
• 信息是认识主体（人、生物、机器） 所感受的和 所表达的事物运动的状态和运动状态变化的方式。
可见，信息收集组是根据所得到的消 息提取出语法信息，信息处理组是根据所 得到的语法信息提取出语义信息，而信息 分析组是根据所得到的语义信息提取出语 用信息。 可以看到，研究语义信息要以语法信 息为基础，研究语用信息要以语义信息和 语法信息为基础。三者之间，语法信息是 最简单、最基本的层次，语用信息则是最 复杂、最实用的层次。

一般情况，X和Y既非互相独立，也不是一一对应，那么 从Y获得的X信息必在零与H(X)之间，即常小于X的熵。
2.1单符号离散信源
4。凸函数性 结论: (1)固定信道，调整信源，I(X;Y)是p(x)的上凸 函数 证明：当n＝2时的具体情形
用什么公式？为什么？如何用？ 已知：P(x)及P(y|x) (2)固定信源，调整信道，I(X;Y)是p(y|x)的下凸函数
分布的连续消息的信源； 2. 离散信源：发出在时间上和幅度上都是离散
分布的信源。 离散信源又可以细分为：
2.1单符号离散信源
（1）离散无记忆信源：所发出的各个符号之间 是相互独立的，各个符号的出现概率是它自身 的先验概率。
（2）离散有记忆信源：发出的各个符号之间不 是相互独立的，各个符号出现的概率是有关联 的。
2.1单符号离散信源
总之：
H(X)代表接收到Y前关于X的平均不确定性， H(X/Y)代表接收到Y后尚存关于X的平均不确 定性。可见，通过信道传输消除了一些不确定 性，获得了一定的信息。所以定义平均互信息 量(2.1.5)
I(X;Y) = H(X ) − H(X /Y)
2.1单符号离散信源
2.1.5平均互信息量（交互熵）
2.1单符号离散信源
也可以根据信源发出一个消息所用符号的多 少，将离散信源分为：
1. 发出单个符号的离散信源：信源每次只发出 一个符号代表一个消息；
2. 发出多符号的离散信源：信源每次发出一组 含二个以上符号的符号序列代表一个消息。
将以上两种分类结合，就有四种离散信源：
2.1单符号离散信源
（1）发出单符号的无记忆离散信源； （2）发出多符号的无记忆离散信源； （3）发出单符号的有记忆离散信源； （4）发出多符号的有记忆离散信源。