信息论基础第3章离散信道及其信道容量[71页]

信息论基础
10

DUT
3.2 平均互信息及平均条件互信息
互信息量的性质
（2）P(ai) < P(ai|bj ) < 1，这时I(ai) > I(ai/bj)，I(ai；bj) > 0。

后验概率大于先验概率，说明收到bj后对信源是否发ai所进行判断 的正确程度，要大于ai在信源集合中的概率. 或者说收到bj后多少还能消除一些对信源是否发ai的不确定度，因 此bj获取了关于ai的信息量。 I(ai；bj) 越大，这种获取就越多。 这正是实际通信时遇到的大多数情况，它对应着信道存在干扰， 但信宿仍能从信源中获取信息量。 从这里隐约可以看到，只要I(ai；bj) > 0，就存在着能够通信的可 能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。
log
P( x | yz ) P( y | xz ) P( xy | z ) log log P( x | z ) P( y | z ) P( x | z ) P( y | z )
P ( x | yz ) P( x | y ) P( x | yz ) log P( x) P( x) P( x | y )

这一性质清楚地说明了互信息量是描述信息流通特性
的物理量，流通量的数值当然不能大于被流通量的数 值。
某一事件的自信息量是任何其他事件所能提供的关于
该事件的最大信息量。
DUT
信息论基础
14
3.2 平均互信息及平均条件互信息
平均条件互信息
I ( x; y | z ) log
I ( x; yz ) log
互信息量的性质
1. 对称性
如果考虑信息的反向流通问题，即考虑事件ai的出现 给出关于事件bj的信息量，或者从ai中获取关于bj的信

0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1

Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y
j 1
s
j
| xi ) 1
(i=1,2,…,r)
11
1.离散单符号信道的数学模型
信道传递概率可以用信道矩阵来表示：
I ( X ;Y )

i 1 j 1
n
m
p ( xi y j ) I ( xi ; y j )

i 1 j 1
n
m
p ( xi y j ) log 2
p ( xi / y j ) p ( xi )

站在输入端：I(Y;X) —发出 X 前、后关于 Y 的先验不确定 度减少的量。
I (Y ; X )
7
信道分类
按输入/输出之间的记忆性来划分： 无记忆信道：信道在某时刻的输出只与信道该时刻 的输入有关而与信道其他时刻的输入、输出无关。 有记忆信道：信道在某时刻的输出与其他时刻的输 入、输出有关。
根据信道的输入/输出是否是确定关系可分为: 有噪声信道 无噪声信道
8
3.1 信道疑义度与平均互信息量
bj I ( X ; Y )是 p ( )的 a i
27
5 平均互信息和各类熵的关系
I(X;Y)= H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY) X, Y 互相独立时
且
p ( xi | y j ) 1
i 1
r
j =1，2，…，s
18
2.信道疑义度H(X|Y)

2020/3/22
信道及信道容量
22
H(Y / X) P(xi )P(yj / xi )log P(xi / yj) i1 j1
pq log q pq log q pq log q pq log q] (pq pq)log q (pq pq)log q q log q q log q H(q)
2020/3/22
信道及信道容量
I(X;Y) H(Y) H(Y / X) H(Y) I(X;Y) H(X) H(X / Y) H(X) X与Y一一对应关系时， I(X;Y) H(Y) H(X) X与Y相互独立时， I(X;Y) 0 ④严格凸函数性
➢信道固定时，I(X;Y)是信源概率分布P(X)的 严格上凸函数 ➢信源固定时，I(X;Y)是信道转移概率分布 P(Y/X)的严格下凸函数
2020/3/22
信道及信道容量
信源
编码
信道
译码
信宿
噪声
信道——传输信号的媒介，信道中通常引入噪声 狭义信道——信号的传输媒介
➢有线信道——电线、电缆、光缆 ➢无线信道——电磁空间——地波传播、天波 传播、视线传播
2020/3/22
信道及信道容量
广义信道——包括调制解调、收发转换装置的信道 调制 发转调换制信道媒介编码信收道转换 解调 ➢调制信道——连续信道 ➢编码信道——离散信道
P(ym / x1) P(ym / x2)
P(ym / xn )
信道及信道容量
m
其中，0 P(y j / xi ) 1且 P(y j / xi ) 1 i 1,2, , n j1
2020/3/22
信道及信道容量
例1
P(Y
/
X)
1