连续信源的熵连续信道的平均互信息与信道容量

则Y=X+N
定理：时间离散的高斯信道，若X、N高斯分布且 独立，则I(X;Y)=H(Y)-H(N)
证明：因为I(X;Y)=H(Y)-H(Y/X)
所以要证结论成立，即证H(Y/X)= H(N)
2021/8/8
3
时间离散的高斯信道
H(Y/X)= H(N)的证明如下：
H (Y / X ) p(x) p( y / x) log p( y / x)dxdy
时间连续的高斯信道
时间连续的高斯信道可以对其进行采样，使其变成 时间离散的高斯信道：
设信道带宽为[0，B],根据采样定理，采样频率为
2B,采样周期T=1/（2B）,这样可以在接收端无失真
的恢复出原始连续信号。则时间连续的高斯信道的
信道容量为
C采样后的离散信道 C t
T每个采样点所占的周期
1 log(1 S )
所以：等于是研究最坏情况下得到的信道容量。
所以：在所有具有噪声平均功率为N的加性噪声信道 中，高斯噪声信道的容量最小。
即若Y=X+N,
则（1）N为非高斯噪声时的信道容量大于N为高斯
噪声时的信道容量：
C非高斯信道
C高斯信道
1 log(1 2
S) N
2021/8/8
加性噪声信道的容量下限
8
本章主要内容
第3章 信道容量
2021/8/8
1
本章主要内容
3.1信道的数学模型与分类 3.2单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.5 连续信道及其容量 3.6 信道编码定理
2021/8/8
2
3.4 连续信道的信道容量
时间离散的高斯信道
时间离散的高斯信道的数学模型：

第三章 信道及其容量
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：

其他连续熵的定义：
h( XY ) p( xy) log p( xy)dxdy
R2
h( X ) p( xy) log p( x )dxdy Y y 2
R
h(Y
y )dxdy ) p( xy) log p( X x 2
R
2.3.2 几种特殊连续信源的熵
1
均匀分布的连续信源的熵
n
0


lim log p ( x)dx
n
0


连续信源熵定义：
1
h( X ) p( x) log p( x)dx


为了在形式上与离散信源熵统一 熵差仍然具有信X ) H ( X ) Y
例
求均匀分布的连续信源熵
原因
2影响信源的整体特性，m
对整体特性无影响
3 指数分布的连续信源的熵
1 e x0 p ( x) m 0 其它 h( X ) p( x) log p( x)dx
x m
0
1 p( x) log( e )dx 0 m x log m p( x)dx log e p( x) dx 0 0 m log( me)


x m
2.3.3 连续熵的性质
1 2
连续信源熵可为负值 可加性
h( XY ) h ( X ) h (Y
X
)
h( XY ) h (Y ) h ( X ) Y
3
非负性
Ic ( X ;Y ) 0
4
对称性
I c ( X ;Y ) I c (Y ; X )
2.3.4 最大熵和熵功率
p( x i )

O不等式 联合典型序列 无失真信道编码定理
第九讲 限失真信源编码定理与多用户信息论
1. 信息率失真函数 2. 限失真信源编码定理 3. 相关信源编码 4． 多址信道和广播信道
第十讲
1. 2. 3.
通信系统的保密理论 完全保密性 理论保密性 实际保密性
信息论基础
2011 年 3 月
教材和参考书：
傅祖芸 编著《信息论－基础理论与应用》， 电子工业出版社，2006，第二版.
孟庆生《信息论》，西安交通大学，1986。
（数学家写的研究生教材，含编码和密码）
朱雪龙《应用信息论基础》，清华大学出版社,2000。
（研究生教材，面向电子类，含编码方法。）
王育民、梁传甲《信息与编码理论》，西电教材。
因为每个p<1，所以它们的以不小于1的数为底的 对数是不大于零的。
3、确定性： H (1,0, 0) 0
确定的事物是无信息可言的。有一个符号概率为1 的信源，其熵为0。
4、扩展性：
lim
0
H
(
p1,
p2
,
pq , ) H ( p1, p2,
pq )
lim log 0
0
（0 概率的事件信息量为0 ？）
香农第一定理以及各种信源编码方法 。 3、围绕信道编码所展开的讨论。它给出了信息传输率、
信道容量等概念，最主要的结论是香农第二定理，以及 基于该定理的各种信道编码，如分组码、卷积码等。 4、围绕带限信道传输的能力所展开的讨论，最主要的结论 是信道容量公式，即香农公式。
5、 基于信息传输时允许一定程度的失真和差错所展开 的讨论。由此得到信息率失真理论、香农第三定理、 信息价值等。这是目前还在不断发展和完善的理论， 在通信以外得学科不断得到应用。