当前位置：文档之家 › 第3章信道与信道容量

第3章信道与信道容量

  • 格式：ppt
  • 大小：946.50 KB
  • 文档页数：44

下载文档原格式

  / 44

合集下载

信息论与编码理论-第3章信道容量-习题解答

信息论与编码理论-第3章信道容量-习题解答

信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

34 连续信道的信道容量.ppt

34 连续信道的信道容量.ppt
则Y=X+N
定理：时间离散的高斯信道，若X、N高斯分布且 独立，则I(X;Y)=H(Y)-H(N)
证明：因为I(X;Y)=H(Y)-H(Y/X)
所以要证结论成立，即证H(Y/X)= H(N)
2021/8/8
3
时间离散的高斯信道
H(Y/X)= H(N)的证明如下：
H (Y / X ) p(x) p( y / x) log p( y / x)dxdy
时间连续的高斯信道
时间连续的高斯信道可以对其进行采样，使其变成 时间离散的高斯信道：
设信道带宽为[0，B],根据采样定理，采样频率为
2B,采样周期T=1/（2B）,这样可以在接收端无失真
的恢复出原始连续信号。则时间连续的高斯信道的
信道容量为
C采样后的离散信道 C t
T每个采样点所占的周期
1 log(1 S )
所以：等于是研究最坏情况下得到的信道容量。
所以：在所有具有噪声平均功率为N的加性噪声信道 中，高斯噪声信道的容量最小。
即若Y=X+N,
则（1）N为非高斯噪声时的信道容量大于N为高斯
噪声时的信道容量：
C非高斯信道
C高斯信道
1 log(1 2
S) N
2021/8/8
加性噪声信道的容量下限
8
本章主要内容
第3章 信道容量
2021/8/8
1
本章主要内容
3.1信道的数学模型与分类 3.2单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.5 连续信道及其容量 3.6 信道编码定理
2021/8/8
2
3.4 连续信道的信道容量
时间离散的高斯信道
时间离散的高斯信道的数学模型：

第三章离散信道及其信道容量

第三章离散信道及其信道容量

0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1

第三章 信道模型和信道容量

第三章 信道模型和信道容量

这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt

第3章 信道模型和信道容量 习题课(2)

第3章 信道模型和信道容量 习题课(2)

3、解： （1）已知二元对称信道的传递矩阵，又已知输入的
3 1 概率分布 P (0) , P (1) , 就可以计算得出 Y 的概率 4 4
分布如下：
P ( y 0) P ( x ) P ( y 0 | x )
x
P( x 0) P( y 0 | x 0) P( x 1) P( y 0 | x 1)
0
1
0


1

1
1
(a)
2
解
( a ) 图，由信道线图可得转移概率矩阵如下：
1
1
该矩阵为行列排列阵，信道为准对称信道，可以把按列分 成两个子矩阵如下：
1
1
PS 10 log10 1 20 PN
得到
PS 1 100 PN
信道传送的最大信息速率
PS Ct W log(1 ) 3 103 log 2 100 19.93 103 bit/s PN
（1）
信道不变， Ct 仍应为 19.93 10 （比特/秒） ，而
21s?121lognkkkskmmcshppprr??????????????????????11222loglog1222211loglog12hh????????????????????????????????????设在平均功率受限高斯可加波形信道中信道带宽为3khz又设信号功率噪声功率噪声功率20db
•设在平均功率受限高斯可加波形信道 中，信道带宽为3kHz，又设（信号功 率+噪声功率）/噪声功率=20 dB。
（1）试计算该信道传送的最大信息率 （单位时间）19.93*103(bit/s)。 （2）若功率信噪比降为5dB，要达到 相同的最大信息传输率，信道带宽应 是多少(12KHz)。

信息论基础第3章离散信道及其信道容量

信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配

第3章信道容量


其信道容量
C max I ( X ;Y ) max H ( Y ) log m
p ( xi ) p ( xi )
达到此类信道的信道容量的概率分布是使信道输出分布为 等概分布的输入分布。
8
离散无噪信道（总结）
对于无噪信道，求信道容量C的问题，已经 从求I(X;Y)的极值问题退化为求H(Y)或H(X)的 极值问题。
H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪 信道传输后引起的信息量的损失。 因为H(X/Y)=H(X)-I(X;Y) 损失熵等于信源X所含有的信息量减去信道输出端接收到符号 集Y之后平均每个符号所获得的关于输入集X的信息量。 H(Y/X)称为噪声熵，反映了信道中噪声源的不确定性。 因为H(Y/X)=H(Y)-I(X;Y)
i 1 j 1 n n
p( x i ) H ni
i 1
n
H ni p( y j / x i ) log p( y j / x i ) 由 于 信 道 的 对 称 性 ， 一 每行 都 是 同 一 集 合 诸素 元的 不 同 排 列 。
其信道容量
C max I ( X ;Y ) max H ( X ) log n
p ( xi ) p ( xi )
6
3.具有归并性能的无噪信道（确定信道）
确定信道的一个输出对应着多个 互不相交的输入，如右图所示。
信道矩阵中每行中只有一非零元 素，即已知X后，Y不再有任何 不确定度。故噪声熵H(Y/X)=0
11
强对称信道的几个特性
强对称信道是对称信道的一个特例；
输入符号数与输出符号数相等； 信道中总的错误概率为p，对称地平均分配给 n-1个输出符号，n为输入符号的个数； 均匀信道中不仅各行之和为1,而且各列之和也 为1。 一般信道各列之和不一定等于1

第三章 信道和信道容量


I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量

通信课件信道及信道容量

基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式

第三章信道容量


p
b1 an
,
p
b2 an
,,
p
bm an
信道容量的定义
信息传输率是衡量通信质量的一个重要指标，由前面 定理知：对于固定信道后，总存在某种输入概率分布p(X)， 使I（X; Y）达到最大值，定义这个最大值为信道容量，记 为C。
C max I ( X ;Y ) （比特/码符号） { p ( ai )} max H ( X ) H ( X Y ) { p ( ai )} max H (Y ) H (Y X ) { p ( ai )}
a1
b1
1 0 0
a2 ……
b2
0 1 0
0
0
1
an
bn
0
0
0
n=m
... 0 ... 0
...
0
...
1
另一种情况:
a1
b1
a2
b2
……
an-1
bn-1
an
bn
0 ... 0 0 1
0 ... 0 1 0
0
...
1
0
0
1
0
0
...
0
对于上述两种情况,X与Y一一对应,因此有
输入或输出无关
信道的分类 （根据有无记忆）
输出仅与信道当前输 入有关，与过去输入
无关
有记忆 信道
无记忆 信道
信道的分类
（根据信道的输入与输出 随机变量的个数）
单符号 信道
多符号 信道
信道的分类
（根据输入与 输出的个数）
单用户 信道
多用户 信道
（1）单用户信道：只有一个输入端和一个输出端 （2）多用户信道：至少有一端有两个以上的用户， 双向通信
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
对称DMC（离散无记忆）信道定义
输入对称
如果转移概率矩阵P的每一行都是第一行的置换(包含 同样元素)，称该矩阵是输入对称
输出对称
如果转移概率矩阵P的每一列都是第一列的置换(包含 同样元素)，称该矩阵是输出对称
对称的DMC信道
如果输入、输出都对称
15
3.2离散单个符号信道及其容量
对称DMC信道例子
主要内容
信道分类与表示方法 信道容量的计算
1
第3章信道与信道容量
信道分类和表示参数 离散单个符号信道及其容量
2
3.1信道分类和表示参数
信道定义
– 传输信息的载体，其任务是以信号形式传输、 存储信息。
信道分类
用户数量：单用户、多用户
输入端和输出端关系：无反馈、有反馈
信道参数与时间的关系：固定参数、时变参
•C＝maxI(X;Y)＝log n •噪声熵H(Y|X)=0;疑义 个输入对应多个输出；
（输入符号为等概率 度H(X|Y)≠0;C＝
•疑义度H(X|Y)= 0;噪声
出现时）
maxI(X;Y)＝maxH(Y) 熵H(Y|X) ≠ 0; C＝
maxI(X;Y)＝maxH(X)
14
3.2离散单个符号信道及其容量
信道在单位时间内平均传输的信息量定 义为信息传输速率
Rt=I(X;Y)/t
比特/秒
10
信道容量
对于某特定信道，若转移概率 p(bj | ai )已经确定，则互信息就 是关于输入符号分布函数 p(ai ) 型凸函数 那么，可以找到某种概率分布p(ai),使得I(X;Y)最大：
C max I (X ;Y )
每个输出符号只与当前输入信号有转移概率关系，与
其他时刻的信号无关，即无记忆。需分析单个符号的
转移概率p(yj|xi).
5
3.1信道分类和表示参数
1）二进制对称信道（BSC） (输入输出符号数p
P
1 p
p
p 1 p
1
1
1-p
由于这种信道的输出比特仅与对应时刻的一个输入比特 有关，而与以前的输入无关，所以这种信道是无记忆的;
注：对于特定的信道，信道容量是个定值，但在传输信息
时信道能否提供最大传输能力，则取决于输入端的概率分
布。
12
1、信道的作用： 把携有信息的信号从它的输入端传递到输出端。
信道最重要特征参数是信息传递能力，即信道容量. 2、什么是信道容量？
互信息量I(X,Y)是输入符号X 概率分布的凸函数：
对于一个给定的信道，总是存在某种概率分布p(xi), 使得传输每个符号平均获得的信息量最大，即对于每 个固定的信道总是存在一个最大的信息传输速率，这 个最大信息传输速率定义为信道容量。
16
3.2离散单个符号信道及其容量
• 输入对称
p(b j / ai ) log p(b j / ai )与i无关
j
H (Y / X ) p(ai ) p(bj / ai ) log p(bj / ai )
i
j
p(bj / ai ) log p(bj / ai ) H (Y / ai )
1 1 1 1
13
3 1
6 1
6 1
6 6 3 3
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
如果一个矩阵的每一行都是同一集合中诸元素的不同排列，我们称矩 阵的行是输入对称的；
如果一个矩阵的每一列都是同一集合中诸元素的不同排列，我们称矩 阵的列是输出对称的；
如果一个信道的矩阵输入输出都是对称的，该信道称为对称信道。
信道可分为：
4
3.1信道分类和表示参数
• 信道种类
1、无干扰（无噪声）信道
信道的输出信号Y与输入信号X之间有确定的关系。转移概率
1, p(Y X ) 0,
Y f (X ) Y f (X )
2、有干扰无记忆信道
信道的输出信号Y与输入信号X之间没有确定关系（有干扰），
但转移概率满足： p(Y | X ) p( y1 | x1) p( y2 | x2 ) p( yL | xL )
• 若输入是模拟波形，输出也是模拟波形则
该信道为波形信道.
• 选择何种模型取决于我们目的.
•从工程上讲,最常用的DMC信道或BSC信道.
•若分析性能的理论极限，多选用离散输入、连续输
出的信道模型。
信息传输率：信道中平均每个符号所能 传送的信息量。
R=I(X;Y)=H(X)－H(X/Y) 比特/符号
p(ai )
C被称为信道容量，表明信道的最大传输信息量；
I (x；y) log p(x / y) p( x)
11
信道容量
C max I (X ;Y )
p(ai )
单位：比特/符号（bits/symbol或bits/channel use） 如果已知符号传送周期是T秒，也可以“秒”为单位来计算 信道容量，此时Ct C /T Bit/s、nat/s
噪声种类： 随机差错、突发差错
输入输出特点：离散、连续、半离散半连续、
波形信道
3
3.1信道分类和表示参数
信道参数
设信道
输入矢量为X ( X1, X 2, X i , ), X i a1, ,an 输出矢量为Y (Y1，,Y2, Yj , ), X j b1, ,bm
条件概率（通常叫做转移概率）p(Y/X )来描述信道输入输出信号 之间统计的依赖关系；
C max{ I ( X ;Y )}
p(x)
3.2离散单个符号信道及其容量
3.2.1无干扰离散信道的信道容量
X
Y
1
1
1 (a) 无噪无损信道
X
Y
1
1
1
1
1 (b) 无噪有损信道
X
Y
1
1
1
1
1 (c) 有噪无损信道
部分理想化的无干扰离散信道
•X、Y一一对应
•多个输入变成一个输出；•由于信道噪声，使一
m
p(bj | ai ) 1,
j1
i 1,2, ,n
（矩阵各行的元素和为1） 7
3）离散输入、连续输出信道
• 设信道输入符号是有限、离散的,其输入
字符集
x x x X , ...
01
r 1
•信道输出 (s ) •即 Y ,
•称离散输入,连续输出信道. •又称半离散或半连续信道。
（4）波形信道
6
3.1信道分类和表示参数
2)离散无记忆信道DMC (输入输出符号数大于2但有限)
转移矩阵 P [ p(bj | ai )] [ pi j ]
a1 a2
b1
p11 p12 p1m
b2
P
p21
p22
p2m
an
bm
pn1
pn2
pnm
输入ai时各可能输出bj的概率和等于1，即