当前位置：文档之家 › 第三-1章信道及信道容量

第三-1章信道及信道容量

  • 格式：ppt
  • 大小：1.35 MB
  • 文档页数：84

下载文档原格式

  / 84

合集下载

第三章离散信道及其信道容量

第三章离散信道及其信道容量


0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
第三章 信道模型和信道容量

第三章 信道模型和信道容量


这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
信息论基础第3章离散信道及其信道容量

信息论基础第3章离散信道及其信道容量

也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第3章信道容量

第3章信道容量


其信道容量
C max I ( X ;Y ) max H ( Y ) log m
p ( xi ) p ( xi )
达到此类信道的信道容量的概率分布是使信道输出分布为 等概分布的输入分布。
8
离散无噪信道（总结）
对于无噪信道，求信道容量C的问题，已经 从求I(X;Y)的极值问题退化为求H(Y)或H(X)的 极值问题。
H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪 信道传输后引起的信息量的损失。 因为H(X/Y)=H(X)-I(X;Y) 损失熵等于信源X所含有的信息量减去信道输出端接收到符号 集Y之后平均每个符号所获得的关于输入集X的信息量。 H(Y/X)称为噪声熵，反映了信道中噪声源的不确定性。 因为H(Y/X)=H(Y)-I(X;Y)
i 1 j 1 n n
p( x i ) H ni
i 1
n
H ni p( y j / x i ) log p( y j / x i ) 由 于 信 道 的 对 称 性 ， 一 每行 都 是 同 一 集 合 诸素 元的 不 同 排 列 。
其信道容量
C max I ( X ;Y ) max H ( X ) log n
p ( xi ) p ( xi )
6
3.具有归并性能的无噪信道（确定信道）
确定信道的一个输出对应着多个 互不相交的输入，如右图所示。
信道矩阵中每行中只有一非零元 素，即已知X后，Y不再有任何 不确定度。故噪声熵H(Y/X)=0
11
强对称信道的几个特性
强对称信道是对称信道的一个特例；
输入符号数与输出符号数相等； 信道中总的错误概率为p，对称地平均分配给 n-1个输出符号，n为输入符号的个数； 均匀信道中不仅各行之和为1,而且各列之和也 为1。 一般信道各列之和不一定等于1
第三章离散信道及其信道容量

第三章离散信道及其信道容量


p(ym/x1)
p(ym/x2) … p(ym/xn)
第一节 信道的数学模型及分类 为了表述简便，可以写成 P(bj / ai ) pij
p11 p P 21 ... pr1 p12 ... p22 ... pr 2 ... p1s p2 s ... prs
i 1 r
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
（3）后验概率
P(ai / b j )
P(aib j ) P(b j )
P(a / b ) 1
i 1 i j
r
表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节 平均互信息
第三节 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵。
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 x2 x3 I(X;Y)=H(X)=H(Y) y1 y2 y3
信道与信道容量

信道与信道容量


1.6.2 信道容量
根据香农信息论，对于连续信道，如果信道带宽为B， 并且受到加性高斯白噪声的干扰，则信道容量的理论公式为
C=B㏒2（1+S/N）（b/s） 式中。 N为白噪声的平均功率； S是信号的平均功率； S/N 为信噪比。信道容量C是指信道可能传输的最大信息速率 （即信道能达到的最大传输能力）。虽然上式是在一定条件 下获得的（要求输入信号也为高斯信号才能实现上述可能 性），但对其他情况也可作为近似式使用。
例1 已知彩色电视图象由5ⅹ105个像素组成。设每个像素有 64种彩色度，每种彩色度有16个亮度等级。设所有彩色度和 亮度等级的组合机会均等，并统计独立。（1）试计算每秒 传送100个画面所需信道容量；（2）如果接受机信噪比为 30dB，为了传送彩色图象所需信道带宽为多少？
例2 设有一个图像要在电话线路中实现传真传输。大约要传输2.25ⅹ106个 像素，每个像素有12个亮度等级。假设所有亮度等级都是等概率的，电 话电路具有3kHz带宽和30dB信噪比。试求在该标准电话线路上传输一 张传真图片需要的最小时间。
在数字通信系统中，如果仅研究编码和解码问题， 可得到另一种广义信道---编码信道。编码信道的范围是 从编码器输出端至解码器输入端。这是因为从编码和解 码角度来看，编码器是把信源产生的消息信号转化为数 字信号。反之，解码器是将数字信号恢复原来的消息信 号；而编码器输出端至解码器输入端之间的一切环节只 是起了传输数字信号的作用，所以可以把它看成一个整 体---编码信道。当然，根据研究问题的不同，还可以定 义其他广义信道。
解： Rb = RBN㏒2N
RBN= Rb／×106 / 29.9 ×103=0.269 ×103s=4.5min
例3 已知八进制数字信号的传输速率为1600波 特。试问变换成二进制数字信号时的传输速率为多 少？ 解： Rb = RBN㏒2N = 1600× ㏒28 = 4800 b/s
信息论与编码理论-第3章信道容量-习题解答-071102

信息论与编码理论-第3章信道容量-习题解答-071102

第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。

第三章 信道和信道容量

第三章 信道和信道容量


I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
第3章信道与信道容量-信息论与编码(第3版)-曹雪虹-清华大学出版社

第3章信道与信道容量-信息论与编码(第3版)-曹雪虹-清华大学出版社

波形信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2
3.1.2 信道的数学模型
– 信道输入 X ( X1, X 2, Xi , ), Xi a1, , an – 信道输出 Y (Y1,Y2, Yj , ),Yj b1, ,bm
– 条件概率p(Y/X)来描述信道输入、输出信号之间 统计的依赖关系。
有干扰无记忆信道
– 离散无记忆信道（DMC)
p11 p12 p1m
a1 a2
b1 b2
P
p21
p22
p2m
an
bm
pn1
pn2
pnm
m
p(b j | ai ) 1,
j 1
i 1,2,, n
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
7
信道参数
有干扰无记忆信道
– 离散输入、连续输出信道
X
Y
+
Y＝X＋N
N
加性高斯白噪声 (AWGN) 信道：
pY ( y / ai )
1 e( yai )2 / 2 2
2
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
8
信道参数
有干扰无记忆信道
x(t)
– 波形信道
波形信道转化成多维连续信道，
pY ( y / x) pY ( y1, , yL / x1, , xL )
Cavg EH (C)
11
中断容量（Outage Capacity）：当信道 瞬时容量Cinst小于用户要求的速率时，信 道就会发生中断事件，这个事件的概率 称为中断概率Poutage。这个用户要求的速 率就定义为对应于该中断概率Poutage的中 断容量Coutage，即
通信课件信道及信道容量

通信课件信道及信道容量

基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
信息论与编码理论-第3章信道容量-习题解答-071102

信息论与编码理论-第3章信道容量-习题解答-071102

第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。

信息论与编码理论-第3章信道容量-习题解答-071102

第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。

i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。

第三章信道及信道容量PPT课件

第三章 信道及信道容量
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0

第三-1章信道及信道容量

噪声分为两类：加性噪声和乘性噪声，分析较多的是加性噪声信道 ( 噪声与信号是相加的关系，通常相互独立。) 单符号加性噪声信道可以表示为 ： x(t)是带限信号，y(t)是输出值，n(t)是加性噪声过程的一个样本函数
说 明： 条件熵Hc(Y/X)是由于噪声引起的，它等于噪声信源的熵Hc(n) 。 所以称条件熵Hc(Y/X)为噪声熵。
9
《信息论基础》
2、一般离散信道（多维离散信道） 输入输出信号都是平稳随机矢量，其数学模型可用概率空间 [X，p(Y/X)，Y]来描述。 其中 为输入信号， 为输出信号。 X中 Y中 其中P(Y/X)是信道的传递概率，反映输入和输出信号之间统计 依赖关系。 根据信道是否存在干扰以及有无记忆，将信道分为： 1 ）无干扰（噪声）信道： 2 ）有干扰无记忆信道： 3）有干扰有记忆信道：
32
《信息论基础》
3、有噪无损信道： H（X/Y）= 0， H（Y/X）> 0
33
• 我们可以进一步用维拉图来表述有噪无损信 道和无噪有损信道中平均互信息、损失熵、 噪失熵以及信源熵之间的关系。
H（X）=I（X；Y） H（Y）
I（X；Y） I（X；Y）
H（Y）=I（X；Y） H（X）
H（Y/X）
其中：
19
《信息论基础》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。 一般情况下，上式不能满足，也就是连续信道任一时 刻的输出变量与以前时刻的输入输出有关，则称为连续有 记忆信道。
20
《信息论基础》
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。

信道及信道容量

P 1
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述

信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)

信息论与编码第二版答案 (3)

信息论与编码第二版答案第一章：信息论基础1.问题：信息论的基本概念是什么？答案：信息论是一种数学理论，研究的是信息的表示、传输和处理。

它的基本概念包括：信息、信息的熵和信息的编码。

2.问题：什么是信息熵？答案：信息熵是信息的度量单位，表示信息的不确定度。

它的计算公式为H(X) = -ΣP(x) * log2(P(x))，其中P(x)表示事件x发生的概率。

3.问题：信息熵有什么特性？答案：信息熵具有以下特性：•信息熵的值越大，表示信息的不确定度越高；•信息熵的值越小，表示信息的不确定度越低；•信息熵的最小值为0，表示信息是确定的。

4.问题：信息熵与概率分布有什么关系？答案：信息熵与概率分布之间存在着直接的关系。

当概率分布均匀时，信息熵达到最大值；而当概率分布不均匀时，信息熵会减小。

第二章：数据压缩1.问题：数据压缩的目的是什么？答案：数据压缩的目的是通过消除冗余和重复信息，使数据占用更少的存储空间或传输更快。

2.问题：数据压缩的两种基本方法是什么？答案：数据压缩可以通过无损压缩和有损压缩两种方法来实现。

无损压缩是指压缩后的数据可以完全还原为原始数据；而有损压缩则是指压缩后的数据不完全还原为原始数据。

3.问题：信息压缩的度量单位是什么？答案：信息压缩的度量单位是比特（bit），表示信息的数量。

4.问题：哪些方法可以用于数据压缩？答案：数据压缩可以通过以下方法来实现：•无结构压缩方法：如霍夫曼编码、算术编码等；•有结构压缩方法：如词典编码、RLE编码等；•字典方法：如LZW、LZ77等。

第三章：信道容量1.问题：什么是信道容量？答案：信道容量是指在给定信噪比的条件下，信道传输的最大数据速率。

2.问题：信道容量的计算公式是什么？答案：信道容量的计算公式为C = W * log2(1 + S/N)，其中C表示信道容量，W表示信道带宽，S表示信号的平均功率，N表示噪声的平均功率。

3.问题：信道容量与信噪比有什么关系？答案：信道容量与信噪比成正比，信噪比越高，信道容量越大；反之，信噪比越低，信道容量越小。

信道与信道容量(1)

可编辑ppt 32
准对称信道的信道容量
• 例3-5 已知一个信道的信道转移矩阵为
P 00..53
0.3 0.5
0.2 0.2
• 由P可看出信道的输入符号有两个，可设
• p(a 1),p(a2)1。 信道的输出符号有3个，
用b1,b2,b3表示。由 合概率的矩阵为
p(ai,bj)p(ai)p(bj|ai)得联
• 将信道矩阵P的列划分成若干个互不相交的子 集mk,由mk为列组成的矩阵[P]k是对称矩阵。
1 1 1 1 1 1 1 1
P131
3 1
6 1
6113
16
13
16
6 3 6 3 6 3 3 6
• 它们满足对称性,所以P1所对应的信道为准对称
信道。
可编辑ppt
30
准对称信道的信道容量
• 准对称信道
串联信道
• 例3-4 设有两个离散BSC信道,串接如图,两个
BSC信道的转移矩阵为:
1-p Y 1-p
X0
0Z
1p p
P1 P2
p
1p
p p
• 串联信道的转移矩阵为: 1
1-p
1 1-p
1 pp 1 pp (1 p )2 p 2 2 p (1 p ) P P 1 P 2 p1 p p1 p 2 p (1 p ) (1 p )2 p 2
i
j
p(bj | ai)logp(bj | ai)
j
H(Y| ai) i 1,2,n
H ( Y |X ) H ( Y |a i) H 可( 编p 辑1 p,ptp 2 , p m ) 15
对称DMC信道
• 对称DMC信道的容量：
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

H（X/Y）
有噪无损信道
无噪有损信道
34
• 综合上述三种情况，若严格区分的话，凡损失熵等 于零的信道称为无损信道；凡噪声熵等于零的信道 称为无噪信道，而前面讨论的一一对应的无噪信道 则为无噪无损信道。 • 对于无损信道，其信息传输率R就是输入信源X输 出第个符号携带的信息量（信源熵H（X）），所 以其信道容量为
9
《信息论基础》
2、一般离散信道（多维离散信道） 输入输出信号都是平稳随机矢量，其数学模型可用概率空间 [X，p(Y/X)，Y]来描述。 其中 为输入信号， 为输出信号。 X中 Y中 其中P(Y/X)是信道的传递概率，反映输入和输出信号之间统计 依赖关系。 根据信道是否存在干扰以及有无记忆，将信道分为： 1 ）无干扰（噪声）信道： 2 ）有干扰无记忆信道： 3）有干扰有记忆信道：
C max{I ( X ; Y )} max H ( X ) log r (bit / 符号)
p( x) p( x)
• 式中假设输入信源X的符号共有r个符号，所以等概 率分布时信源熵H（X）最大。
35
同理，对于无噪信道，信道容量为
C max{I ( X ; Y )} max H (Y ) log s(bit / 符号)
17
《信息论基础》
三、离散输入、连续输出信道 信道输入符号选自一个有限的、离散的输入符号集 X∈{a1,a2,… ,an}，而信道输出Y∈{-∞，+∞},这种信道模 型就称为离散时间无记忆信道。它的特性由离散输入X、 连续输出Y以及一组条件概率密度函数 来决定。
这类信道中最重要的就是加性高斯白噪声（AWGN）信道
32
《信息论基础》
3、有噪无损信道： H（X/Y）= 0， H（Y/X）> 0
33
• 我们可以进一步用维拉图来表述有噪无损信 道和无噪有损信道中平均互信息、损失熵、 噪失熵以及信源熵之间的关系。
H（X）=I（X；Y） H（Y）
I（X；Y） I（X；Y）
H（Y）=I（X；Y） H（X）
H（Y/X）
38
《信息论基础》
2、信道容量
对称离散信道的平均互信息为I（X；Y）=H（Y）-H（Y/X），而
H (Y / X )
P ( x ) P ( y / x ) lo g P ( y / x ) P ( x ) H (Y
X Y X
1
/ X x)
其 中 H (Y / X x )
其中：
19
《信息论基础》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。 一般情况下，上式不能满足，也就是连续信道任一时 刻的输出变量与以前时刻的输入输出有关，则称为连续有 记忆信道。
20
《信息论基础》
是差概率,H ( )是关于的熵函数
30
《信息论基础》
二、无干扰离散信道的信道容量
1、无噪无损信道：输入输出一一对应，信道矩阵为单位 阵．疑义度 H ( X/Y ) =0，噪声熵 H ( Y/X ) =0
31
《信息论基础》
2、无噪有损信道（确定信道）：
H（X/Y）〉0，H（Y/X）=0 信道输出端接收到某个bj后不能判定是哪个输入符号ai
6
《信息论基础》
二、离散信道的信道参数 1、基本离散信道（单符号离散信道） 输入输出信号都是取值离散的单个随机变量，可用 信道转移概率 来描述。其中 并满足：
信道转移概率：条件概率 为信道输出。
其中,ai为信道输入，bj
7
《信息论基础》
单符号离散信道可以用图形可以描述如下
8
《信息论基础》
信道矩阵的每一行之和必定等于1。
噪声分为两类：加性噪声和乘性噪声，分析较多的是加性噪声信道 ( 噪声与信号是相加的关系，通常相互独立。) 单符号加性噪声信道可以表示为 ： x(t)是带限信号，y(t)是输出值，n(t)是加性噪声过程的一个样本函数
说 明： 条件熵Hc(Y/X)是由于噪声引起的，它等于噪声信源的熵Hc(n) 。 所以称条件熵Hc(Y/X)为噪声熵。
37
• 若输入符号和输出符号个数相同，都等于r,且 信道矩阵为
p p P r 1 p r 1 p r 1 p p r 1 p r 1 p r 1 p 其中p p 1
• 则此信道称为强对称信道或均匀信道。这类信 道中的错误概率为p,对称地平均分配给r-1个输 出符号。它是对称离散信道的一类特例。二元 对称信道就是r=2的均匀信道。对均匀信道， 其信道矩阵中各列之和也等于1（一般信道的 信道矩阵中各列之和不一定等于1）
p( x) p( x)
式中假设输出信源Y的符号共有s个符号，所以等概率分布时 信源熵H（Y）最大。而且一定能找到一种输入分布使输出 符号Y达到等概分布。
36
《信息论基础》
三、对称DMC信道
1、定义：如果转移概率矩阵P的每一行包含同样元素，则 为输入对称矩阵；如果转移概率矩阵P的每一列包含同样元 素，则为输出对称矩阵；如果输入输出都对称，则为对称 DMC信道。 例 如:

Y
P ( y / x ) lo g
1 P ( y / x)
29
例：二进制对称信道
• 设p(0)=1/2时，
p (0 / 0) 1 , p(0 /1) , p (1 / 0) , p(1 /1) 1
则C I ( X ; Y ) H ( X ) H ( X / Y ) 1 (1 ) log(1 ) log (bit / 符号) 即二进制对称信道的C 1 H ( )(bit / 符号)
② 如果分析性能的理论极限，则多采用离散输入、连续输 出信道模型。
③ 如果设计和分析数字调制器和解调器的性能，则可采用 波形信道模型。 因为本书后面的内容主要讨论编码和译码，所以DMC 信道模型使用最多。
23
《信息论基础》
作 业：
3-1
24
《信息论基础》
3.1.2 离散单个符号信道 及其容量
4
《信息论基础》
3、根据信道参数与时间的关系分为 ① 固定参数信道：信道参数（统计特性）不随时间的变 化而变化。例如光纤、电缆等信道。 ② 时变参数信道：信道参数随时间变化而变化。例如无 线信道。 4、根据信道中所受噪声种类的不同分为 ① 随机差错信道：噪声独立随机地影响每个传输码元。例 如以白噪声为主体的信道。 ② 突发差错信道：干扰的影响是前后相关的，错误成串出 现。例如衰落信道、码间干扰信道。
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
16
《信息论基础》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。 在实际的数字信道中，当信道特性不理想，存在码间干 扰时，输出信号不但与当前的输入信号有关，还与以前的 输入信号有关。常用的处理方法有两种： ①将记忆很强的L个符号当作矢量符号，各矢量符号之 间认为无记忆。这时会引入误差，L越大，误差越小。 ②将转移概率看作记忆长度有限的马尔科夫链的形式， 这种处理方法很复杂，通常取一阶时稍简单。
重点： 无干扰信道、对称信道和准对称信道的信道容量
25
《信息论基础》
一、几个定义
1、信息传输率Ｒ：信道中平均每个符号所能传送的信息量
2、信息传输速率Ｒt：信道中单位时间平均传送的信息量, 即收信者在单位时间内接收到的信息量。单位：bit/秒
26
《信息论基础》
3、信道容量C
1）理论基础：对于固定的信道，平均互信息I ( X ; Y ) 是信源概率分布P ( x ) 的上凸函数。也就是说，存在一个使 某一特定信道的平均互信息达到极大值的信源分布，该极大 值可以用来表述信道传送信息的最大能力，即信道容量。
Y=X+G
式中，G 是一个零均值，方差为σ2的高斯随机变量。 当 X=ai给定后，Y是一个均值为ai，方差为σ2的高斯随机变量。
18
《信息论基础》
四、波形信道
当信道输入和输出都是随机过程{x(t)}和{y(t)} 时，该信 道就称为波形信道，在实际模拟通信系统中，信道都是波 形信道。 如果波形信道为频宽受限信道，在有限的观察时间内， 输入和输出的随机过程可以化为L个时间离散，取值连续的 平稳随机序列。 这样，波形信道化为多维连续信道，信道转移概率密度 函数为
11
《信息论基础》
①无噪无损信道：输入输出一一对应，信道矩阵为单 位阵．
12
《信息论基础》
②无噪有损信道（确定信道）：
H（X/Y）〉0，H（Y/X）=0 信道输出端接收到某个bj 后不能判定是哪个输入符号aj
13
《信息论基础》
③有噪无损信道：H（X/Y）=0， H（Y/X）〉0
14
《信息论基础》
5
《信息论基础》
5、根据信道参数与时间的关系分为 ① 离散信道：输入输出信号在时间、幅度上均为离散。 ② 连续信道：信号幅度连续、时间离散。 ③ 半离散半连续信道：输入输出信号中一个离散、一个连 续。 ④ 波形信道：在时间和幅度上均连续，一般可以用随机过 程来表示。限时限频的随机过程可以分解为离散的随机 序列，所以波形信道可以被分解为离散信道、连续信道 和半离散半连续信道。
21
《信息论基础》
加性多维连续信道中，输入矢量、输出矢量和噪 声矢量的关系表示为：
以后主要讨论加性信道，噪声源则主要是加性高 斯白噪声。
22
《信息论基础》
五、信道模型的选取
在分析问题时选用何种信道模型完全取决于分析者的目的