当前位置：文档之家 › 3.3 多符号离散信道的信道容量

3.3 多符号离散信道的信道容量

  • 格式：doc
  • 大小：34.50 KB
  • 文档页数：12

下载文档原格式

  / 12

合集下载

34 连续信道的信道容量.ppt

34 连续信道的信道容量.ppt
则Y=X+N
定理：时间离散的高斯信道，若X、N高斯分布且 独立，则I(X;Y)=H(Y)-H(N)
证明：因为I(X;Y)=H(Y)-H(Y/X)
所以要证结论成立，即证H(Y/X)= H(N)
2021/8/8
3
时间离散的高斯信道
H(Y/X)= H(N)的证明如下：
H (Y / X ) p(x) p( y / x) log p( y / x)dxdy
时间连续的高斯信道
时间连续的高斯信道可以对其进行采样，使其变成 时间离散的高斯信道：
设信道带宽为[0，B],根据采样定理，采样频率为
2B,采样周期T=1/（2B）,这样可以在接收端无失真
的恢复出原始连续信号。则时间连续的高斯信道的
信道容量为
C采样后的离散信道 C t
T每个采样点所占的周期
1 log(1 S )
所以：等于是研究最坏情况下得到的信道容量。
所以：在所有具有噪声平均功率为N的加性噪声信道 中，高斯噪声信道的容量最小。
即若Y=X+N,
则（1）N为非高斯噪声时的信道容量大于N为高斯
噪声时的信道容量：
C非高斯信道
C高斯信道
1 log(1 2
S) N
2021/8/8
加性噪声信道的容量下限
8
本章主要内容
第3章 信道容量
2021/8/8
1
本章主要内容
3.1信道的数学模型与分类 3.2单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.5 连续信道及其容量 3.6 信道编码定理
2021/8/8
2
3.4 连续信道的信道容量
时间离散的高斯信道
时间离散的高斯信道的数学模型：

第三章离散信道及其信道容量

第三章离散信道及其信道容量

0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1

z第三章_信道容量

z第三章_信道容量
1
0 1 1 2
1 1 0 2 1 log 1 0 log 0 0
1 0
1 (1 ) 2 log (1 ) log(1 ) 2 log log(1 ) 1 1 log (1 )
第1章：概述 第2章：信源熵
第3章：信道容量
第4章：信息率失真函数
第5章：信源编码
第6章：信道编码
第7章：密码体制的安全性测度
§3.1 信道容量的数学模型和分类
§3.2 单符号离散信源
§3.3 多符号离散信源
§3.4 多用户信道 §3.5 信道编码定理
§3.1 信道的数学模型和分类
信道的数学模型： {X P(Y/X) Y}
X a1 , a2 ,an Y b1 , b2 ,bn
p p n1 p n1 p n1

...... ...... ...... p n1
p ...... p n1
p n 1 p n 1 p
C log 2 e
p (b
j m j
m
j
/ ai ) log p(b j / ai )
p(b j / ai ) log p(b j ) C p(b j / ai )[log p(b j ) C ]
j m
令 j log p(b j ) C
p (b

p (b j ) p (a i ) p (b j / a i )
i
n
dp(b j ) dp(ai )
p(b j / ai ) log x ln x log e

第3章 离散信道及其信道容量

第3章 离散信道及其信道容量
1 p(b j ) p(ai ) p(b j / ai ) p(b j / ai ) n i i
对称离散信道及其容量

对称信道的信道容量容量
C＝max I ( X ; Y ) max[ H ( X ) H ( X | Y )] max[ H (Y ) H (Y | X )] max H (Y ) H (Y / X )
3.2 单符号离散信道

二进制对称信道（BSC）
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p

如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性

平均互信息量
I ( X ; Y ) p( xy) log
p ( ai )
几个特殊信道的信道容量

无干扰离散信道的信道容量
Y 1 1 1 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 X 1 Y X 1 1 1 Y
aX
(a) 无噪无损信道
几个特殊信道的信道容量

X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n

如果上述方程组存在解{pi}:
P(a ) P(b
i i j
j
/ ai ) log
也就是说：C loge
一般离散信道的信道容量

特别的，当信道转移矩阵非奇异时，对n个i：
p(b
j
j
/ ai ) log
p (b j / ai ) p (b j )

信息论基础第3章离散信道及其信道容量

信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配

第三章离散信道及其信道容量

第三章离散信道及其信道容量

p(ym/x1)
p(ym/x2) … p(ym/xn)
第一节 信道的数学模型及分类 为了表述简便，可以写成 P(bj / ai ) pij
p11 p P 21 ... pr1 p12 ... p22 ... pr 2 ... p1s p2 s ... prs
i 1 r
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
（3）后验概率
P(ai / b j )
P(aib j ) P(b j )
P(a / b ) 1
i 1 i j
r
表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节 平均互信息
第三节 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵。
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 x2 x3 I(X;Y)=H(X)=H(Y) y1 y2 y3

信息论基础离散信道及其信道容量

量X的条件下，对随机变量Y尚存在 的不确定性。噪声熵完全是由于信 道中噪声引起的，也称为散布度， 它反映了信道中噪声源的不确定性。
通信与信息基础教学部
30
信息论课件
平均互信息
互信息：信道输出端接收到某消息y（或
某消息序列y）后获得关于输入端某消息x （或某消息序列x）的信息量
I (x; y) log P(x / y) log P(xy) log P( y / x)
通信与信息基础教学部
16
信息论课件
几个重要的单符号离散信道
对称离散信道：信道矩阵中的行元素集 合相同，列元素集合也相同的信道，称 为对称信道。
通信与信息基础教学部
17
信息论课件
例：二元对称信道Binary Symmetric Channel (BSC)
1 p
0
0
p
p
1 1 p 1
通信与信息基础教学部
既不作“1”，也不作“0”
通信与信息基础教学部
21
信息论课件
例：二元删除信道Binary Erasure Channel (BEC)
p
0
0
1 p
1 q
e
1
q
1
通信与信息基础教学部
22
信息论课件
单符号离散信道的一些概率关系
对于信道[ X, P, Y ]，
先
后
输入和输出符号的联合概率
验 概
验 概
通信与信息基础教学部
4
信道分类
信息论课件
根据信道的用户多少：
两端(单用户)信道 ■ 多端(多用户)信道
根据信道输入端和输出端的关联：
无反馈信道
■ 反馈信道

信道容量 第三章

整理ppt 10
3.4-III 高斯加性连续信道及其容量
对于高斯加性信道
YXN
2 x
Px
2 y
Py
输入平 均功率
输出平 均功率
Py Px PN
1
m p(a xx ){H c(Y)}2lo 整g 理p2 pt e(
x 22)
11
3.4-III 高斯加性连续信道及其容量
Cm p(axx ){Hc(Y)}Hc(N)1 2log2e(x22)1 2log2e2 1 2log(x 222)1 2log(1P P N x)
信噪功率比
香农公式
Ct
Wlog1(
Px PN
)
(bit/s)
☞ P x 1
PN
Ct
Px N 整理ppt 0
log 2 e
N0
PN W
12
3.5 信道编码定理
整理ppt 13
3.5 信道编码定理
信道编码定理：
若有一离散无记忆平稳信道，其容量为C，输入序列 长度为L，只要待传送的信息率R<C，总可以找到一 种编码，当L足够长时，译码差错概率 Pe ， 为任 意大于零的正数。反之，当 R>C 时，任何编码的 P e 必大于零，当 L 时， Pe 1 。
3.4-III 高斯加性连续信道及其容量
假定N是均值为0，方差为 2 PN 的高斯变量 噪
Hc(N)1 2lo2ge2
声 功 率
C m p ( a x x ){ H c ( Y ) } H c ( N ) m p ( a x x ){ H c ( Y ) } 1 2 lo g 2 e2
结论
整理ppt 14
P100 3.11 P101 3.14 P101 3.18

第三章信道容量


max
p(ai )
[
H
(Y
)
H
ni
]
log 2 n Hni
要使H (Y )达到最大值log n， 只要p(bi ) 1/ n即可， 此时求解
下列方程求出输入端的概率分布{ p(ai )}i1,2,..., n :
n
p(bj ) p(ai ) p(bj / ai ) i 1
( j 1,2,..., n)
下列方程求出输入端的概率分布{p(ai )}i1,2,3 :
1 3
p(a1) 1
p(a2 ) 1
1 3
p(a3) 1
p(a4 ) 1
1 3
p(a5 ) 1
二、强对称(均匀)离散信道的信道容量
X
a1
,
a2
,a n
n=m
Y b1, b2 ,bn
1 p
Pnn
p
n
1
p
n 1
p n 1
1 p
...... p
x1
1 0 0 0 0 0
P 0
1
1
0
0
0
22
x2
0
0
0
1 6
2 6
3 6
x3
计算该信道的信道容量。
1 y1
1/2
y2
1/2 1/6
y3 y4
2/6
y5
3/6 y6
1. 先考察平均互信息量I（X; Y）= H（X）-H（X︱Y）， 在无噪信道条件下，H（X︱Y）= 0，则平均互信息量I（ X; Y）= H（X）
p
n 1
p n 1
1 p
...... p
n 1

离散信道及其信道容量课件


离散信道的应用场景
01
02
数据通信
数字电视
03 数字电话
CHAPTER
离散信道模型
输入输出符号集
输入符号集
输出符号集
输入输出概率分布
输入概率分布
输出概率分布
转移概率
定义
转移概率表示在给定输入符号下，输出符号出现的条件概率，即$P(Y=y|X=x)$。
计算方法
根据输入输出概率分布和转移概率的定义，可以通过以下公式计算转移概率： $P(Y=y|X=x) = frac{P(X=x, Y=y)}{P(X=x)}$。
CHAPTER
离散信道容量
信道容量的定 义 01 02
单符号离散信道容量
在无记忆信道中，每个符号独立地通 过信道，信道状态与符号无关，因此 单符号离散信道容量可以通过概率计 算得出。
多符号离散信道容量
多符号离散信道容量是指多个符号在 离散有记忆信道中能够传输的最大信 息量。
多符号离散信道容量的计算方法包括 互信息法、迭代法和密度进化法等。
离散信道容量的应用
数据 传
数据压缩
错误控制编码
通信系统设计
通信协议设计
在通信系统设计中，离散信道容量提供 了关于通信系统性能的理论限制。这有 助于设计者根据这些限制优化通信协议， 提高系统的整体性能。
VS
频谱效率
频谱效率是通信系统设计的重要指标之一。 通过理解和利用离散信道容量，可以更有 效地利用频谱资源，提高频谱效率，从而 在有限的带宽内传输更多的信息。
CHAPTER
离散信道容量的计算方法
解析法
解析法是一种基于概率论和组合数学的计算离散信道容量的方法。它通 过将输入和输出符号之间的概率关系表示为数学表达式，然后求解这些 表达式来计算信道容量。
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

---------------------------------------------------------------最新资料推荐------------------------------------------------------
3.3 多符号离散信道的信道容量
32010年9月19日年月日20102010-9-19c1
1/ 12
本章主要内容 3.1信道的数学模型与分类信道的数学模型与分类3.2单符号离散信道的信道容量单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.4连续信道及其容量连续信道及其容量2c
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 3.3 3.3 多符号离散信道的信道容量多符号离散信道（多符号离散信道（DMC的N次扩展信道）的次扩展信道Def：输入输出都取值于离散符号集合，且都用N个符号表示一条消息的信道。

设原始信源：X有n个符号：X ∈ ( x1 , x2 , xn )a 形成N 次扩展信源XN，则第i条输入消息可记作： i 或xi = (xi1 xiN )，i=1……nN 条输入消息，且每一符号都取自X ，形成N次扩展信宿YN,第j条输出消息可记作： j 或y j = (y j1 y jN ) b ，j=1…….mN 条输出消息, 且每一符号都取自Y 设信道传输N次扩展序列的转移概率记作 p N (b j | a i ) 或p N ( y j | xi ) ,则N次扩展信道的转移概率矩阵为输出端原始信宿：Y有m个符号：Y ∈ ( y1 , y 2 , y m )3c
3/ 12
多符号信道的转移信道概率：多符号信道的转移信道概率： p N ( y1
/ x1 ) p N (Y / X ) = p (y / x N ) N 1 n p N ( y 2 / x1 ) p N ( y m N / x1 ) p N ( y m N / x n N ) p N ( y 2 / xn N )
其中p N ( y j / x i ) = p N [( y j1 y jN ) /( x i1 x iN )]
∵ 无记忆∴= p N ( y j1 / x i1 ) p N ( y j 2 / x i 2 ) p ( y
jN / x iN ) = ∏ p N ( y jk / x ik )k =1 N4c
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 信道如图3.5(a)，x=(x1,x2)=(0,1), 例：设BSC信道如图信道如图， Y=(y1,y2)=(0,1),求2次扩展信道的转移概率矩阵。

次扩展信道的转移概率矩阵。

求次扩展信道的转移概率矩阵解：BSC 信道的转移概率矩阵为p p p= 对称 p p 2次扩展信道的转移概率为 2次扩展信道的转移概率为p 2 ( y j / xi ) = ∏ p N ( y jk / xik )k =1 2= p 2 [( y j1 / xi1 ) /( y j 2 / xi 2 )]其中i, j = 1..2 2 = 4 令x1 = x11 x12 = 00, x 2 = x 21 x 22 = 01 x3 = x31 x32 = 10, x 4 = x 41 x 42 = 11 同理 y1 = y11 y12 = 00, y 2 = y 21 y 22 = 01 y 3 = y 31 y 32 = 10, y 4 = y 41 y 42 = 115c
5/ 12
则p 2 ( y1 / x1 ) = p 2 ( y11 y12 / x11 x12 ) = p ( y11 / x11 ) p( y12 / x12 ) = p (00 / 00) = p(0 / 0) p (0 / 0) = p p p 2 ( y 2 / x1 ) = p (01 / 00) = p(0 / 0) p (1 / 0) = p p p 2 ( y 3 / x1 ) = p(10 / 00) = p (1 / 0) p(0 / 0) = p p p 2 ( y 4 / x1 ) = p (11 / 00) = p(1 / 0) p (1 / 0) = pp 形成转移矩阵的第一行，同理可求出其余各行的值，得 p2 pp P= pp 2 p pp p2pp p2 p2p2 ppppp2 p p p p 2 p 说明：二重时，说明：二重时，仍对称6c
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 多符号DMC的信道容量多符号DMC的信道容量 DMC 设信源为N次扩展信源，个原始信源符号个原始信源符号，条消息；设信源为次扩展信源，n个原始信源符号，nN条消息；次扩展信源条消息信宿为N次扩展信源次扩展信源，个原始信宿符号个原始信宿符号，条消息。

信宿为次扩展信源，m个原始信宿符号，mN条消息。

条消息则若单符号离散信道是对称的，则若单符号离散信道是对称的，则形成的多符号离散无记忆信道也是对称的，忆信道也是对称的，所以C = H (Y ) max H (Y / xi ) = log m N H (Y / xi )例：求上题的二次扩展信道的容量解：因为对称，所以因为对称，7c
7/ 12
代入对称信道的N次扩展信道容量公式代入对称信道的次扩展信道容量公式C N = log m N H (Y / xi ) = log 2 2 H ( p ， p，p p, p 2 ) p = 2 log 2 + p log p + 2 p p log p p + p 2 log p 2 = 2 log 2 + [2(1 2 p + p 2 ) + 2(1 p ) p ] log p + [2 p 2 + 2(1 p ) p ] log p = 2 log 2 + 2(1 p ) log p + 2 p log p =
2 log 2 2 H ( p, p ) = 2C 推广：对称DMC的N次扩展信道容量 :
C N = NC2 2 28c
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 几种组合信道的容量的求解串联信道串联信道的容量C串依据求解串联信道的容量串依据P求解。

串依据求解。

9c
9/ 12
并联信道并联信道的容量C并依据并联信道的容量并依据P(Y1Y2/X1X2)求得二次扩展信并依据求得二次扩展信道的P,然后按照容量公式求。

道的P,然后按照容量公式求。

然后按照容量公式求推广：推广：若是离散无记忆信源的N次扩展信源，若是离散无记忆信源的N次扩展信源，则P (Y1 Yn / X 1 X n ) = ∑ P (Yi / X i )n所以其信道容量ni =1CN= ∑ C i , 其中C i 为P (Yi / X i )的信道容量，又∵ X i 都取自X , Yi 都取自Y，所以C N = NCi =110c
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 若是N个独立单符号离散信道并联，各信道输入Xi和输出Yj分别取自不同集合，则其容量C并max = ∑ C ii =1 n其中Ci为P(Yi / X i )的信道容量和信道：任何时刻，之选择其中的个信道输出和信道：任何时刻，之选择其中的1个信道输出和信道的容量C = ∑ 2 Cii =1 N其中： Ci为第i个信道的容量11c
11/ 12
Thank You!2010年9月19日年月日20102010-9-19c12。