当前位置：文档之家 › 3-2_第3章3.3_多符号离散信道

3-2_第3章3.3_多符号离散信道

  • 格式：ppt
  • 大小：398.50 KB
  • 文档页数：40

下载文档原格式

  / 40

合集下载

34 连续信道的信道容量.ppt

34 连续信道的信道容量.ppt
则Y=X+N
定理：时间离散的高斯信道，若X、N高斯分布且 独立，则I(X;Y)=H(Y)-H(N)
证明：因为I(X;Y)=H(Y)-H(Y/X)
所以要证结论成立，即证H(Y/X)= H(N)
2021/8/8
3
时间离散的高斯信道
H(Y/X)= H(N)的证明如下：
H (Y / X ) p(x) p( y / x) log p( y / x)dxdy
时间连续的高斯信道
时间连续的高斯信道可以对其进行采样，使其变成 时间离散的高斯信道：
设信道带宽为[0，B],根据采样定理，采样频率为
2B,采样周期T=1/（2B）,这样可以在接收端无失真
的恢复出原始连续信号。则时间连续的高斯信道的
信道容量为
C采样后的离散信道 C t
T每个采样点所占的周期
1 log(1 S )
所以：等于是研究最坏情况下得到的信道容量。
所以：在所有具有噪声平均功率为N的加性噪声信道 中，高斯噪声信道的容量最小。
即若Y=X+N,
则（1）N为非高斯噪声时的信道容量大于N为高斯
噪声时的信道容量：
C非高斯信道
C高斯信道
1 log(1 2
S) N
2021/8/8
加性噪声信道的容量下限
8
本章主要内容
第3章 信道容量
2021/8/8
1
本章主要内容
3.1信道的数学模型与分类 3.2单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.5 连续信道及其容量 3.6 信道编码定理
2021/8/8
2
3.4 连续信道的信道容量
时间离散的高斯信道
时间离散的高斯信道的数学模型：

第三章离散信道及其信道容量

第三章离散信道及其信道容量

0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1

第3章 离散信道

第3章 离散信道

Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y
j 1
s
j
| xi ) 1
(i=1,2,…,r)
11
1.离散单符号信道的数学模型
信道传递概率可以用信道矩阵来表示：
I ( X ;Y )

i 1 j 1
n
m
p ( xi y j ) I ( xi ; y j )

i 1 j 1
n
m
p ( xi y j ) log 2
p ( xi / y j ) p ( xi )

站在输入端：I(Y;X) —发出 X 前、后关于 Y 的先验不确定 度减少的量。
I (Y ; X )
7
信道分类
按输入/输出之间的记忆性来划分： 无记忆信道：信道在某时刻的输出只与信道该时刻 的输入有关而与信道其他时刻的输入、输出无关。 有记忆信道：信道在某时刻的输出与其他时刻的输 入、输出有关。
根据信道的输入/输出是否是确定关系可分为: 有噪声信道 无噪声信道
8
3.1 信道疑义度与平均互信息量
bj I ( X ; Y )是 p ( )的 a i
27
5 平均互信息和各类熵的关系
I(X;Y)= H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY) X, Y 互相独立时
且
p ( xi | y j ) 1
i 1
r
j =1，2，…，s
18
2.信道疑义度H(X|Y)

信息论-第3章多符号离散信源与信道

信息论-第3章多符号离散信源与信道
ai1,ai2, ,aiN 分别 i在 表时 1 ,示 2, ,刻 N 时刻的
N维平稳 XX 信 1X2 源 XN共可以 rN种 发 不 出 同的
rN
0p(i)p(ai1ai2 aiN )1 p(i)1 i 1 6
3.1 离散平稳信源的数学模型
数学模型
信源空间
X Pp (11)
2 p(2)
p (rN rN)
r
0p (a i)1(i1 ,2 , ,r) p (a i)1 i 1
则 X 称为离散无记忆信源。
9
3.2 离散平稳无记忆信源的信息熵
若N维离散平稳信源 XX1X2 XN 中，各时刻 随机变量 Xk(k1,2, ,N)之间相互统计独立，则 我们将 XX1X2 XN称为N维离散平稳无记忆信源。 对N维离散平稳无记忆信源 XX1X2 XN，有
11
3.2 离散平稳无记忆信源的信息熵
二 离散无记忆信源的信息熵
1. 最简单离散信源 用一维随机变量X描述，其数学模型为
pX (x)p(aa 11)
a2 p(a2)
aq p(aq)
q
且
p(ai)1, p(ai)0,i1,2, ,q
i1
特点:
消 息 符 号 彼 此 统 计 独 立 消 息 符 号 具 有 相 同 概 率 分 布
第3章 多符号离散信源与信道
• 内容提要 3.1 离散平稳信源的数学模型 3.2 离散平稳无记忆信源的信息熵 3.3 离散平稳有记忆信源的信息熵 3.4 离散平稳有记忆信源的极限熵 3.5 马尔可夫信源的极限熵 3.6 信源的剩余度和结构信息
1
3.1 离散平稳信源的数学模型
1. 基本概念
2. 多符号离散信源：由多个符号组成的时间（或空间） 序列

第3章 离散信道概述

第3章 离散信道概述
求： 1. 联合概率: p(xi yj)= p(xi)p(yj| xi)= p(yj)p(xi | yj) i=1,2,…,r；j=1,2,…,s
16
2. 输出符号概率: p( y j ) p( xi y j ) p( xi ) p( y j | xi )
i 1 i 1
1.离散单符号信道的数学模型 r r

问题：在什么条件下，通过信道的信息量最大，即
信道容量的问题。
3
信道的主要研究内容： 信道的分类和建模（信道的统计特性描述） √
信道传输信息的能力（信道容量） √
在有噪信道中能否实现可靠传输？怎样实现可靠 传输？
4
信道分类
按输入/输出信号的幅度和时间特性划分：
幅度 时间
信道分类名称
离散 离散 离散信道/数字信道（例如：数字电话） 连续 离散 连续信道 连续 连续 模拟信道/波形信道（例如：普通电话） 离散 连续 （理论和实用价值均很小）
5
信道分类

根据输入、输出信号的时间特性和取值特性，可以 将信号划分为：
◦
◦
离散信道：指输入输出随机变量均为离散的信道 连续信道：指输入输出随机变量均为离散的信道
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y
j 1
s
j
| xi ) 1
(i=1,2,…,r)
11
1.离散单符号信道的数学模型
信道传递概率可以用信道矩阵来表示：
PY PX PY | X
17
1.离散单符号信道的数学模型

03-多符号离散信源

03-多符号离散信源

X的数学模型
a2 ,，an 2 X a1 , P( X ) p(a ), p(a ), , p(a ) 2 1 n2 并且
p(a ) p( x
i 1 i i1 1 i2 1
n2
n
n
i1
) p( xi2 / xi1 ) p( xi1 ) p( xi2 / xi1 ) 1
2013-7-25
电信学院 江小平
16/24
马尔可夫信源
2013-7-25
电信学院 江小平
17/24
信源的状态和符号集



有一类信源(马尔可夫信源)，输出的符号序列中符号之间 的依赖关系是有限的，即任何时刻信源符号发生的概率只 与前面已经发出的若干个符号有关，而与更前面发出的符 号无关。 设符号集为X和状态为S。信源输出的信息符号还与信源 所处的状态有关。 状态S∈{e1,e2,…,ej} 符号X∈{x1,x2, …,xn} 每一时刻信源发出一个符号后，所处的状态将发生转移。 信源输出的随机符号序列为 X1,X2, …,Xl-1,Xl, … 信源所处的随机状态序列为 S1,S2, …,Sl-1,Sl, …
电信学院 江小平
2013-7-25
18/24
马尔可夫信源定义

马尔可夫信源：信源输出的符号和所处的状态满足下列
两个条件。 某一时刻信源符号的输出只与此刻信源所处的状态有关， 与以前的状态和以前的输出符号都无关。即 P(Xl=xk /Sl=ei , Xl-1=xk-1 , Sl-1=ej ,…) =pl(xk /ei) 当具有时齐性时有 pl(xk /ei)= p(xk /ei) 信源某l时刻所处的状态由当前的输出符号和前一时刻(l-1) 信源的状态惟一确定。即

3.3 多符号离散信道的信道容量-17页精选文档


2 log 2 [2 p log p 2 p log p]
2 log 2 2H ( p, p) 2C
推广： DM 对 的 N C 次 称扩展信 :CN道 N容 C 量
2020/1/9
CN次扩展信 道 NC
10
独立并联信道的信道容量
多个独立的单符号信道的并联信道的数学
Def：输入输出都是长为N的多符号离散消息，这样 的信道称为多符号离散信道。
设信源XN： XNX 1X 2 X N X(x1,x2, xn)
信宿YN： YNY 1 Y 2 Y N Y(y1,y2, ym)
则N次扩展信道的转移概率矩阵为
pN(j |i)
i 1,2,.... n N
log 22 H ( p2，p p，p p, p2 )

2 log
2
2
p
log
2
p

2 p p log
pp

p2
log
p2

2 log
2
2 [2 p
log
p

2 p p log
p

2
p p log
p

2 p2
log
p]
2 log 2 [2 p( p p) log p 2 p( p p) log p]
1 y11 y12 00 , 2 y 21 y 22 01 3 y 31 y 32 10 , 4 y 41 y 42 11
2020/1/9
5
则
p ( 1 / 1 ) p ( y11 y12 / x11 x12 ) p ( y11 / x11 ) p ( y12 / x12 ) p(00 / 00 ) p(0 / 0) p(0 / 0) p p

多符号离散信道(1)

p11 p(b1 / a1) p(00 / 00) p(0 / 0) p(0 / 0) p2 p12 p(b2 / a1) p(01/ 00) p(0 / 0) p(1/ 0) pp p13 p(b3 / a1) p(10 / 00) p(1/ 0) p(0 / 0) pp p14 p(b4 / a1) p(11/ 00) p(1/ 0) p(1/ 0) p2 同样，还可求出其它 pij p(bj / ai ) i 1, 2,3, 4; j 1, 2,3, 4
b j ( y j1 , y j2 , , y jN )； j 1, 2, , mN，j k (1, 2, , m)
mN
且满足 pij 1 j 1
i 1, 2, , nN
这仍意味着N次扩展信道矩阵中各行之和为 1 。
6
N次扩展信道的信道矩阵
由于信道是无记忆的，故有 pij p(bj / ai ) p( y j1 y j2 y jN / xi1 xi2
输入符号集为X2 =00,01,10,11，共有nN 22 4个输入符号。
输出符号集为Y2 =00,01,10,11，共有mN 22 4个输出符号。
8
例 二次扩展信道的传递概 率
根据信道的无记忆特性，可以求出二次扩展信道的 传递概率 p(bj / ai )，i, j 1, 2,3, 4为
• 一般离散无记忆信道的数学模型基本上与 输入和输出为单符号的简单离散无记忆信 道的模型相同。
• 不同的是其输入和输出不是单个随机变量X 和Y，而是随机序列
X ( X1X 2 , X N )和Y (Y1Y2 ,YN ).
• 其概率空间为 [X, p(y/x), Y]
2
简单的离散无记忆信道
• 简单的离散无记忆信道的输入和输出都是 单个随机变量，其数学模型如下图：

第3章-信道与信道容量复习过程

加性高斯白噪声（AWGN）信道 Y＝X＋G
式中，G是均值为零、方差为σ2的高斯随机变量
当X给定，Y是一个均值为ai、方差为σ2的高斯随机
变量
p y/ai
1 ey2a2i2
2
2020/6/21
10
信道模型
4. 波形信道
输入是模拟波形，输出也是模拟波形
连续无记忆信道和连续有记忆信道
任一时刻输出变量与以前时刻的输入输出是否有关
2020/6/21
7
信道模型
1. 二进制离散信道：BSC信道 输入符号X取值{0,1} 输出符号Y取值{0,1} 信道转移概率 p(0/0) = 1－p p(0/1) = p p(1/1) = 1－p p(1/0) = p
1-p
0
0
输 入
p p
输 出
1
1-p
1
P
1 p
pቤተ መጻሕፍቲ ባይዱ
p 1 p
无错传输概率 有错传输概率
信道容量的定义
信道容量
CmaxI(X;Y) p(ai)
n m
m p(a aix ) i1j1pai
pbj/ai logpp bjb /jai
信道容量C的单位是信道上每传送一个符号所能携带
的比特数，即比特/符号。
如果以e为底，即取自然对数时，信道容量的单位是 奈特/符号。
如果已知符号传送周期是T 秒，信道容量Ct=C /T， 单位为bit/s或nat/s。
离散信道：输入和输出的信号在时间和幅度上 均为离散的信道。
连续信道：信号的幅度连续，时间离散。 半离散半连续信道：
输入变量取值离散而输出变量取值连续。 输入变量取值连续而输出变量取值离散。 波形信道：信道的输入和输出信号在时间和幅 度上均连续，一般可用随机过程来描述。

第三章 多符号离散信源与信道


极限熵的求取
• 例3.3 m=2 , r=2。因此状态有rm = 4个: S1 ~ S4 测得一步转移概率为： 写成矩阵形式：
各态遍历性的判定
方法1：
香农线图（有限状态机）
各态遍历的判定
• 方法2：不可约闭集，且非周期性 （1）不可约：闭集中不存在闭集
（2）非周期性： 所有出发状态回到该状态所需的步数不存 在公因子
第6节 信源的剩余度
第7节 离散无记忆信道容量
作业
• 本章作业：3.7, 3.10
• 在本人研究领域中，需找一篇利用马尔科 夫链进行研究的文献，理解并制作5-10页 PPT，在课堂上介绍5-10分钟。时间：第18 周中。
规律影响后续时刻的取值 • 平稳性：不同时刻的联合概率相等
离散平稳有记忆信源的数学模型
• 联合概率求取：
• 完备集证明：式（3.24~3.26）
• 二维离散平稳信源的例子：式（3.27~3.42）
二维离散平稳信源的熵
• 无记忆 • 有记忆（3.27-3.32）
• 有记忆/无记忆信源熵的比较（3.33-3.42）： • 定义平均符号熵：HN(X)
奇数步转移概率：
偶数步转移概率：
极限熵的求取
1）求状态极限概率
的约束下
的唯一解。
例3.3中的极限概率方程组：
2）极限状态概率和转移概率求极限熵
例3.4 二 维 M 信 源 状 态 稳 定 过 程
例3.4（看图计算）
1）写出一步转移矩阵； 2）画出状态转移图；
3）判断各态遍历性；
4）列出方程组，求解极限概率； 5）求极限熵。
第三章 多符号离散信源与信道
第1~5节
第一节 多符号离散平稳信源 的数学模型
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第3章 信道容量

3.1 3.2 3.3


பைடு நூலகம்
信道的数学模型和分类 单符号离散信道的信道容量 多符号离散信道
3.3.1 多符号离散信道的数学模型 3.3.2 离散无记忆信道和独立并联信道的信道 容量

3.4 3.5 3.6
多用户信道 连续信道 信道编码定理
1
离散无记忆N次扩展信道


a1 0 0
p (bj / a ij p i)
0 0 b1
0 1 b2
X
N
a2 01
a3 10
Y
N
1 0 b3
a4 11
11 b 4
11
N次扩展信道的平均互信息
根据平均互信息的定义， 可以求出N次扩展信道的平均互信息 I (X ; Y ) H ( X N ) H ( X H (Y N ) H (Y
6
N次扩展信道的信道矩阵
由 于 信 道 是 无 记 忆 的 ， 故 有 p p ( b a pyy (j i j j/ i) 1 j 2 y /xx j i N 1 i 2 x ) py ( jk /x i ik) N
k 1 N
N N 其 中 ： i 1 ,2 , ,n ;j 1 ,2 , ,m
mN

, x i N )； i 1, 2,
n N ， i k (1, 2,
, n) ,m)
, y j N )； j 1, 2, i 1, 2, ,nN
, m N ， j k (1, 2,

j 1
p ij 1
这仍意味着N次扩展信道矩阵中各行之和为 1 。
根 据 信 道 的 无 记 忆 特 性 ， 有 pb ( j/ a ( j1y ...y /x x ...x ) py ( jk /x i)py j2 j N i 1 i2 i N i k)
k 1
5
N
N次扩展信道的信道矩阵
p1 1 p1 2 p1 m N p2mN p 21 p 22 N次扩展信道的信道矩阵为 P pnN mN pnN 1 pnN 2 其 中 : p ij p ( b j / a i ) i 1, 2, , n N ; j 1, 2, , m N a i ( x i1 , x i2 , b j ( y j1 , y j 2 , 且满足
4
离散无记忆信道的N次扩展信道

此离散无记忆信道的N次扩展信道的数学模 型如下图：
X
N
N次扩展信道
Y
N
p (b j / a i )
N N 输 入 随 机 矢 量的 X 可 能 取 值 有 n 个 ， 分 别 是 a ， i 1 ,2 , … , n i N N 输 出 随 机 矢 量的 Y 可 能 取 值 有 m 个 ， 分 别 是 b ， j 1 ,2 , … , m j
X N N
一般离散无记忆信道的数学模型基本上与输 入和输出为单符号的简单离散无记忆信道的 模型相同。 不同的是其输入和输出不是单个随机变量X 和Y，而是随机序列 X ( X X , X ) 和 Y ( Y Y ,) Y . 1 2 N 1 2 N

,p (y /x ) ,Y ] 其概率空间为 [X
2
简单的离散无记忆信道
8
例 二次扩展信道的传递概率
根据信道的无记忆特性，可以求出二次扩展信道的 传递概率 p (b j / ai )， i, j 1, 2, 3, 4为 p11 p (b1 / a1 ) p (00 / 00) p (0 / 0) p (0 / 0) p 2 p12 p (b2 / a1 ) p (01/ 00) p (0 / 0) p (1/ 0) pp p13 p (b3 / a1 ) p (10 / 00) p (1/ 0) p (0 / 0) pp p14 p (b4 / a1 ) p (11/ 00) p (1 / 0) p (1/ 0) p 2 同样，还可求出其它 p ij p (b j / ai ) i 1, 2, 3, 4; j 1, 2, 3, 4
9
例 二次扩展信道的信道矩阵

从而求得二元对称信道的二次扩展信道的信 道矩阵为： p 2 pp pp p 2 2 2 pp p p pp P pp p 2 p 2 pp 2 2 pp pp p p
10
例 二元对称信道的二次扩展信道

二元对称信道的二次扩展信道如下图所示：

简单的离散无记忆信道的输入和输出都是单 个随机变量，其数学模型如下图：
X
信道
Y

信道的输入随机变量取值于符号集X 信道的输出随机变量取值于符号集Y
X { x x . . . , x } ; Y { y y . . . , y } 1 , 2 , n 1 , 2 , m
p ( y j / xi )
7
例 二元对称信道的二次扩展信道

分析二元无记忆对称信道的二次扩展信道。
0
X
p
p
p
Y
0
1
p
1
二 元 无 记 忆 对 称 信 道 的 输 入 和 输 出 随 机 变 量 X 和 Y 都 取 值 于 同 一 符 号 集 0 , 1 ， 因 此 ， 二 次 扩 展 信 道 的
2 N 2 输 入 符 号 集 为 X=0 , 0 1 , 1 0 , 1 1 ， 共 有 n 2 4 个 输 入 符 号 。 0 2 N 2 输 出 符 号 集 为 Y=0 , 0 1 , 1 0 , 1 1 ， 共 有 m 2 4 个 输 出 符 号 。 0

(yj / x 信道的传递概率为 p ij p i)
3
简单的离散无记忆信道

信道矩阵为： p11
且满足


p 1; ij
j 1
m
P p n1
p1 m p nm
i 1 ,2 , ,n
这意味着矩阵中每一行之和为1。
其 中 p p ( y x P ( Y y X x i j j/ i) j/ i) 其 概 率 空 间 为 [, X P ( y x , Y ] . j/ i)