北邮信息论课件-第6章 离散信道及其容量
- 格式：ppt
- 大小：2.04 MB
- 文档页数：78
下载文档原格式
合集下载
信道容量PPT课件
• I（X;Y）＝H（y）-H（Y/X）
p( y j ) ln p( y j ) p( xi ) p( y j / xi ) ln p( y j / xi )
j i j
(0.3 0.2 ) ln(0.3 0.2 ) (0.5 0.2 ) ln(0.5 0.2 ) 0.5 ln 0.5 0.3 ln 0.3
i
说明:
• (1) 两个公式
p( y j ) p(Y y j ) p( xi ) p( y j / xi )
i 0 q 1
I ( X ;Y ) p( xi ) p( y j / xi ) log
i 0 j 0
q 1 Q1
p( y j / xi ) p( y j )
0.3 0.2 0.5 0.3(1 ) 0.5(1 ) 0.2(1 )
由
p( y j ) xi y j 得
i
p(y1)=0.5 +0.3(1- )=0.3+0.2 p(y2)=0.3 +0.5(1- )=0.5-0.2 p(y3)=0.2 +0.2(1- )=0.2 其中p（y3）恒定，与xi的分布无关。
3)当X和Y统计独立时，接收的Y完全与发送 说明损失的信息达到与输人符号信息熵相等
的程度。可得I（X;Y）=0或C＝0，即信道
的X无关，此时P=0.5及H（X/Y）=H（X），
上没能传送任何信息。
（3）准对称DMC信道的容量
• 什么叫准对称DMC信道? 如果转移概率矩阵P是输入对称而输出不对 称，即转移矩阵P的每一行都包含同样的元素 而各列的元素可以不同，则称该矩阵是准对称 DMC信道。 例如，矩阵
《信道及信道容量》PPT课件
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
GO ON
2020/11/12
13
(3) 离散输入连续输出信道 仍是单符号信道，属于半连续半离散信道。
举例：加性高斯白噪声(AWGN)信道 (Addable White Goss Noise)
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
2020/11/12
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
Hc(X) pX (x)log pX (x)dx
Hc
(XY)
p(xy)
log
p(xy)dxdy
Hc
(Y/X)
p(
xy)
log
p(
Y X N , N的概率密度函数是， pN (n)
1
- n2
e 2 2
2
当给定 X ai时，Y是均值为 m ai方差仍为 2的高斯随机变量，
pY ( y | ai )
1
- (y-a i )2
e 2 2
2
2020/11/12
14
(4) 波形信道 输入信号和输出信号用随机过程表示，所以信道模型为:
Hc
(X)
三、 连续信源最大熵定理
1、峰值功率受限的最大熵定理
对于定义域为有限的随机变量X，当它是均匀分布时，其熵
最大。
Hc(X ) pX (x)log2 pX (x)dx log(b a)
2、限平均功率最大熵定理 服从正态分布时具有最大相熵。
p(x)
1
仍是单符号离散信道，符号集中的符号数目大于2 。
GO ON
2020/11/12
13
(3) 离散输入连续输出信道 仍是单符号信道，属于半连续半离散信道。
举例：加性高斯白噪声(AWGN)信道 (Addable White Goss Noise)
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
2020/11/12
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
Hc(X) pX (x)log pX (x)dx
Hc
(XY)
p(xy)
log
p(xy)dxdy
Hc
(Y/X)
p(
xy)
log
p(
Y X N , N的概率密度函数是， pN (n)
1
- n2
e 2 2
2
当给定 X ai时，Y是均值为 m ai方差仍为 2的高斯随机变量，
pY ( y | ai )
1
- (y-a i )2
e 2 2
2
2020/11/12
14
(4) 波形信道 输入信号和输出信号用随机过程表示，所以信道模型为:
Hc
(X)
三、 连续信源最大熵定理
1、峰值功率受限的最大熵定理
对于定义域为有限的随机变量X，当它是均匀分布时，其熵
最大。
Hc(X ) pX (x)log2 pX (x)dx log(b a)
2、限平均功率最大熵定理 服从正态分布时具有最大相熵。
p(x)
1
离散信道及其信道容量
（1）无反馈信道
（2）有反馈信道
第一节 信道的数学模型及分类
根据信道参数与时间的关系： （1）固定参数信道 （2）时变参数信道 根据输入输出信号的特点
（1）离散信道
（2）连续信道
（3）半离散半连续信道：
（4）波形信道 以下我们只研究无反馈、固定参数的单用户离散信道。
第一节 信道的数学模型及分类
2、离散信道的数学模型
…
…
…
…
… xn p(y1/xn) p(y2/xn)
ym
p(ym/x1) p(ym/x2)
… p(ym/xn)
第一节 信道的数学模型及分类
[例1] 二元对称信道（BSC） X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;
0
1
[P]=
0
1-p
y021由此可见一般单符号离散信道的传递概率可以用矩阵表示第一节信道的数学模型及分类第一节信道的数学模型及分类为了表述简便可以写成第一节信道的数学模型及分类1联合概率其中称为前向概率描述信道的噪声特性称为后向概率有时也把称为先验概率把称为后验概率表明输出端收到任一符号必定是输入端某一符号输入所致第二节平均互信息1信道疑义度这是收到后关于x的后验熵表示收到后关于输入符号的信息测度这个条件熵称为信道疑义度表示输出端在收到一个符号后对输入符号尚存的不确定性这是由信道干扰造成的如果没有干扰hxy0一般情括下hxy小于hx说明经过信道传输总能消除一些信源的不确定性从而获得一些信息
X
p
p
? H (Y) ? [ p log 1 ? p log 1 ] ? H (Y) ? H ( p)
p
p
第三节 平均互信息的特性 而： P( y ? 0) ? ? p ? ? p P ( y ? 1 ) ? ? p ? ? p
（2）有反馈信道
第一节 信道的数学模型及分类
根据信道参数与时间的关系： （1）固定参数信道 （2）时变参数信道 根据输入输出信号的特点
（1）离散信道
（2）连续信道
（3）半离散半连续信道：
（4）波形信道 以下我们只研究无反馈、固定参数的单用户离散信道。
第一节 信道的数学模型及分类
2、离散信道的数学模型
…
…
…
…
… xn p(y1/xn) p(y2/xn)
ym
p(ym/x1) p(ym/x2)
… p(ym/xn)
第一节 信道的数学模型及分类
[例1] 二元对称信道（BSC） X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;
0
1
[P]=
0
1-p
y021由此可见一般单符号离散信道的传递概率可以用矩阵表示第一节信道的数学模型及分类第一节信道的数学模型及分类为了表述简便可以写成第一节信道的数学模型及分类1联合概率其中称为前向概率描述信道的噪声特性称为后向概率有时也把称为先验概率把称为后验概率表明输出端收到任一符号必定是输入端某一符号输入所致第二节平均互信息1信道疑义度这是收到后关于x的后验熵表示收到后关于输入符号的信息测度这个条件熵称为信道疑义度表示输出端在收到一个符号后对输入符号尚存的不确定性这是由信道干扰造成的如果没有干扰hxy0一般情括下hxy小于hx说明经过信道传输总能消除一些信源的不确定性从而获得一些信息
X
p
p
? H (Y) ? [ p log 1 ? p log 1 ] ? H (Y) ? H ( p)
p
p
第三节 平均互信息的特性 而： P( y ? 0) ? ? p ? ? p P ( y ? 1 ) ? ? p ? ? p
《信道容量》PPT课件
n
C log r H ( p1, p2 ps ) Nk log M k
k 1
log 2 H ( 1 , 1 , 1 , 1) ( 3 log 3 1 log 1 ) 2488 4 4 4 4
1 1.75 0.811 0h.06（1 比特 / 信道符号） 35
• 另一种简单的方法： • 1.当输入分布为等概率时：计算出各个输出概率
信道容量的取得的过程亦是信源符号概率分布的自我调整的过程某一个输入信源符号对输入提供的平均信息量大于其他符号则势必更多的使用这个信源符号与此同时信源符号的概率分布也就发生了变化和调整由于输入信源符号分布的调整又减少了这个符号对输出提供的平均信息量增加了其他符号提供的平均信息量
第三章
信道与信道容量
h
1
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
分布p(bj); • 2.然后计算H(Y); • 3.C=H(Y)max-H(Y/ai);
h 36
• 上题另解：
h 23
• 找一组信源概率分布，使C达到最大。 • 现在P(bj）=1/s，信源的概率分布为： • 假设信源为等概率分布p(ai)=1/r
p(bj ) p(a1) p(bj / a1) p(a2) p(bj / a2) p(am) p(bj / am) 1/ r[ p(bj / a1) p(bj / a2) p(bj / ar )] 1/ r 常数
C log r H ( p1, p2 ps ) Nk log M k
k 1
log 2 H ( 1 , 1 , 1 , 1) ( 3 log 3 1 log 1 ) 2488 4 4 4 4
1 1.75 0.811 0h.06（1 比特 / 信道符号） 35
• 另一种简单的方法： • 1.当输入分布为等概率时：计算出各个输出概率
信道容量的取得的过程亦是信源符号概率分布的自我调整的过程某一个输入信源符号对输入提供的平均信息量大于其他符号则势必更多的使用这个信源符号与此同时信源符号的概率分布也就发生了变化和调整由于输入信源符号分布的调整又减少了这个符号对输出提供的平均信息量增加了其他符号提供的平均信息量
第三章
信道与信道容量
h
1
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
分布p(bj); • 2.然后计算H(Y); • 3.C=H(Y)max-H(Y/ai);
h 36
• 上题另解：
h 23
• 找一组信源概率分布，使C达到最大。 • 现在P(bj）=1/s，信源的概率分布为： • 假设信源为等概率分布p(ai)=1/r
p(bj ) p(a1) p(bj / a1) p(a2) p(bj / a2) p(am) p(bj / am) 1/ r[ p(bj / a1) p(bj / a2) p(bj / ar )] 1/ r 常数
《信道容量及其计算》课件
熵的定义
熵是衡量信息不确定度的物理量，也可以理解为信 息源的不确定程度。
信息量的定义
信息量是用来衡量某个事件的信息量大小，它与事 件发生的概率成反比。
熵与信息量的关系
熵与信息量成正比，即熵越大，则信息量越多。
信道容量的计算公式
1
离散无记忆信道
不同信源符号对应不同码字，使用香农公式进行计算。
2
连续无记忆信道
总结
1 信道容量的意义
信道容量是衡量信息传输 速率的重要指标，可以优 化传输效率和提高通信质 量。
2 信道容量的应用
信道容量应用广泛，包括 无线通信、光通信、数据 传输等领域。
3 未来的发展趋势
随着技术的发展，信道容 量会越来越高，将大幅提 高信息传输的效率和可靠 性。
信宿接收到的信号是连续的，用瑞利公式计算。
3
大信噪比近似
在大信噪比的情况下，信道容量计算公式可以近似为香农公式。
应用举例
无线通信系统中的信道容量
采用MIMO技术和Turbo编码，可以大幅度提高无线 传输的速率和可靠性。
光通信系统中的信道容量
采用波分复用技术和波分多路复用技术，可以大幅 度提高光纤的传输速率。
信道容量及其计算
本次课件将介绍信道容量的基本概念和计算公式，以及其在无线通信和光通 信等领域的应用举例。
什么是信道容量
信道的定义
信道是信息传输的媒介，以某种信号作为信息的表现形式，通过某种物质媒介进行传播。
信道容量的定义
信道容量是在满息量。
熵与信息量
信息论离散信道及其容量ppt课件
4.2.5 熵、信道疑义度及平均互信息 的相互关系
H(X,Y)=H(X|Y)+H(Y)=H(Y|X)+H(X) I(X;Y)=H(X)-H(X|Y) I(X;Y)=I(Y;X) I(X;Y)=I(Y;X)≥0 I(X;X)=H(X)
;
4.3 离散无记忆扩展信道
4.2节讨论了单个符号的信道传输情况。实际上，一般离散 信道的输入和输出是一序列，因此有必要研究扩展信道。
输入无关。 有记忆信道：信道的输出不;仅与当前的输入有关，与以前
一些特殊信道
无损信道：输出可以决定输入，即知道了信道的输出符号， 能确切判断出它对应的输入符号是什么。
确定信道：输出完全由输入决定，即输入符号一旦定下来， 信道的输出是确定的。
无噪信道：既是无损信道，又是确定信道。输出能决定输 入，输入也能决定输出。现实生活中很少存在这样的信道。
pr1
pr2
prs
;
例4.2.1 二元对称信道
简称为BSC
二元：输入和输出符号集均为{0,1}
对称：1变成0和0变成1的概率相等。
a1=0
1-p
b1=0
p p
a2=1
1-p
b2=1
p(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=p
BSC的信道矩阵：P
p p
p
p
;
r
H(X|bj) p(ai|bj)logp(ai|bj)
i1
表示接收到符号bj后，仍然保留的关于X的平均
不确定性。
;
P (X ,Y)例那 P X4么p p PY .Y Y2||X X .( 14(0 40 P||X0 1 34P二) )p p X X 元( (1 0 14))删43p 除p Y Y ||X X 信102((? ?||道0 1 1132) )p p PX X 023( (1 0 P))Y | X81p p Y Y ||X X 10823((1 1 ||0 1 112132) )p p X X 023( (1 0 )) 01 1 8 01 8 1 411//1 0 2 32 21//P 32X P
信道容量及其计算PPT课件
2
2
1 q
（与公式计算的结果相同）
第15页/共27页
此时平均互信息就是信道容量
C (1 p q) log(1 p q) p log p (1 q) log 2 (1 q)
此例题可作为后面：一般信道容量充分必要条件定理 的例子。该定理说明：只要信源每个符号对于输出端 Y提供相同的互信息（概率为零的除外），则此时 平均互信息就是信道容量。
N
P(X) P( Xi ),
i 1
则
N
I (X; Y) I ( X i ;Yi )
i 1
所以，如果信道和信源都是无记忆的，则
N
I (X; Y) I ( X i ;Yi ) i 1
第23页/共27页
（5）、信道的组合 并联信道：两个或更多个信道并行，同时分别传送；
X1 {ak }
信道1 p(j|k)
1-p 1-q 1
q
0
0 21
2
0 p 1 p 0
1 0 1 q q
1
第2页/共27页
删除信道的必要性
0
1
0
1
？2
第3页/共27页
2、 信道容量定义
信息传输率：信道中平均每个符号所能传送的信息量。 R = I(X;Y) = H(X)-H(X|Y) （bit/符号）
有时我们需要关心单位时间内（一般为秒为单位） 平均传输的信息量，若平均传输一个符号需要 t 秒，则 信道每秒平均传输的信息量为（速率）
I (X ;Y )
X ,Y
p(k h )log
p(h |k ) p(h )
E[log
p(h |k )] p(h )
因为信道是无记忆的：
I ( X ;Y ) E[log p(bh1 | ak1 ) p(bh2 | ak21 ) p(bhN | akN ) ]
信息论基础离散信道及其信道容量优秀PPT
平均互信息的物理含义：
平均互信息的特性
（1）对称性：
I (X ;Y ) I (Y; X )
（2）非负性：
I(X;Y) 0
（3）极值性：
I(X;Y) H(X )
I (Y; X ) H (Y )
（4）凸函数性
平均互信息量 I (X; Y ) 是输入信源概率 分布 P(x) 的上凸函数（研究信道容量 的理论基础）。
p(xyz) 1
XY Z
p( xy)
p( xyz)
p( xz)
Z
p( xyz)
Y
p( yz)
X
p( xyz)
p(
x)
p(
xy)
p(xz)
p(
y)
Y
p(xy)
Z
p(
yz)
X
Z
p(z)
X
p(
xz)
Y
p(
yz)
定义：对于三个离散随机变量X、Y、Z， 在已知Z的条件下，X和Y之间的平均条件 互信息为：
P( y | x) 1 y
根据信道的统计特性即条件概率的不同， 离散信道又可分成如下几种情况
无干扰(无噪)信道：
y f (x)
并且
1 P( y | x) 0
, ,
y f (x) y f (x)
有噪信道：P( y / x) 不是0，1分布，称
为有噪信道
离散有干扰无记忆信道：简称DMC
3.8 串联信道的互信息和数据处理定理 3.9信源与信道的匹配
3.1 信道的数字模型及分类
在信息论中，信道中指信息传输的通道。它是 信息论中与信源并列的另一个主要研究对象。
典型例子：
实际通信中物理通道：电缆、光纤、电波传 布空间、载波线路等；
平均互信息的特性
（1）对称性：
I (X ;Y ) I (Y; X )
（2）非负性：
I(X;Y) 0
（3）极值性：
I(X;Y) H(X )
I (Y; X ) H (Y )
（4）凸函数性
平均互信息量 I (X; Y ) 是输入信源概率 分布 P(x) 的上凸函数（研究信道容量 的理论基础）。
p(xyz) 1
XY Z
p( xy)
p( xyz)
p( xz)
Z
p( xyz)
Y
p( yz)
X
p( xyz)
p(
x)
p(
xy)
p(xz)
p(
y)
Y
p(xy)
Z
p(
yz)
X
Z
p(z)
X
p(
xz)
Y
p(
yz)
定义：对于三个离散随机变量X、Y、Z， 在已知Z的条件下，X和Y之间的平均条件 互信息为：
P( y | x) 1 y
根据信道的统计特性即条件概率的不同， 离散信道又可分成如下几种情况
无干扰(无噪)信道：
y f (x)
并且
1 P( y | x) 0
, ,
y f (x) y f (x)
有噪信道：P( y / x) 不是0，1分布，称
为有噪信道
离散有干扰无记忆信道：简称DMC
3.8 串联信道的互信息和数据处理定理 3.9信源与信道的匹配
3.1 信道的数字模型及分类
在信息论中，信道中指信息传输的通道。它是 信息论中与信源并列的另一个主要研究对象。
典型例子：
实际通信中物理通道：电缆、光纤、电波传 布空间、载波线路等；
离散信道及其容量
第四章离散信道及其容量首先让我们来介绍信道的定义：信道是信息传输的媒介或者通道，它有输入端与输出端，其中输入端输入信息，而输出端输出信息。
下面我们要根据信道传输的信息的特点与信道的输入端与输出端的特点来对信道进行分类：1：信息可分为离散与连续两种，根据信息的这一特点，可以把信道分为：)a离散信道：输入与输出的信息都是离散的信道。
)b连续信道：输入与输出的信息都是连续的信道。
)c半连续信道：输入端信息与输出端信息中有且仅有一端是连续信息的信道。
2：输入端与输出端均既可以只有一个接口，也可以有多个接口，根据信道的这一特点，我们可以把信道分为：)a多元接入信道：多个输入端的信息在一个输出端输出的信道（如卫星通信系统可以同时接收多个地面站的信息）。
)b广播信道：把一个输入端的信息在多个输出端输出的信道（如卫星可以同时把信息发送给多个地面站）。
一般我们把一个信源或者一个信宿称为一个用户，如果整个信道中有三个或三个以上的用户，我们称该信道为多端信道（多用户信道），这样多元接入信道与广播信道都称为多端信道。
而只有一个信源与信宿的信道称为两端信道（两用户信道）。
要注意的是即使信息在传输的过程中没有受到干扰，输出的信息也并不一定与输入的信息是完全一样的（从这个角度来讲，信道不仅具有传输信息的功能，还具有信息转换的功能，如正在研究能在大型会议上使用的中英文翻译器可看作这样的一个信道）。
现在我们具体来研究信道（我们在这里主要考虑的是只有一个输入端与一个输出端的离散信道，而且我们不考虑信息的转换功能）：首先我们要提出一个问题：我们应该从哪个角度来研究信道？我们不会从一个信道单位时间内传输多少个二元码（或别的码）这个角度来研究信道，因为这取决于信道的硬件。
那么我们应该从哪个角度来考虑信道呢？我们知道信息在信道中传输的时候是有可能发生传输错误的，而这会影响信息的传输速度。
举个例子说明：设信道传输的不同符号只有两个：0与1，信道在传输0与1的时候错误概率均为01.0，为了降低传输的错误概率到可以忽视不计，我们就需要在信道传输前在信息中加一些重复码，这样肯定会在降低错误概率的同时降低了传输的速度。
信息论基础离散无记忆信道信道容量
存储的最大信息量，即信息无差错传输的最大 速
率 ，就是信道容量问题.
12
第13页/共23页
信道容量
带宽 :信道可以不失真地传输信号的频率范围。为不同应用而设 计的
传输媒体所支持的带宽有所不同；在现代网络技术中， “带宽” 表示
信道的数据传输速率.
信道容量:信道在单位时间内可以传输的最大信号量，表示信道 的传
p
[P]=
1
p
1-p
p称为交叉 概率误差！
0
1-p 0
p
p
1
1-p
1
19
第20页/共23页
离散无记忆信道和信道容量
如果信道的输入概率分布X={w,1-w}，则
I (X ;Y ) H ( p p) H ( p)
由此可得
20
第21页/共23页
离散无记忆信道和信道容量
平均互信息对 即当
有极大值
I (X ;Y )
p(x, y) log p(x, y)
xX yY
p(x) p(y)
p(x) Q( y | x) log
xX
yY
Q(y | x) p(x)Q( y | x)
xX
15
第16页/共23页
离散无记忆信道和信道容量
通常，P(xi)称为信道的入口分布 P(yi)称为信道的出口分布 i(x;y)=logP(x,y)/P(x)P(y)为入口与
（1）有记忆信道
（2）无记忆信道
（任一时刻输出符号只统计依赖于对应时刻输入符 号的
信道）
7
第8页/共23页
离散无记忆信道
根据输入输出信号的特点，可分为
（1）离散信道
数字信道以数字 脉冲形式（离散 信号）传输数据
离散信道及其信道容量
离散信道及其信道容量
例3
1 1 1 2 2 P( Y / X) 1 1 2 1 2
离散信道及其信道容量
2、互信息量
定义
信宿消息yj的自信息量I(yj)减去信道关于发出消息 xi和接收消息yj的条件信息量I(yj/xi)为信宿消息yj 所含信源消息xi的互信息量，用I(xi; yj)表示。
离散信道及其信道容量
信道对于信息率的容纳并不是无限制 的，它不仅与物理信道本身的特性有关 ，还与信道输入信号的统计特性有关， 它有一个极限值，即信道容量，信道容 量是有关信道的一个很重要的物理量。
离散信道及其信道容量
一般信道的定义及模型
信道是传输信息的媒质或通道。
影响信道传输的因素：噪声、干扰。 噪声、干扰：非函数表述、随机性、统计依赖。 信道的全部特性：输入信号、输出信号，以及它们之间 的依赖关系。 信道的一般数学模型：
P( y1 / x1 ) P( y 2 / x1 ) P( y / x ) P( y / x ) 1 2 2 2 P( Y / X) P( y1 / x n ) P( y 2 / 2 … xn
P(y1/x1) P(y2/x2) … P(ym/xn)
离散信道及其信道容量
信道容量：信息率能大到什么程度
(1)信道容量是信道信息率的上限，定量描述了信道（信息的）最 大通过能力； (2)使得给定信道的达到最大值（即信道容量）的输入分布，称为 最佳输入（概率）分布 (3)信道的I(x;y)与输入概率分布和转移概率分布两者有关，但信 道容量是信道的固有参数，只与信道转移概率有关。
X
P（Y/X） 一般信道的数学模型
Y
离散信道及其信道容量
信道及信道容量PPT课件
j=1,2,…,s
求： 1. 联合概率: p(xi yj)= p(xi)p(yj| xi)= p(yj)p(xi | yj) i=1,2,…,r；j=1,2,…,s
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续7）
r
r
2. 输出符号概率: p(yj) p(xiyj) p(xi)p(yj|xi)
一、信道分类
一. 信道分类（续2）
按输入/输出之间的记忆性来划分： ✓ 无记忆信道：信道在某时刻的输出只与信道该时刻 的输入有关而与信道其他时刻的输入、输出无关。 有记忆信道：信道在某时刻的输出与其他时刻的输 入、输出有关。
根据信道的输入/输出是否是确定关系可分为: ✓ 有噪声信道 无噪声信道
第四章：信道及信道容量
信道特性可以用转移概率矩阵来表示：
P=[p(yj|xi)]r×s
• 信道的数学模型为{X, P(Y|X),Y}
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续4）
例1：二元对称信道 （BSC：binary symmetric channel）
输入符号集A={0,1}, 输出符号集B={0,1}，r＝s＝2．
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s)
s
（2） p( y j | xi ) 1 j 1
(i=1,2,…,r)
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续2）
信道传递概率可以用信道矩阵来表示：
x1 Px2
i1
i1
矩阵表示：
j=1,2,…,s
求： 1. 联合概率: p(xi yj)= p(xi)p(yj| xi)= p(yj)p(xi | yj) i=1,2,…,r；j=1,2,…,s
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续7）
r
r
2. 输出符号概率: p(yj) p(xiyj) p(xi)p(yj|xi)
一、信道分类
一. 信道分类（续2）
按输入/输出之间的记忆性来划分： ✓ 无记忆信道：信道在某时刻的输出只与信道该时刻 的输入有关而与信道其他时刻的输入、输出无关。 有记忆信道：信道在某时刻的输出与其他时刻的输 入、输出有关。
根据信道的输入/输出是否是确定关系可分为: ✓ 有噪声信道 无噪声信道
第四章：信道及信道容量
信道特性可以用转移概率矩阵来表示：
P=[p(yj|xi)]r×s
• 信道的数学模型为{X, P(Y|X),Y}
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续4）
例1：二元对称信道 （BSC：binary symmetric channel）
输入符号集A={0,1}, 输出符号集B={0,1}，r＝s＝2．
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s)
s
（2） p( y j | xi ) 1 j 1
(i=1,2,…,r)
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续2）
信道传递概率可以用信道矩阵来表示：
x1 Px2
i1
i1
矩阵表示：
j=1,2,…,s
离散信道容量
2 2 2 2 2
P(x1y1) = P(x1) P(y1|x1) = 0.5×0.98 = 0.49
即对于一定的信道转移概率分布，总可以找到某 P(x y ) = P(x ) P(y |x ) = 0.5×0.80 = 0.40
一个先验概率分布的信源 X，使平均交互信息量达到 n pmax (yj) p( xi ) p( y j | xi ) ，求Y集合中各符号 （2）根据 I 相应的最大值 ，称此信源为该信道的匹配信源。
（ 3）根据 P(xi是信源概率分布 |yj) = P(xi yj)/P(yj) ，求各后验概率，得 平均互信息 I(X;Y) P(X) 的∩型凸函数
P(x1| y1) = P(x1y1)/ P(y1) = 0.49/0.59 = 0.831 即对于一定的信道转移概率分布，总可以找到某 P(x2| y1) = P(x2y1)/ P(y1) = 0.10/0.59 = 0.169 一个先验概率分布的信源 ，使平均交互信息量达到 P(x1| y2) = P(x1y2)/ P(X y2 ) = 0.01/0.41 = 0.024 相应的最大值 ，称此信源为该信道的匹配信源。 P(x | y ) I =max P(x y )/ P(y ) = 0.40/0.41 = 0.976
称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平 均交互信息量/交互熵）。 X对Y的平均互信息定义为
I (Y ; X ) p( xi y j ) I ( y j ; xi ) p( xi y j )log 2
i 1 j 1 i 1 j 1
n
m
n
m
p ( y j / xi ) p( y j )
p11 p1s P(b / a ) p p j i ij p2 s P 21 ... pr1 prs p12 ... p1s p2 s ... prs
P(x1y1) = P(x1) P(y1|x1) = 0.5×0.98 = 0.49
即对于一定的信道转移概率分布，总可以找到某 P(x y ) = P(x ) P(y |x ) = 0.5×0.80 = 0.40
一个先验概率分布的信源 X，使平均交互信息量达到 n pmax (yj) p( xi ) p( y j | xi ) ，求Y集合中各符号 （2）根据 I 相应的最大值 ，称此信源为该信道的匹配信源。
（ 3）根据 P(xi是信源概率分布 |yj) = P(xi yj)/P(yj) ，求各后验概率，得 平均互信息 I(X;Y) P(X) 的∩型凸函数
P(x1| y1) = P(x1y1)/ P(y1) = 0.49/0.59 = 0.831 即对于一定的信道转移概率分布，总可以找到某 P(x2| y1) = P(x2y1)/ P(y1) = 0.10/0.59 = 0.169 一个先验概率分布的信源 ，使平均交互信息量达到 P(x1| y2) = P(x1y2)/ P(X y2 ) = 0.01/0.41 = 0.024 相应的最大值 ，称此信源为该信道的匹配信源。 P(x | y ) I =max P(x y )/ P(y ) = 0.40/0.41 = 0.976
称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平 均交互信息量/交互熵）。 X对Y的平均互信息定义为
I (Y ; X ) p( xi y j ) I ( y j ; xi ) p( xi y j )log 2
i 1 j 1 i 1 j 1
n
m
n
m
p ( y j / xi ) p( y j )
p11 p1s P(b / a ) p p j i ij p2 s P 21 ... pr1 prs p12 ... p1s p2 s ... prs
信息论-信息论课件ch6-20161206
离散无噪信道的容量 离散对称信道的容量 一般离散信道的容量
Page 11
§§凸§§熵*6§*单函2*2.2的.击.2离.数2.1.此3散1基.1处平1自平添离本信稳自条加信有均散性息标信件记息题无互忆质熵和息自信噪信互（的信源信的信息息1定熵道）息义的与容计量算 信息信L论息OG基论O础
★ 无损信道：每个输出符号只对应一个输入符号。
pij
是由
ai
转移到
b
的概率
j
信L息OG论O
§单§单2符击.2.1此号1.处1自离添条加信散标件息题信和自道互信信息息
信L息OG论O
例 ***
二元对称信道(BSC)，输入与输出符号集分别
为 A {0,1},B {0,1} ，信道转移概率p(y/x)满 足 PY / X (0 | 0) PY / X (1|1) 1 ，ε称为错误率。写出 信道的转移概率矩阵并画出转移概率图。
§凸§6§单函2.击.22数.1.此1.2处1自添离条加信散标件息题对和自称互信信信息道息的容量
信L息OG论O
例 *** 一信道的转移概率矩阵如图，求信道容量和达
到容量时的输出概率。
解：设输出概率为 q1, q2, q3, q4
准对称信道，当输入等概率时达到
1 1 1 1
3 1
3 1
6 1
6 1
1)“接收到第一个数字为0”与发送M1的互信息
2)当“接收到第二个数字也为0”时，关于M1的附加信息
3)当“接收到第三个数字也为0”时，又增加多少关于M1
的信息？
0
1-ε
0
4
ε
解：
1)
q("0" )
i 1
p
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1）高斯噪声信道 信道噪声为高斯分布（白噪声或有色噪声）
2）非高斯噪声信道 信道噪声分布不是高斯分布
11/78
§6.1.2 离散信道的数学模型
噪声
X
信道
Y
P(y|x)
12/78
离散无记忆信道
★ 一般的信道数学模型 ★ 离散无记忆信道 ★ 平稳（或恒参）信道 ★ 单符号离散信道
13/78
一般信道的数学模型
32/78
§6.2.2 离散对称道的容量
例 6.2.3 一信道的转移概率矩阵如图，求信道容量和达
到容量时的输入概率。
1 p
解：设输入输出概率为 pi ，q j ，i 1, 2 , , r
p
r 1
...
由于信道为强对称信道，故当
p r 1
p1 ... pr 1/ r 时,达到容量。
★ 无损信道：输出符号只对应一个输入符号。
C max H (X ) log r (比特/符号)
其中r为输入符号集的大小
X a1 a2
1/2 1/2
1/3 1/6
1/2 26/78
Y b1 b2
b3 b4
b5
§6.2.1 离散无噪信道的容量
★ 确定信道：每个输入符号都对应一个输出符号
C max H (Y ) log s (比特/符号)
p(0|M1 ) q ("0")
1
log 1/ 2
log[2(1 )]
1
ε 1-ε
1
21/78
单符号离散信道
4
2) q("00" )
i1
p
(
M
i
)
p
(00|M
i
)
1 4
[
p
(0|0
)
p
(
0|0)
p
(
0|0)
p
(0|1)
p
(0|1)
p
(
0|0)
p
(
0|1)
p
(0|1)]
1
2
21
4 [(1 ) 2 (1 ) ] 4
到容量时的输出概率。
1/ 2 1/ 3 1/ 6 1/ 6 1/ 2 1/ 3 1/ 3 1/ 6 1/ 2
解： 设输出概率为 q1, q2 , q3 。由于信
道为强对称信道，故当输入等概率 时达到容量C，此时输出也等概率
q1 q2 q3 1/ 3
C log 3 H (1 , 1 , 1) 1.126 比特 / 符号 236
p( y| x) N p( yn | xn ) n 1
则称为此信道为离散无记忆信道（DMC），其数学模 型为：（Discrete Memoryless Channel)
{X , p( yn | xn ),Y}
利用给定时刻的输出符号仅依赖于当前输入符号的条 件可以推出。
15/78
平稳(或恒参)信道
第6章
离散信道及其容量
北京邮电大学 信息与通信工程学院 许文俊
1/78
第6章 离散信道及其容量
★信道是信号的传输媒介，是传送信息 的物理通道。(举例) ★研究信道的目的主要是为了解决信息 如何有效、可靠地传输的问题。 ★本章重点解决某些特殊信道容量的计 算问题。
2/78
本章主要内容
★ 概述 ★ 单符号离散信道及其容量 ★ 级联信道及其容量 ★ 多维矢量信道及其容量 ★ 信道容量的迭代计算
其特点是时间与取值都连续，如C-C’
3) 半连续（或半离散）信道：输入和输出一个为连续、 一个为离散，如B-C’或C-B’
4) 时间离散连续信道：连续取值但时间离散，例如信道 的输入和输出为模拟信号抽样的情况。
7/78
§6.1.1 信道的分类
★ 按输入、输出集合的个数分类
1) 单用户信道：X,Y中各有一个事件集，称单路或单端信道 2) 多用户信道：X,Y中至少有一端是多个事件集，也称多
有记忆信道 输出值不仅依赖于当前输入又依
赖于以前的输入
9/78
§6.1.1 信道的分类
★ 根据信道统计特性划分
1）恒参信道 统计特性不随时间变化（也称平稳信道） 例如：卫星通信信道
2）变参信道 统计特性随时间变化。例如：短波，移动 通信信道
10/78
§6.1.1 信道的分类
★ 根据信道噪声性质划分
输出平均互信息I(X;Y)的最大值：
C max I (X ;Y )
p( x)
1）单位为: 比特/信道符号（奈特/信道符号) 2）当信道给定后,p(y|x)就固定 3）C 仅与p(y|x)有关，而与p(x)无关 4）C是信道传输最大信息速率能力的度量
23/78
多维矢量信道
★若 X N 和 Y N 分别为信道的N维输入与输出随机
为 A {0,1},B {0,1} ，信道转移概率p(y/x)满 足 PY / X (0 | 0) PY / X (1|1) 1 ，ε称为错误率。写出 信道的转移概率矩阵并画出转移概率图。
解： 转移概率矩阵
1
[P]
1
转移概率图
0
1-ε
0
ε
Binary Symmetric Channel
矢量集合，则信道容量定义为：
C max I (XN ; Y N ) p( x1 xN )
其中， p(x1 xN ) 为信道输入矢量的联合概率
24/78
§6.2 单符号离散信道及其容量
★ 离散无噪信道的容量 ★ 离散对称信道的容量 ★ 一般离散信道的容量
25/78
§6.2.1 离散无噪信道的容量
3/78
§6.1 概述
★ 信道的分类 ★ 离散信道的数学模型 ★ 信道容量的定义
4/78
§6.1.1 信道的分类
★ 数字通信系统的基本模型 ★ 依据不同的条件，不同模块之间的通道可以
划分为不同的信道
信源
A
B
编码器
数字调制器
C
连续信道
噪声
信宿
A＇ 译码器 B＇ 数字解调器
C＇
5/78
§6.1.1 信道的分类
33/78
§6.2.2 离散对称道的容量
例 6.2.4 一信道的转移概率矩阵如图，求信道容量和达
到容量时的输出概率。
解：设输出概率为 q1, q2, q3, q4
准对称信道，当输入等概率时达到
1 1 1 1
3 1
3 1
6 1
6 1
6 3 6 3
信道容量。可计算输出概率为
q1
1 [1 26
H(Y)为输入等概率时输出的熵 H(p1,p2,…,ps)为信道转移概率矩阵某行元素
注释: 对强对称信道,输入等概率时达到容量，此时输出 等概率。
C log s H ( p11, p12,..., p1s )
31/78
§6.2.2 离散对称道的容量
例 6.2.2
一信道的转移概率矩阵如图，求信道容量和达
ε
1
1-ε
1
19/78
单符号离散信道
例 6.1.2 二元删除信道：其中A={0,1}, B={0,2,1}画 出转移概率图和转移概率矩阵。
解： 转移概率矩阵
p 1 p 0
P
0 1 q q
转移概率图
p
0
0
1-p
2
1-q
1
1
q
20/78
单符号离散信道
例 6.1.3 四个等概消息，编成的码字为 M1 000，M 2 011 M3 101，M 4 110，当通过下图所示二进制对称 无记忆信道传输时，求:
0
0.7
0
0
0.7
0
0.2
0.1
1
0.1 0.2
0.2
0.1
1
0.2 0.1
1
2
1
2
0.7
0.7
(a)
(b)
29/78
§6.2.2 离散对称道的容量
解：(a)可分成两个子矩阵
0.7 0.2 0.1 0.2 0.7 0.1 0.1 0.2 0.7 0.2 0.1 0.7
所以为 对称信道
(b)的概率转移矩阵为
16/78
单符号离散信道
★ 对于离散平稳无记忆信道，可以用一维条件
概率描述
★ 这种用一维条件概率描述的信道为：单符号
离散信道
其中，信道的输入X与输出Y都是一维随机变量集合， x∈X，取自字母表, A {a1,..., ar } 。y∈Y，取自字母 表 B {b1,..., bs }
★ 信道转移概率简记为：
p( y | x) p( y bj | x ai ) PY / X (bj | ai ) pij
17/78
单符号离散信道
★ 信道转移概率矩阵
p11 p12 p1s
[
P]
p21
p22
p2
s
pr1
pr2
prs
pij
是由
ai
转移到
b
的概率
j
18/78
单符号离散信道
例 6.1.1 二元对称信道(BSC)，输入与输出符号集分别
)33(1
)
2
]
1 4
2
(1 )(4
2
1)
互信息I (M1 ; "000" )
log
p (000|M1 ) q("000")
2
2 log[2(1 )] log(4
2
1)
又增加的信息 log(4 2 2 1)
22/78
§6.1.3 信道容量的定义
2）非高斯噪声信道 信道噪声分布不是高斯分布
11/78
§6.1.2 离散信道的数学模型
噪声
X
信道
Y
P(y|x)
12/78
离散无记忆信道
★ 一般的信道数学模型 ★ 离散无记忆信道 ★ 平稳（或恒参）信道 ★ 单符号离散信道
13/78
一般信道的数学模型
32/78
§6.2.2 离散对称道的容量
例 6.2.3 一信道的转移概率矩阵如图，求信道容量和达
到容量时的输入概率。
1 p
解：设输入输出概率为 pi ，q j ，i 1, 2 , , r
p
r 1
...
由于信道为强对称信道，故当
p r 1
p1 ... pr 1/ r 时,达到容量。
★ 无损信道：输出符号只对应一个输入符号。
C max H (X ) log r (比特/符号)
其中r为输入符号集的大小
X a1 a2
1/2 1/2
1/3 1/6
1/2 26/78
Y b1 b2
b3 b4
b5
§6.2.1 离散无噪信道的容量
★ 确定信道：每个输入符号都对应一个输出符号
C max H (Y ) log s (比特/符号)
p(0|M1 ) q ("0")
1
log 1/ 2
log[2(1 )]
1
ε 1-ε
1
21/78
单符号离散信道
4
2) q("00" )
i1
p
(
M
i
)
p
(00|M
i
)
1 4
[
p
(0|0
)
p
(
0|0)
p
(
0|0)
p
(0|1)
p
(0|1)
p
(
0|0)
p
(
0|1)
p
(0|1)]
1
2
21
4 [(1 ) 2 (1 ) ] 4
到容量时的输出概率。
1/ 2 1/ 3 1/ 6 1/ 6 1/ 2 1/ 3 1/ 3 1/ 6 1/ 2
解： 设输出概率为 q1, q2 , q3 。由于信
道为强对称信道，故当输入等概率 时达到容量C，此时输出也等概率
q1 q2 q3 1/ 3
C log 3 H (1 , 1 , 1) 1.126 比特 / 符号 236
p( y| x) N p( yn | xn ) n 1
则称为此信道为离散无记忆信道（DMC），其数学模 型为：（Discrete Memoryless Channel)
{X , p( yn | xn ),Y}
利用给定时刻的输出符号仅依赖于当前输入符号的条 件可以推出。
15/78
平稳(或恒参)信道
第6章
离散信道及其容量
北京邮电大学 信息与通信工程学院 许文俊
1/78
第6章 离散信道及其容量
★信道是信号的传输媒介，是传送信息 的物理通道。(举例) ★研究信道的目的主要是为了解决信息 如何有效、可靠地传输的问题。 ★本章重点解决某些特殊信道容量的计 算问题。
2/78
本章主要内容
★ 概述 ★ 单符号离散信道及其容量 ★ 级联信道及其容量 ★ 多维矢量信道及其容量 ★ 信道容量的迭代计算
其特点是时间与取值都连续，如C-C’
3) 半连续（或半离散）信道：输入和输出一个为连续、 一个为离散，如B-C’或C-B’
4) 时间离散连续信道：连续取值但时间离散，例如信道 的输入和输出为模拟信号抽样的情况。
7/78
§6.1.1 信道的分类
★ 按输入、输出集合的个数分类
1) 单用户信道：X,Y中各有一个事件集，称单路或单端信道 2) 多用户信道：X,Y中至少有一端是多个事件集，也称多
有记忆信道 输出值不仅依赖于当前输入又依
赖于以前的输入
9/78
§6.1.1 信道的分类
★ 根据信道统计特性划分
1）恒参信道 统计特性不随时间变化（也称平稳信道） 例如：卫星通信信道
2）变参信道 统计特性随时间变化。例如：短波，移动 通信信道
10/78
§6.1.1 信道的分类
★ 根据信道噪声性质划分
输出平均互信息I(X;Y)的最大值：
C max I (X ;Y )
p( x)
1）单位为: 比特/信道符号（奈特/信道符号) 2）当信道给定后,p(y|x)就固定 3）C 仅与p(y|x)有关，而与p(x)无关 4）C是信道传输最大信息速率能力的度量
23/78
多维矢量信道
★若 X N 和 Y N 分别为信道的N维输入与输出随机
为 A {0,1},B {0,1} ，信道转移概率p(y/x)满 足 PY / X (0 | 0) PY / X (1|1) 1 ，ε称为错误率。写出 信道的转移概率矩阵并画出转移概率图。
解： 转移概率矩阵
1
[P]
1
转移概率图
0
1-ε
0
ε
Binary Symmetric Channel
矢量集合，则信道容量定义为：
C max I (XN ; Y N ) p( x1 xN )
其中， p(x1 xN ) 为信道输入矢量的联合概率
24/78
§6.2 单符号离散信道及其容量
★ 离散无噪信道的容量 ★ 离散对称信道的容量 ★ 一般离散信道的容量
25/78
§6.2.1 离散无噪信道的容量
3/78
§6.1 概述
★ 信道的分类 ★ 离散信道的数学模型 ★ 信道容量的定义
4/78
§6.1.1 信道的分类
★ 数字通信系统的基本模型 ★ 依据不同的条件，不同模块之间的通道可以
划分为不同的信道
信源
A
B
编码器
数字调制器
C
连续信道
噪声
信宿
A＇ 译码器 B＇ 数字解调器
C＇
5/78
§6.1.1 信道的分类
33/78
§6.2.2 离散对称道的容量
例 6.2.4 一信道的转移概率矩阵如图，求信道容量和达
到容量时的输出概率。
解：设输出概率为 q1, q2, q3, q4
准对称信道，当输入等概率时达到
1 1 1 1
3 1
3 1
6 1
6 1
6 3 6 3
信道容量。可计算输出概率为
q1
1 [1 26
H(Y)为输入等概率时输出的熵 H(p1,p2,…,ps)为信道转移概率矩阵某行元素
注释: 对强对称信道,输入等概率时达到容量，此时输出 等概率。
C log s H ( p11, p12,..., p1s )
31/78
§6.2.2 离散对称道的容量
例 6.2.2
一信道的转移概率矩阵如图，求信道容量和达
ε
1
1-ε
1
19/78
单符号离散信道
例 6.1.2 二元删除信道：其中A={0,1}, B={0,2,1}画 出转移概率图和转移概率矩阵。
解： 转移概率矩阵
p 1 p 0
P
0 1 q q
转移概率图
p
0
0
1-p
2
1-q
1
1
q
20/78
单符号离散信道
例 6.1.3 四个等概消息，编成的码字为 M1 000，M 2 011 M3 101，M 4 110，当通过下图所示二进制对称 无记忆信道传输时，求:
0
0.7
0
0
0.7
0
0.2
0.1
1
0.1 0.2
0.2
0.1
1
0.2 0.1
1
2
1
2
0.7
0.7
(a)
(b)
29/78
§6.2.2 离散对称道的容量
解：(a)可分成两个子矩阵
0.7 0.2 0.1 0.2 0.7 0.1 0.1 0.2 0.7 0.2 0.1 0.7
所以为 对称信道
(b)的概率转移矩阵为
16/78
单符号离散信道
★ 对于离散平稳无记忆信道，可以用一维条件
概率描述
★ 这种用一维条件概率描述的信道为：单符号
离散信道
其中，信道的输入X与输出Y都是一维随机变量集合， x∈X，取自字母表, A {a1,..., ar } 。y∈Y，取自字母 表 B {b1,..., bs }
★ 信道转移概率简记为：
p( y | x) p( y bj | x ai ) PY / X (bj | ai ) pij
17/78
单符号离散信道
★ 信道转移概率矩阵
p11 p12 p1s
[
P]
p21
p22
p2
s
pr1
pr2
prs
pij
是由
ai
转移到
b
的概率
j
18/78
单符号离散信道
例 6.1.1 二元对称信道(BSC)，输入与输出符号集分别
)33(1
)
2
]
1 4
2
(1 )(4
2
1)
互信息I (M1 ; "000" )
log
p (000|M1 ) q("000")
2
2 log[2(1 )] log(4
2
1)
又增加的信息 log(4 2 2 1)
22/78
§6.1.3 信道容量的定义