32单符号离散信道的信道容量

0有损hyx0无噪hxy0无损hyx0无噪特点一多对应多一对应一一对应损失熵和噪声熵45分类无损确定信道无损信道确定信道信道容量最佳信源logbitrc?符号logbitrc?符号logbitsc?符号1pxr?1pxr?px等概分布等概分布使信道输出为等概率分布py1s的输入分布信道容量和最佳信源46离散输入对称信道若一个离散无记忆信道的信道矩阵中每一行都是其它行的同一组元素的不同排列则称此类信道为离散输入对称信道
i 1
NHale Waihona Puke 7二、单符号离散无记忆信道 1、定义：假设信道输入随机变量为X，取值为x，
x A a1 , a2 ,..., ar
输出随机变量为Y，取值为y，
Ｘ
信道
p(y|x)
Y
y B {b1 , b2 ,..., bs }
信道传递(转移)概率为
p(b j | ai ) 0 p( y | x) P(Y b j | X ai ) P(b j | ai ) s i 1,2,..., r；j 1,2,..., s p(b j | ai ) 1 8 j 1
X 1 X 2 X N
并联信道
Y1Y2 YN
28
2、级联信道：两个或两个以上信道串联传送信息 X Y Z 信道1 信道2
级联信道是最常见的信道组合形式
29
二、级联信道：信道Ⅰ，信道Ⅱ满足:
§ 4.2 离散无记忆信道 一、离散信道数学模型 Ｘ=X1X2…XN 信道 p(y|x)
Y=Y1Y2…YN
输入符号集A={a1,a2,…,ar}，输出符号集B={b1,b2, …,bs} 输入序列Ｘ=X1X2…XN，取值x=x1x2…xN，xi∈A 输出序列Y=Y1Y2…YN，取值y=y1y2…yN，yi∈B 信道特性可用转移概率 p(y|x)=p(y1y2…yN|x1x2…xN) 描述，信道数学模型为 [ X p(y|x) Y] 4

0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1

•当信道容量一定时，带宽B与信噪比S/N之间可以彼此互换。
二、连续信道的信道容量 香农公式的另一形式
由于噪声功率N与信道带宽B有关，故若噪声单边功率谱密 度为n0，则噪声功率N将等于n0B。由此可得
S n0 B S C log 2 1 n S n B 0 0 B趋于∞时的信道容量 1 n0 B S S lim log 2 1 x log 2 e 1.44 C lim n lim S log 2 1 n B x 0 x B 0 0 B S C 1.44 lim n B 0 S C B log 2 1 n0 B
信息传输速率，信道在单位时间内所传输的平均信息量。
R H t x H t x y
H t x , 单位时间内信息源发出的平均信息量，或称信息源的信息速率； H t x y , 单位时间内对x发送而收到y的条件平均信息量。
设单位时间传送的符号数为r，则
H t x rH x , H t x y rH x y
S C B log 2 1 29.9 103 bit/s N
传输一张传真图片需要的时间为：
Isum 8.06 106 3 T s 0.269 10 s 3 C 29.9 10
• 第三章小结
狭义信道 噪声 信道 （幅频、相频 失 真） 均衡 调制信道恒参信道 广义信道 随参信道 （衰落，时延，多径） 分集 编码信道 理想信道：
Ht(x/y)=rH(x/y)=1000 bit/s R=Ht(x)-Ht(x/y)=0 (bit/s)
C max R max H t x H t x y

离散信道及其信道容量离散信道的统计特性和数学模型信道传输的平均互信息及其性质信道容量及其计算方法信道的任务是以信号方式传输信息和存储信息。

研究信道中能够传送或存储的最大信息量，即信道容量问题。

只限于研究一个输入端和一个输出端的信道，即单用户信道，其中以无记忆、无反馈、固定参数的离散信道为重点。

3.1 信道的数学模型及分类几个前提：信源输出的消息必须首先转换成能在信道中传输或存储的信号噪声或干扰主要从信道中引入，它使信号通过信道后产生错误和失真输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系3.1.1 信道的分类根据信道的用户多少（１）两端（单用户）信道只有一个输入端和一个输出端的单向通信的信道（２）多端（多用户）信道输入端或输出端中有一端有两个以上的用户，且可以双向通信的信道根据信道输入端和输出端的关联（１）无反馈信道信道输出端无信号反馈到输入端（２）反馈信道信道输出端的信号反馈到输入端，对输入端的信号起作用，影响输入端信号发生变化。

根据信道的参数与时间的关系（１）固定参数信道信道的参数（统计特性）不随时间变化而改变（２）时变参数信道信道的参数（统计特性）随时间变化而变化根据输入和输出信号的特点（１）离散信道输入和输出的随机序列的取值都是离散的信道（２）连续信道输入和输出的随机序列的取值都是连续的信道（３）半离散或半连续信道输入序列是离散型的但相应的输出序列是连续的信道，或者相反（４）波形信道信道输入和输出的随机变量的取值是连续的，并且还随时间连续变化只限于研究无反馈、固定参数的单用户离散信道。

充分性：若满足此式则离散信道为无记忆信道。

P 证明：根据概率关系，得条件概率(1P y ==......(1P y =((1 P y P =因为所以(P ((1 P y y P y =又因为(y NP y ∑所以∑【例3.2】二元删除信道BEC0 2 10p 1-p 0 101qq ⎡⎤⎢⎥−⎣⎦输入符号X取值于{0,1}；输出符号Y取值于{0,2,1} 。