信息论基础9PPT课件

格式：pptx
大小：752.88 KB
文档页数：26

下载文档原格式

信息论基础课件3.1-3.2.2

第三章信道容量
信源信道信宿
噪声图3.1.1 通信系统的简化模型
信源→ 每发一个符号提供平均信息量H(X) bit/信符信源每发一个符号提供平均信息量信符无噪信道→信宿可确切无误的接收信息无噪信道信宿可确切无误的接收信息传递作用→ 传递作用随机干扰作用本章主要讨论在什么条件下，本章主要讨论在什么条件下，通过信道的信息量最大，最大，即信道容量问题
的上凸函数，因为 I ( X ; Y )是 p ( x i )的上凸函数，因此总能找到一种概率分布 p ( x i )(即某一种信源 )，使信道所能传送的信息率为最大。信息率为最大。我们就信道容量。信道容量。称这个最大的信息传输率为
信道容量：信道容量： = max { I ( X ; Y )} C
x4 某信道的信道 0 .4
( 3 )" 收到 y 3的条件下推测输入 x 2 " 的概率解： ) p( x 3 y 2 ) = p( x 3 ) p( y 2 / x 3 ) = 0.2 × 0.2 = 0.04 (1
(2) p( y 4 ) = p( x1 ) p( y 4 / x1 ) + p( x 2 ) p( y 4 / x 2 ) + p( x 3 ) p( y 4 / x 3 ) + p( x 4 ) p( y 4 / x 4 )
a1
b1 [P] = b2 M bs p( a 1 / b1 ) p( a / b ) 1 2 M p( a 1 / b s )
a2
L
ar
p( a r / b1 ) p( a r / b 2 ) M p( a r / b s )
7

数字通信原理4信息论基础1103页PPT文档

xMy1,pxMy1 xMy2,pxMy2 ...xMyN,pxMyN
满足条件：
M i1
N j1pxiyj 1
2020/4/5
11
离散信源的联合熵与条件熵(续)
第四章信息论基础
两随机变量的联合熵
定义4.2.3 两随机变量 X :x iy Y j,i 1 , 2 ,. M ; .j .1 , 2 ,,. N ..,
I[P(xM)]
H(X)
图4－2－1 符号的平均信息量与各个符号信息量间关系的形象表示
2020/4/5
7
离散信源的熵(续) 示例：求离散信源
X: 0 1 2 3
pX: 38 14 14 18
的熵。
第四章信息论基础
按照定义：
H X i4 1pxilopg xi 8 3lo8 3g 1 4lo1 4g 1 4lo1 4g 8 1lo8 1g
2020/4/5
6
4、离散信源的平均信息量：信源的熵
第四章信息论基础
离散信源的熵
定义4.2.2 离散信源 X:xi,i 1 ,2 ,.N ..的,熵
H X iN 1p xilop x g i
熵是信源在统计意义上每个符号的平均信息量。
I[P(x1)]
I[P(x2)]
I[P(x3)]
I[P(x4)]
同时满足概率函数和可加性两个要求。
2020/4/5
4
离散信源信的息量(续)
第四章信息论基础
定义离散消息xi的信息量:
IPxi loP g1xiloP gxi
信息量的单位与对数的底有关：
log以2为底时，单位为比特：bit
log以e为底时，单位为奈特：nit

信息论基础第二章PPT

8
则用转移概率矩阵表示为 0.25 0.75 p 0.6 0.4
也可用状态转移图表示为
0.75
0.25
0
1
0.4
0.6
9
其n长序列的联合分布为：
Pr { X n x n } Pr {( X 1 X 2 X n ( x1 x2 xn )} ( x1 )i 1 Pr ( X i 1 xi 1 | X i xi )
Pr {( X1 , X 2 , X n ) ( x1 , x2 xn )}
( x1, x2 xn ) n , n 1, 2
p( x1 , x2 xn )
唯一决定
4
无记忆信源
当 X1, X 2 X n 为相互独立的随机变量，且服从相同的分布：
Pr ( X i x) p( x)
P(0 | 00) 0.8, P (1|11) 0.8, P (1| 00) P (0 |11) 0.2 P(0 | 01) P(0 |10) P (1| 01) P (1|10) 0.5
用转移概率矩阵表示为
11
0 0.8 0.2 0 0 0 0.5 0.5 P 0.5 0.5 0 0 0 0.2 0.8 0
1 k
1 k
Pr {( X t1 , X t2 , , X tm ) ( x1 , x2 ,, xm )} Pr {( X t1 k , X t2 k , , X tm k ) ( x1 , x2 xm )}
14
如果一个马氏过程是平稳的，则
Pr {X m xm | X m1 xm1 , X m2 xm2 ,, X1 x1} Pr {X m xm | X m1 xm1} Pr {X 2 xm | X1 xm1}

《信息论基础》课件

2
信息论与数学中的概率论、统计学、组合数学等学科密切相关，这些学科为信息论提供了重要的数学工具和理论基础。
3
信息论与物理学中的量子力学、热力学等学科也有密切的联系，这些学科为信息论提供了更深层次的理论基础。
信息论未来发展趋势
信息论将继续深入研究量子信息论和网络信息论等领域，探索更高效、更安全的信息传输
和处理技术。
随着人工智能和大数据等技术的快速发展，信息论将在数据挖掘、机器学习等领域
发挥更大的作用。
信息论还将继续关注网络安全、隐私保护等问题，为构建安全可靠的信息社会提供重要的
理论支持。
2023
REPORTING
THANKS
感谢观看
海明码（Hamming Code）：一种能够纠正一位错误的线性纠错码。
里德-所罗门码（ReedSolomon Code）：一种广泛应用于数据存储和通信领域的强纠错码。
差错控制机制
前向纠错（FEC）
01
在发送端采用纠错编码，使得接收端能够自动纠正传输过程中
的错误。
自动重传请求（ARQ）
02
接收端检测到错误后请求发送端重传数据，直到接收正确为止
常见信道编码技术
线性分组码
将信息序列划分为若干组，对每组进行线性编码，常见的有汉明码、格雷码等。
循环码
将信息序列进行循环移位后进行编码，常见的有 BCH码、RS码等。
卷积码
将信息序列进行卷积处理后进行编码，常见的有Convolutional Code等。
2023
PART 04
信息传输与错误控制
。
混合纠错（HEC）
03
结合前向纠错和自动重传请求，以提高数据传输的可靠性和效

信息论基础线性分组码PPT

设码字x5 (x0 , x1, x2 , x3, x4 )，可得信息位码字
00 00000 01 01101 10 10111 11 11010
x2
x3
x0 x0
x1
x4 x0 x1
20
线性分组码的基本概念
改写为
1 1
x0 x0
1 0
x1 x1
1 x2 0 0 x2 1
二战期间在路易斯维尔大学当教授，1945年参加曼哈顿计划，负责编写电脑程式，计算物理学家所提供方程的解。该程式是判断引爆核弹会否燃烧大气层，结果是不会，于是核弹便开始试验。
1946至76年在贝尔实验室工作。他曾和约翰·怀尔德·杜奇、克劳德·艾尔伍德·香农合作。1956年他参与了IBM 650的程式语言发展工作。
码字无关！
记S= en·HT ，称之为接收序列rn的伴随式.
36
线性分组码的译码
（n，k）线性分组码的校验矩阵，用列向量
表出：
h1,1
h1,2
H
h2,1
h2,2
h1,n
h2,n
h1
h2
hn
hnk
,1
hnk ,2
hnk
,n
其中，hn-i为H矩阵的第i列.
37
线性分组码的译码
设en=(e1， e2，…，en)=(0，…，ei1，0，…，ei2，0，…， ei3，0，…，eit，0，…，0)
信息位码字
00 00000
1(01) 1(10) 11
01 01101 10 10111
f (11) 11010
11 11010
1(01101) 1(10111) 11010
f (1(01) 1(10)) 1(01101) 1(10111)

信息论基础课件2.1.1- 2

1 X [0， .5] = pX(x) pX(x)
任意连续信源数学模型为的数学模型为
1.5
,
d ∫ pX(x) x = 1
0
X [a,b] p (x) = p (x) X X
,
dx ∫ p (x) =1
X a
信息论与编码-信源熵
信源的数学模型：信源的数学模型：
X： [X • P]= P(X)： 1/6 1/6 信源空间 1/6 1/6 1/6 1/6 1 2 3 4 5 6
( 0 ≤ p(ai ) ≤ 1 i = 1 2L,6) ,
∑ p(a ) =1
i =1 i
6
信息论与编码-信源熵
一般单符号信源的数学模型：一般单符号信源的数学模型：
10 hat
信息论与编码信息论与编码-信源熵
注2、自信息量 i)有两方面的含意：信源发符号 i 自信息量I(a 有两方面的含意信源X发符号有两方面的含意：发符号a 自信息量以前，收信者对a 存在的先验不确定性；信源X发以前，收信者对 i存在的先验不确定性；信源发符号a 所含有的(或能提供的全部信息量。或能提供的)全部信息量符号 i后，ai所含有的或能提供的全部信息量。注3、不确定度与自信息量：随机事件的不确定度在不确定度与自信息量：不确定度与自信息量数量上等于它的自信息量，两者的单位相同，数量上等于它的自信息量，两者的单位相同，但含义却不同。即有某种概率分布的随机事件不管发生与否，却不同。即有某种概率分布的随机事件不管发生与否，都存在不确定度，都存在不确定度，而自信息量是在该事件发生后给予即即者的信息量
2.1.2 自信息和信源熵 1、概率知识复习、无条件概率、条件概率、无条件概率、条件概率、联合概率满足下面的性质和关系：质和关系： 1 （） 0 ≤ p( xi )、p( yi )、p( yi xi )、p( xi yi )、p( xi yi ) ≤ 1

信息论基础教学课件ppt信息论基础概述信息论基础概论

33
§1.2.1 通信系统模型
例如，奇偶纠错将信源编码输出的每个码组的尾补一个1或0 当传输发生奇数差错，打乱了“1”数目的奇偶性，就可以检测出错误。
34
§1.2.1 通信系统模型
(a) 无检错
(b) 可检错 (奇校验) (c) 可纠错(纠一个错)
图1.4 增加冗余符号增加可靠性示意图
35
§1.2.1 通信系统模型
信源的消息中所包含的信息量以及信息如何量度
核心问题
29
§1.2.1 通信系统模型
编码器(Encoder)
编码器的功能是将消息变成适合于信道传输的信号编码器包括：
信源编码器(source encoder) 信道编码器(channel encoder) 调制器(modulator)
信源编码器
信道编码器
调制器
功能：将编码器的输出符号变成适合信道传输的信号目的：提高传输效率信道编码符号不能直接通过信道输出，要将编码器的输出符号变成适合信道传输的信号，例如，0、1符号变成两个电平，为远距离传输，还需载波调制，例如，ASK， FSK，PSK等。
36
§1.2.1 通信系统模型
信道(channel)
13
§1.1.2 信息的基本概念
1949年，Weaver在《通信的数学》中解释香农的工作时，把通信问题分成三个层次：第一层：通信符号如何精确传输？（技术问题）第二层：传输的符号如何精确携带所需要的含义？（语义问题）第三层：所接收的含义如何以所需要的方式有效地影响行为？（效用问题）
14
§1.1.2 信息的基本概念
§1.1.2 信息的基本概念
信息的三个基本层次：
语法(Syntactic)信息语义(Semantic) 信息语用(Pragmatic)信息

信息论基础课件2.1.3

1
（3）最大离散熵定理
定理：信源X中包含n个不同的离散消息时，信源熵 H（X）有 H ( X ) log2 n 当且仅当X中各个消息出现的概率全相等时，上式取等号。
1 p( xi ) log2 n 证明： H ( X ) log2 n p( x i ) log2 p( x i ) i 1 i 1
r
pi log pi pi log[ pi (1 )qi ]
i 1
r
r
r
i 1
r 1 pi l og (1 ) qi l ogqi pi i 1 i 1
1 (1 ) qi l og[ pi (1 )qi ] (1 ) qi l og qi i 1 i 1
p( x i y j ) log 2 [ p( x i ) p( y j / x i )]
i j
p( x i y j ) log2 p( x i ) p( x i y j ) log 2 p( y j / x i )
i j
i
j
p( x i ) log2 p( x i ) H (Y / X )
i
i
j
H ( X ) H (Y / X )
得证。
8
7、极值性（香农辅助定理）
,q 对于任意n及概率矢量 P ( p1 , p2 ,, pn ) 和 Q (q1 , q2 ,，n ) n n 有如下不等式成立 H ( p1 , p2 ,, pn ) pi log pi pi log qi
l 1
k l 1
k
H ( X ) [ p j log p j ] ( pi ) log(pi ) [ l log l ]

信息论基础课件2.2.4

= 1,2,L, q
9
阶马尔可夫信源的定义，由m阶马尔可夫信源的定义，并考虑其平稳性，可得阶马尔可夫信源的定义并考虑其平稳性， P (a kN / a k 1a k 2 ,L, a km a km+1 La kN −1 )
= P (a kN / a kN −m a kN −m +1 ,L, a kN −1 )
H∞ (X) = lim H L ( X ) = lim H( X L / X1 X 2 LX L−1 )
L→∞ L→∞
1
2.2.4、马尔可夫信源的极限熵、
在许多信源的输出序列中，在许多信源的输出序列中，符号之间的依赖关系是有限的。有限的。也就是说任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发与前面已经发出的若干个符号有关，出的符号无关。出的符号无关。与前面所讲的多符号平稳信源不同，这种信源发出符与前面所讲的多符号平稳信源不同，号时不仅与符号集有关，还与信源的状态有关。号时不仅与符号集有关，还与信源的状态有关。所谓状态，指与当前输出符号有关的前个随机变所谓状态，指与当前输出符号有关的前m个随机变量序列的某一具体消息，用si 或者ei 表示。把这个量序列的某一具体消息，或者表示。具体消息看作某个状态：具体消息看作某个状态：
时刻，在第 l时刻，信源处于状态 e i 时，输出符号 x k 的概率给定为 p l ( x k / e i ) = P ( X l = x k / S l = e i )
信源在 l − 1时刻处于 e i 状态，下一时刻转移到 e j 的状态状态，转移概率为 p l e j / e i = P S l = e j / S l −1 = e i

信息论基础详细ppt课件

1928年，哈特莱(Hartley)首先提出了用对数度量信
息的概念。一个消息所含有的信息量用它的可能值
香农
的个数的对数来表示。
(香农)信息：信息是事物运动状态或存在方式的不确定性的描述。可运用研究随机事件的数学工具——概率来测度不确定性大小。在信息论中，我们把消息用随机事件表示，而发出这些消息的信源则用随机变量来表示。
2.1 自信息和互信息
2.1.1 自信息
随机事件的自信息量 I (xi ) 是该事件发生概率 p(xi ) 的函数，并且应该满足以下公理化条件：
1. I (xi )是 p(xi )的严格递减函数。当 p(x1)p(x2) 时，I(x1)I(x2)，概率越小，事件发生的不确定性越大，事件发生后所包含的自信息量越大
事件 x i 的概率为p(xi ) ，则它的自信息定义为：
I(xi)d eflogp(xi)logp(1xi)
从图2.1种可以看到上述信息量的定义正是满足上述公理性条件的函数形式。I (xi ) 代表两种含义：当事件发生以前，等于事件发生的不确定性的大小；当事件发生以后，表示事件所含有或所能提供的信息量。
2．极限情况下当 p(xi )=0时，I(xi)；当 p(xi ) =1时，I (xi ) =0。
3．另外，从直观概念上讲，由两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和。可以证明，满足以上公理化条件的函数形式是对数形式。
定义2.1 随机事件的自信息量定义为该事件发生概率的对数的负值。
我们把某个消息 x i 出现的不确定性的大小，定义为自信息，用这
个消息出现的概率的对数的负值来表示：I(xi)lop(g xi)
自信息同时表示这个消息所包含的信息量，也就是最大能够给予收信者的信息量。如果消息能够正确传送，收信者就能够获得这么大小的信息量。

第1章信息论基础ppt课件

p(
y1)

2
p(xi y1) p(x1y1) p(x2 y1)

i1
p(yj)
p(xiyj)
p(y2)
2
p(xi y2) p(x1y2) p(x2 y2)
i

i1

2
p(y3) p(xi y3) p(x1y3) p(x2y3)

i1
2019/12/29
2019/12/29
状态转移概率和已知状态下发符号的概率为 p(er＋1=sj｜er=si)和p(xr=al｜er=si)。
当状态转移概率和已知状态下发符号的概率与时刻无关，即p(er＋1=sj｜er=si)=p(sj｜si)和p(xr=al｜er=si)＝p(al ｜si )时，称为时齐的/齐次的。
3. 信道信道是信息传输和存储的媒介。
4. 译码器译码是编码的逆变换，分为信道译码和信源译码。
5. 信宿信宿是消息的接收者。
2019/12/29
1.3.2 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由
许多不同时刻发出的符号所组成的符号序列。设序列由N个符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}，并且先后发出的符号彼此间统计独立，我们将这样的信源称作离散无记忆的N维扩展信源。其数学模型为N维概率空间：
p(xi | yj)1

i1 2

p(xi
|
y2)
p(x1
|
y2)
p(x2
|
y2)
1
i
i1
2
i1
p(xi

信息论基础ppt课件

计算：
（a） H ( X , Y ) , H ( X ) , H ( Y ) , H ( X |Y ) , H ( Y |X ) , I ( X ; Y ) ;
（b）如果q(x,y)p(x)p(y)为两个边际分布的乘积分布，计算 D( p Pq) 和 D(q P p)。
解：
(a )
H (X ,Y ) 1 lo g 1 1 lo g 1 1 lo g 1 5 lo g 5 44441 21 21 21 2
1 p(X)
可见熵是自信息的概率加权平均值
引理 1.2.1 H(X) 0，且等号成立的充要条件是 X 有退化分布。
例题 1.2.1 设
1
X

0
依概率 p 依概率 1 p
则 H ( X ) p l o g p ( 1 p ) l o g ( 1 p ) h ( p ) 。
I (x) log 1 。 p(x)
1.2 熵、联合熵、条件熵
X 定义 1.2.1 离散随机变量的熵定义为
H(X)p(x)logp(x) x
e 我们也用 H ( p ) 表示这个熵，有时也称它为概率分布 p 的熵，其中对
数函数以2为底时，熵的单位为比特（bit），若对数以为底时，则熵的
图1.1 通信系统模型
第一章随机变量的信息度量
1.1 自信息 1.2 熵、联合熵、条件熵 1.3 相对熵和互信息
1.1 自信息
定理1.1.1

定义 1.1.1
若自信息I ( x ) 满足一下5个条件：
( i ) 非复性：I(x) 0;
( i i ) 如 p(x) 0, 则 I(x) ;

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

定义这个最大的信息传输率为信道的信道容量，记为 C 。
即：
C max R max I ( X ;Y )
p( xi )
p( xi )
单位是比特/信道符号
有时我们关心的是信道在单位时间内能够传输
的最大信息量。
若信道平均传输一个符号需要 t 秒，则
单位时间的信道容量为：
Ct
1 max
t p( xi )
p n 1
p
n 1 ， p 1 p
p
这样的信道称为强对称信道或均匀信道。强对称信道的矩阵中不仅每行之和为
1，每列之和也等于 1。
强对称信道的信道容量为：
C
log2
n
p
log2
p
p
log 2
n
p 1
（比特/信道符号）
且当信源输入为等概率分布时，信息传输率达到信道容量。
当 n 2时，就是二进制均匀信道，信道容量为： C 1 p log2 p p log2 p 1 H ( p) ， H ( p) ( p log2 p p log2 p)
6 3
， P2
0.7 0.2
0.1 0.1
0.2 0.7
由于信道矩阵中的每行元素都相同，所以有：
p
p( y1) p( y2 )
PT
p(x1)
p(
x2
)
n
p 1
p n 1
p
p(
yn
)
p(
xn
)
p
p
n 1 n 1
p
n n
p
1 1
p( x1 p( x2
) )
p(
xn
)
p
强对称信道矩阵中的每一行都是由同一集合{ p, p , p , , p } 中 n1 n1 n1
I ( X ;Y )
（比特/秒）
几种特殊离散信道的信道容量
二. 强对称离散信道的信道容量
对单符号离散信道{X P(Y / X ) Y} ，X {x1, x2, , xn} ，Y {y1, y2, , yn} ，如果信道矩阵为：
p
p n 1
p
P
(
p( y j
/
xi
))nm
n
1
p
p p
n 1 n 1
上述结论的推导说明如下：
I ( X ;Y ) H (Y ) H (Y / X )
nn
H (Y / X )
p(xi ) p( y j / xi ) log2 p( y j / xi )
i1 j1
n
n
p(xi ) p( y j / xi ) log2 p( y j / xi )
i 1
p
p log2
n 1
问题：信道输入（信源）是什么分布时，输出分布为等概率的？
一般地，输入、输出概率分布与信道转移概率矩阵的关系为：
n
n
p( y j ) p(xi y j ) p( y j / xi ) p(xi )
i 1
i 1
p( y1) p( y1 / x1)
p(
y2
)
于是信道容量为：
C
max[H
p( xi )
(Y
)
H ni
]
求信道容量问题，变成了求一种输入分布使 H (Y ) 取得最大值的问题了。
当然使得
p(
y
j
)
1 n
时，
H
(Y
)
达到最大值
于是信道容量为：
log2 n 。
p
C
max[H (Y )
p( xi )
Hni ]
log2
n
H ni
log2
n
p log2
如果矩阵的行和列都是可排的，则称这个矩阵是可排列的，或称它具有可排列性。
如果一个信道矩阵具有可排列性，它所表示的信道称为对称信道。
当 m n 时，Q 是 P 的子集；反之，P 是 Q 的子集。对称信道的信道容量为（信源等概分布时达到）：
C
max[H
p( xi )
(Y
)
H mi
]
log 2
m
H mi
m
Hmi p( y j / xi ) log2 p( y j / xi ) H (q1, q2, , qm ) j 1
例如果信道矩阵为：
1/ 3 1/ 3 1/ 6 1/ 6 1/ 6 1/ 6 1/ 3 1/ 3
这是一个对称信道。
如果信道矩阵为：
1/ 3 1/ 3 1/ 6 1/ 6 1/ 6 1/ 3 1/ 6 1/ 3
n
1
p
p p
n 1 n 1
p n 1
p n 1
p
概率的输入、输出关系为：
p( y1)
p
p(x1)
p n 1
p(
y2
)
PT
p( x2
)
n
p 1
p
p(
yn
)
p(
xn
)
p
p
n 1 n 1
p
n 1 p(x1)
n
p
1
p(
x2
)
p(
xn
)
p
元素的不同排列组成，所以当输入分布为等概率分布时，即
p(xi )
1 n
时，
输出符号一定是等概率分布的，
p(yj )
1 n
，
j
1, 2,
,n 。
几种特殊离散信道的信道容量
三．对称离散信道的信道容量
如果一个矩阵的每一行都是同一个集合 Q {q1, q2, , qm} 中诸元素的不同排列，称矩阵是行可排列的；如果一个矩阵的每一列都是同一个集合 P {p1, p2, , pn}中诸元素的不同排列，称矩阵是列可排列的；
这不是一个对称信道。
几种特殊离散信道的信道容量
四. 准对称离散信道的信道容量
如果一个 n 行 m 列的单符号离散信道矩阵 P 具有行可排列性，列不可排列，则它所表示的信道称为准对称信道。
例如，如下矩阵都是准对称的单符号离散信道矩阵：
1/ 3 P1 1/ 6
1/ 3 1/ 3
1/ 6 1/ 6
1/ 1/
j 1Βιβλιοθήκη np(xi )Hni i 1
n
Hni p( y j / xi ) log2 p( y j / xi ) j 1
所以 Hni
[ p log2
p
(n
1)
(
n
p 1
log2
p )] n 1
[ p log2
p
p log2
p ] ，由此得到：
n 1
I ( X ;Y ) H (Y ) H (Y / X ) H (Y ) Hni
信息论与编码第九讲信道与信道容量
单符号离散信道的信道容量
当信道特性 p( y j / xi ) 固定后，平均互信息量 I (X ;Y ) 随信源分布 p(xi ) 的变化而变化，它是 p(xi ) 的上凸函数，因此总能找到一种概率分布 p(xi ) （即某一种信源），使信道所能传送的信息率为最大。
p(
y1
/
x2
)
p(
ym
)
p
(
y1
/
xn
)
p( y2 / x1) p( y2 / x2 )
p( y2 / xn )
p( ym / x1) T p(x1)
p( ym / x2 )
p(
x2
)
p(
ym
/
xn
)
p(
xn
)
对于强对称信道，信道矩阵为：
p
p n 1
p
P
( p(yj
/
xi ))nm