信息论信道容量总结
- 格式:ppt
- 大小:9.04 MB
- 文档页数:10
信道容量是信道的一个参数,反映了信道所能传输的最大信息量,其大小与信源无关。
对不同的输入概率分布,互信息一定存在最大值。
我们将这个最大值定义为信道的容量。
一但转移概率矩阵确定以后,信道容量也完全确定了。
尽管信道容量的定义涉及到输入概率分布,但信道容量的数值与输入概率分布无关。
我们将不同的输入概率分布称为试验信源,对不同的试验信源,互信息也不同。
其中必有一个试验信源使互信息达到最大。
这个最大值就是信道容量。
信道容量有时也表示为单位时间内可传输的二进制位的位数(称信道的数据传输速率,位速率),以位/秒(b/s)形式予以表示,简记为bps。
通信的目的是为了获得信息,为度量信息的多少(信息量),我们用到了熵这个概念。
在信号通过信道传输的过程中,我们涉及到了两个熵,发射端处信源熵——即发端信源的不确定度,接收端处在接收信号条件下的发端信源熵——即在接收信号条件下发端信源的不确定度。
接收到了信号,不确定度小了,我们也就在一定程度上消除了发端信源的不确定性,也就是在一定程度上获得了发端信源的信息,这部分信息的获取是通过信道传输信号带来的。
如果在通信的过程中熵不能够减小(不确定度减小)的话,也就没有通信的必要了。
最理想的情况就是在接收信号条件下信源熵变为0(不确定度完全消失),这时,发端信息完全得到。
通信信道,发端X,收端Y。
从信息传输的角度看,通过信道传输了I(X;Y)=H(X)-H(X|Y) ,( 接收Y前后对于X的不确定度的变化)。
I该值与两个概率有关,p(x),p(y|x),特定信道转移概率一定,那么在所有p(x) 分布中,max I(X;Y)就是该信道的信道容量C(互信息的上凸性)。
入与输出的互信息量的最大值,这一最大取值由输入信号的概率分布决定。
[3]X代表已传送信号的随机变量空间,Y代表已收到信号的随机变量空间。
代表已知X的情况下Y的条件机率。
我们先把通道的统计特性当作已知,p Y | X(y | x)就是通道的统计特性。
第三章离散信道及其信道容量3.1.1 信道的分类在信息论中,信道是传输信息的通道,是信息传输系统的重要组成部分之一。
信道的分类有:按照信道输入端或输出端的个数可分为单用户信道和多用户信道。
按照信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道。
按照信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道。
按照信道输入/输出信号取值幅度集合以及取值时间集合的离散性和连续性可分为离散信道(数字信道)和波形信道(模拟信道)。
按照信道输入/输出信号取值幅度集合的离散性和连续性(取值时间是离散的)可分为离散信道和连续信道。
按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。
按照信道输入信号与输出信号之间是否统计依赖关系可分为有噪信道和无噪(无干扰)信道。
3.1.2 离散信道的数字模型1.一般离散信道(多维离散信道)一般离散信道输入/输出信号取值幅度和取值时刻都是离散的平稳随机矢量。
其数学模型可用离散型概率空间[X,P(y|x),Y]来描述。
其中X=(X1X2…X N)为输入信号,Y= (Y1Y2…Y N)为输出信号。
X中X i∈A={a1,a2,…,a r},Y中Y i∈B={b1,b2,…,b s}。
又P(y|x)(x∈X,y∈Y)是信道的传递概率(转移概率),反映输入和输出信号之间统计依赖关系,并满足概率空间[X,P(y|x),Y]也可用图来描述。
2.基本离散信道(单符号离散信道)单符号离散信道是离散信道中最基本的信道,其信道输入/输出信号都是取值离散的单个随机变量。
数学模型是概率空间[X,P(y|x),Y],(或[X,P(b j|a i),Y]),其中X∈A={a1,a2,…,a r},Y∈B={b1,b2,…,b s),P(y|x)=P(b j|a i)(i=1,2,…,r;j=1,2,…,s)并满足概率空间[X,P(y|x),Y]也可用图来描述,如图3.1所示。