5-2 离散信道的信道容量

1第二节离散信道的信道容量第五讲信道容量

一、离散信道容量的定义

二、信道模型

三、离散信道容量的表达式

2离散信道的信道容量

离散信道的信道容量

󰂄定义1：

C－每个符号能够传输的平均信息量最大值

󰂄定义2：

C

t－单位时间（秒）内能够传输的平均信息量最大值

󰂄两者之间可以互换：已知信道每秒能够传输的符号数一、离散信道容量的定义

离散信道的信道容量

x

1

x

2

x

3y

3y

2y

1

接

收

端发

送

端

x

n。

。

。。

。

。

y

mP(x

i)P(y

1/x

1)

P(y

m/x

1)

P(y

m/x

n)P(y

j)二、信道模型

■发送符号：x

1，x

2，x

3，…，x

n

■接收符号：y

1，y

2，y

3，…，y

m

■P(x

i)：发送符号x

i 的出现概率

■P(y

j)：收到y

j的概率

■P(y

j/x

i)：转移概率，即发送x

i的

条件下收到y

j的条件概率

离散信道的信道容量

∑∑∑

===−=−−−n

im

jn

ijijijiiyxHxHyxPyxPyPxPxP

11122)/()()]/(log)/()([)(log)(三、离散信道容量的表达式

①收到一个符号时获得的平均信息量

󰂄发送x

i时收到y

j所获得的信息量等于发送x

i前接收端对x

i的

不确定程度（即x

i的信息量）减去收到y

j后接收端对x

i的不

确定程度=-log

2P(x

i) -[-log

2P(x

i/y

j)]

󰂄对所有的x

i和y

j取统计平均值，得出收到一个符号时获得的

平均信息量

离散信道的信道容量

－接收y

j符号已知后，发送符号x

i的平均信息量∑

=−=n

iiixPxPxH

12)(log)()(

∑∑

==−=m

jn

ijijijyxPyxPyPyxH

112)/(log)/()()/(∑∑∑

===−=−−−n

im

jn

ijijijiiyxHxHyxPyxPyPxPxP

11122)/()()]/(log)/()([)(log)(

－每个发送符号x

i的平均信息量，称为信源的熵

离散信道的信道容量

󰂄假设设发送“1”的概率P(1) = α，则发送“0”的概率P(0)

实验二 离散信道及其容量

一、[实验目的]

1、理解离散信道容量的内涵；

2、掌握求二元对称信道（BSC）互信息量和容量的设计方法；

3、掌握二元扩展信道的设计方法并会求其平均互信息量。

二、[实验环境]

windows XP,MATLAB 7

三、[实验原理]

若某信道输入的是N维序列x，其概率分布为q(x),输出是N维序列y,则平均互信息量记为I(X;Y)，该信道的信道容量C定义为()max(X;Y)qxCI。

四、[实验内容]

1、给定BSC信道，信源概率空间为

信道矩阵 0.990.010.010.99P

求该信道的I(X;Y)和容量，画出I(X;Y)和、C和p的关系曲线。

2 、编写一M脚本文件t03.m，实现如下功能：

在任意输入一信道矩阵P后，能够判断是否离散对称信道，若是，求出信道容量C。

3、已知X=(0,1,2);Y=(0,1,2,3),信源概率空间和信道矩阵分别为

求： 平均互信息量；

4、 对题(1)求其二次扩展信道的平均互信息I(X;Y)。

五、[实验过程] X P ０ １

0.6 0.4

=

X Px ０ １ ２

0.3 0.5 0.2

=

0.1 0.3 0 0.6

0.3 0.5 0.2 0

0.1 0.7 0.1 0.1 P= 每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法；

1)设计思路

1、信道容量( )

max (X; Y)

q x

C = I

，因此要求给定信道的信道容量，只要知道该信道

的最大互信息量，即求信道容量就是求信道互信息量的过程。

程序代码：

clear all,clc;

w=0.6;

w1=1-w;

p=0.01;

X

P

０ １

= 0.6 0.4

p1=1-p;

- 1 - 中文摘要

信道是信息传递的通道，承担信息的传输和储存的任务，是构成通信系统的重要组成部分。信道容量是指信道能够传输信息量的大小。信道容量的研究在现实中有着非常重要的理论意义。而信道容量的计算是一个比较复杂的问题，所以我们要借助于数学软件Matlab来解决这个难题。

本文的第一部分从信道容量的基本概念、基本原理、信道模型及分类等方面系统的介绍了信道容量。并在此基础上，介绍了一般信道容量的计算步骤。

本文的第二部分开始介绍信道容量的迭代算法及迭代算法在Matlab中的实现，举例检验迭代算法在Matlab中实现的程序的可行性

关键词 信道容量 Matlab 迭代算法

离散信道容量的迭代算法实现

- 2 -

Abstract

Channel is a channel of information transmission. And it take on the task of

information transmission and storage. Channel is an important part of communication

system. Channel capacity is the size of the amount of information can be transmitted.

It has important significances in reality. However, calculating the channel capacity

is a complex issue. So we must use the mathematical software Matlab to solve this

problem.

The first part of the article, it introduces channel capacity by the basic concepts,

＜　ＡＣＡＤＥＭＩＣ　ＲＥＳＥＡＲＣＨ　学术研究　

离散无记忆信道（ＤＭＣ）的信道容量的计算方法　

◆艾ｄｘＪＩＩ张舒李薇　

摘要：信道容量表示通过信道可以传输的最大信息量，本文总结了几种离散无　记忆信道（ＤＭＣ）的容量的计算方法，指出了计算中应注意的地方，并通过具体的　例子予以说明。　关键词：信道容量；转移矩阵；ＤＭＣ信道；计算方法　

在信息论中，信道是指信息传输的通道，是信息论　

中与信源并列的另一个主要研究对象。信道容量是信道　研究的核心，它表示通过信道可以传输的最大信息量，　

本文将讨论离散无记忆信道（ＤＭＣ）的信道容量的计算。　

一、预备知识　

设ＤＭＣ的输　自字母表　＝｛ｏ，１，…，　一１｝，　

输入概率分布为Ｐ＝（ｐ（ａ０），ｐ（ａ２），…，ｐ（ａＨ）），信道　

输出ｙ取自字母表Ａｒ＝｛０，ｌ，…，　一１｝．Ｑ＝ｑ（ｂｊ　ｌａｉ）　．　其中ｇ【　ｌａ　）表示信道输入为ｎ　下信道输出为易，的概率，　又称前向转移概率，矩阵Ｑｒ　又称前向转移概率矩阵。　

对于ＤＭＣ，定义信道容量为　

Ｃ＝ｍａｘＩ（Ｘ；ｙ）＝ｍ　ａ　ｘＩ（Ｐ，Ｑ）．　／Ｐｉ，　／Ｐｉｊ　其中Ｐ表示输入字母概率分布，Ｑ为信道转移概率　

矩阵。这一容量的计算是一个多元函数在有界闭区域卜　求解约束极值的问题，利用此方法求信道容量的计算量　非常大。下面我们将具体给出几种ＤＭＣ给出信道容量　的计算方法。　注：在对称信道中，输入等概为最佳输入分布，且　

只有当信道的输入符号是等概率分布时才能达到最大值　信道容量。　

２．２准对称信道信道容量的计算¨］。定义２如果信　道转移矩阵Ｑ的行和列可被划分为ｔ个互不相交的子阵　

Ｑ１，Ｑ　，…，Ｑ，，且每个子阵Ｑ　满足对称性条件：Ｑ　的每行　（列）都是的另一行（列）的置换，则称由矩阵Ｑ对应的信　道为准对称信道。定理２对于准对称信道的信道容量为　

ｒ　Ｃ：ｌｏｇｒ—Ｈ（　一，　）一∑Ｎｔｌｏｇ　，其中　／＝１　（　，　，…，ｇ　）为准对称信道矩阵Ｑ的行元素向量，　＿ｖｆ和　分别为子阵Ｑ　中行元素之和及列元素之和，且当　输入为等概分布时达到最大值。