下载文档原格式
信息论与编码技术电子信息工程专业主讲：孙静机械电子工程系3.2 离散无记忆信源及其扩展源3.2.1 离散无记忆信源【思考】实际通信过程中，信源发送消息往往不是单个符号，而是符号序列。
当字符组成序列(如句子或文章)时，会出现问题。
3.2.1 离散无记忆信源 【两个新问题】 1.随着序列的伸延，信源选取字符的概率是否随着时间改变？2.序列前后字符之间是否统计相关？ 假设所讨论的信源是平稳信源，即信源选取字符的概率不随时间改变。
分两种情况来讨论：字符之间不存在统计关联的信源叫做无记忆信源；字符之间存在统计关联的信源叫做有记忆信源。
例如，一个袋子里有10个黑球和10个白球。
从袋子拿球，有放回的，就相当于无记忆的；无放回的，就是有记忆的。
1.【特点】①信源发出的各符号之间相互独立；②发出的符号序列中各个符号之间没有统计关联性；③各个符号的出现概率是它自身的先验概率。
2.【定义】设信源X 输出符号集A={a 1,a 2,…,a q } ，q 是信源发出的消息符号个数，每个符号发生的概率为p (a i )(i =1,2,…,q )，这些消息符号彼此互不相关，且满足： ),,2,1(1)(0,1)(1q i a p a p i q i i =≤≤=∑=∏===q i i q a p a a a P X P 121)()()(3.【数学模型】离散无记忆信源可用信源空间[X,P(X)]来描述： ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()()(2121q q a p a p a p a a a X P X3.2.2 单符号离散信源【引例－例3.1】掷一颗质地均匀的骰子，研究其下落后朝上一面的点数，将点数作为这个随机试验的结果，并将这个随机试验看作是一个信源。
该信源输出了有限个离散数字，组成了符号集A:{1,2,3,4,5,6}，而且每一个数字代表一条完整的消息。
【分析】1.该信源输出的消息数是有限的。
2.该信源每次只输出一个消息，出现哪一种消息是随机的。
第3章 信道模型和信道容量3.1 基本要求通过本章学习，了解信道的模型和分类，掌握信道容量的定义，掌握无噪信道、对称信道的信道容量的计算，了解准对称信道信道容量的计算，了解一般离散无记忆信道（DMC ）达到信道容量的充要条件，掌握DMC 扩展信道的信道容量计算，了解加性高斯噪声信道的信道容量的结论，掌握香农信道容量公式。
3.2 学习要点3.2.1 信道的分类信道是信息传输的通道。
研究信道的目的，主要是为了描述和分析各种不同类型信道的特性，度量其信息的极限传输能力。
信息理论中常用的信道分类方法如下。
（1）根据信道输入/输出信号在时间和幅值上的取值是离散或连续来划分，可分为4类,如表3.1所示。
（2）根据信道的记忆特性划分，可分为2类：无记忆信道：信道当前的输出只与当前的输入有关。
有记忆信道：信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。
（3）根据信道的输入/输出关系是确定关系还是统计依存关系划分，可分为2类： 无噪声信道：信道的输入/输出关系是确定关系。
有噪声信道：信道的输入/输出关系是统计依存关系。
3.2.2 信道的数学模型3.2.2.1 离散无记忆信道（DMC ）的数学模型离散无记忆信道（DMC ）的数学模型如图3.1所示，记为|{,,}Y X X P Y 。
信道的输入X 取值于集合12{,,,}r A a a a =，输出Y 取值于集合12{,,,}s B b b b =。
|{(|)|1,2,,;1,2,,}Y Xj i P P b a i r j s === （3.1）为分析计算方便，常常把所有转移概率排成矩阵：图3.1 离散无记忆信道（DMC ）模型示意图噪声干扰,,}a12112111122222|12(|)(|)(|)(|)(|)(|)[](|)(|)(|)ss s Y X r r s r rb b b P b a P b a P b a a P b a P b a P b a a P P b a P b a P b a a ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦ （3.2） 转移矩阵中各行s 个转移概率自身是完备的：1(|)1,1,2,,sji j P ba i r ===∑ （3.3）3.2.2.2 扩展信道的数学模型图3.2所示的是N 次扩展信道的模型，其输入和输出均为N 元随机变量序列。
